Enviar búsqueda
Cargar
データ圧縮
•
0 recomendaciones
•
741 vistas
Joe Suzuki
Seguir
Denunciar
Compartir
Denunciar
Compartir
1 de 14
Descargar ahora
Descargar para leer sin conexión
Recomendados
整数格子点上の劣モジュラ被覆に対する高速アルゴリズム
整数格子点上の劣モジュラ被覆に対する高速アルゴリズム
Tasuku Soma
2013 03 25
2013 03 25
Mutsuki Kojima
確率論基礎
確率論基礎
hoxo_m
topology of musical data
topology of musical data
Tatsuki SHIMIZU
代数トポロジー入門
代数トポロジー入門
Tatsuki SHIMIZU
経験過程
経験過程
hoxo_m
グラフカットによる画像背景切り取り
グラフカットによる画像背景切り取り
coil_kpc
シンギュラリティを知らずに機械学習を語るな
シンギュラリティを知らずに機械学習を語るな
hoxo_m
Recomendados
整数格子点上の劣モジュラ被覆に対する高速アルゴリズム
整数格子点上の劣モジュラ被覆に対する高速アルゴリズム
Tasuku Soma
2013 03 25
2013 03 25
Mutsuki Kojima
確率論基礎
確率論基礎
hoxo_m
topology of musical data
topology of musical data
Tatsuki SHIMIZU
代数トポロジー入門
代数トポロジー入門
Tatsuki SHIMIZU
経験過程
経験過程
hoxo_m
グラフカットによる画像背景切り取り
グラフカットによる画像背景切り取り
coil_kpc
シンギュラリティを知らずに機械学習を語るな
シンギュラリティを知らずに機械学習を語るな
hoxo_m
情報幾何の基礎輪読会 #1
情報幾何の基礎輪読会 #1
Tatsuki SHIMIZU
ロマ数16 simizut
ロマ数16 simizut
Tatsuki SHIMIZU
有限個の点を取り付けた集合の位相
有限個の点を取り付けた集合の位相
政孝 鍋島
大きい行列の問題
大きい行列の問題
nabeshimamasataka
大きい行列の問題
大きい行列の問題
政孝 鍋島
20140306 ibisml
20140306 ibisml
Yoshinobu Kawahara
ベクトル空間と表現行列
ベクトル空間と表現行列
政孝 鍋島
ベクトル空間と表現行列
ベクトル空間と表現行列
nabeshimamasataka
introductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysis
Tatsuki SHIMIZU
Mage
Mage
Ken Ogura
Introduction to Categorical Programming (Revised)
Introduction to Categorical Programming (Revised)
Masahiro Sakai
Chapter13.2.3
Chapter13.2.3
Takuya Minagawa
Introduction to Categorical Programming
Introduction to Categorical Programming
Masahiro Sakai
Convex Hull Trick
Convex Hull Trick
HCPC: 北海道大学競技プログラミングサークル
UTPC2012 - K
UTPC2012 - K
omeometo
One
One
oupc
情報幾何学の基礎 第2章 4.5
情報幾何学の基礎 第2章 4.5
Tatsuki SHIMIZU
表現行列問題
表現行列問題
政孝 鍋島
表現行列の問題
表現行列の問題
nabeshimamasataka
とぽろじー入門(画像なし版)
とぽろじー入門(画像なし版)
Katsuya Ito
Bluefin mit tech-review
Bluefin mit tech-review
weerawatplc
Glossary
Glossary
Kat'x Portillo
Más contenido relacionado
La actualidad más candente
情報幾何の基礎輪読会 #1
情報幾何の基礎輪読会 #1
Tatsuki SHIMIZU
ロマ数16 simizut
ロマ数16 simizut
Tatsuki SHIMIZU
有限個の点を取り付けた集合の位相
有限個の点を取り付けた集合の位相
政孝 鍋島
大きい行列の問題
大きい行列の問題
nabeshimamasataka
大きい行列の問題
大きい行列の問題
政孝 鍋島
20140306 ibisml
20140306 ibisml
Yoshinobu Kawahara
ベクトル空間と表現行列
ベクトル空間と表現行列
政孝 鍋島
ベクトル空間と表現行列
ベクトル空間と表現行列
nabeshimamasataka
introductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysis
Tatsuki SHIMIZU
Mage
Mage
Ken Ogura
Introduction to Categorical Programming (Revised)
Introduction to Categorical Programming (Revised)
Masahiro Sakai
Chapter13.2.3
Chapter13.2.3
Takuya Minagawa
Introduction to Categorical Programming
Introduction to Categorical Programming
Masahiro Sakai
Convex Hull Trick
Convex Hull Trick
HCPC: 北海道大学競技プログラミングサークル
UTPC2012 - K
UTPC2012 - K
omeometo
One
One
oupc
情報幾何学の基礎 第2章 4.5
情報幾何学の基礎 第2章 4.5
Tatsuki SHIMIZU
表現行列問題
表現行列問題
政孝 鍋島
表現行列の問題
表現行列の問題
nabeshimamasataka
とぽろじー入門(画像なし版)
とぽろじー入門(画像なし版)
Katsuya Ito
La actualidad más candente
(20)
情報幾何の基礎輪読会 #1
情報幾何の基礎輪読会 #1
ロマ数16 simizut
ロマ数16 simizut
有限個の点を取り付けた集合の位相
有限個の点を取り付けた集合の位相
大きい行列の問題
大きい行列の問題
大きい行列の問題
大きい行列の問題
20140306 ibisml
20140306 ibisml
ベクトル空間と表現行列
ベクトル空間と表現行列
ベクトル空間と表現行列
ベクトル空間と表現行列
introductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysis
Mage
Mage
Introduction to Categorical Programming (Revised)
Introduction to Categorical Programming (Revised)
Chapter13.2.3
Chapter13.2.3
Introduction to Categorical Programming
Introduction to Categorical Programming
Convex Hull Trick
Convex Hull Trick
UTPC2012 - K
UTPC2012 - K
One
One
情報幾何学の基礎 第2章 4.5
情報幾何学の基礎 第2章 4.5
表現行列問題
表現行列問題
表現行列の問題
表現行列の問題
とぽろじー入門(画像なし版)
とぽろじー入門(画像なし版)
Destacado
Bluefin mit tech-review
Bluefin mit tech-review
weerawatplc
Glossary
Glossary
Kat'x Portillo
Medo dos outros desde criança
Medo dos outros desde criança
Luís Fernando Richter
Debianを用いたCortex-M3マイコン開発事例のご紹介
Debianを用いたCortex-M3マイコン開発事例のご紹介
Kiwamu Okabe
Feral Management An Innovative Alternative
Feral Management An Innovative Alternative
tysonsuepat
Office 365版Lync Onlineの技術概要
Office 365版Lync Onlineの技術概要
kumo2010
T mobile t959-vibrant_spanish_user_guide
T mobile t959-vibrant_spanish_user_guide
cmade123
Média sociaux risques ou opportunités pour des entreprises 2.0
Média sociaux risques ou opportunités pour des entreprises 2.0
Prof. Jacques Folon (Ph.D)
Just as I am
Just as I am
Regina Holliday
data inggris
data inggris
fadhlyashary
Software Freedom Day 2012をみんなで祝おう & 図形の問題 出題編(OSC2012 Shimane LT資料)
Software Freedom Day 2012をみんなで祝おう & 図形の問題 出題編(OSC2012 Shimane LT資料)
洋史 東平
OSUNCが終わったら帰りはお風呂に入りましょう(Open Source UN-Conference 川越 発表資料)
OSUNCが終わったら帰りはお風呂に入りましょう(Open Source UN-Conference 川越 発表資料)
洋史 東平
Rubyの御先祖CLU(くるう)のお話(OSC2013 Hamamatsu 発表資料)
Rubyの御先祖CLU(くるう)のお話(OSC2013 Hamamatsu 発表資料)
洋史 東平
Week 5
Week 5
Ray Brannon
Video collaboration - handsets, laptops, telepresence and beyond
Video collaboration - handsets, laptops, telepresence and beyond
Claude Florin
Save The Planet By Jen Wong Nov 24
Save The Planet By Jen Wong Nov 24
wonkajenn
Alpha script George Delaportas
Alpha script George Delaportas
Ignite_Athens
Career Camp: Digital Design
Career Camp: Digital Design
Liz Danzico
Looking Behind. And ahead.
Looking Behind. And ahead.
Sarup Banskota
Keynote by Jane Wells
Keynote by Jane Wells
Ibrahim Abdel Fattah Mohamed
Destacado
(20)
Bluefin mit tech-review
Bluefin mit tech-review
Glossary
Glossary
Medo dos outros desde criança
Medo dos outros desde criança
Debianを用いたCortex-M3マイコン開発事例のご紹介
Debianを用いたCortex-M3マイコン開発事例のご紹介
Feral Management An Innovative Alternative
Feral Management An Innovative Alternative
Office 365版Lync Onlineの技術概要
Office 365版Lync Onlineの技術概要
T mobile t959-vibrant_spanish_user_guide
T mobile t959-vibrant_spanish_user_guide
Média sociaux risques ou opportunités pour des entreprises 2.0
Média sociaux risques ou opportunités pour des entreprises 2.0
Just as I am
Just as I am
data inggris
data inggris
Software Freedom Day 2012をみんなで祝おう & 図形の問題 出題編(OSC2012 Shimane LT資料)
Software Freedom Day 2012をみんなで祝おう & 図形の問題 出題編(OSC2012 Shimane LT資料)
OSUNCが終わったら帰りはお風呂に入りましょう(Open Source UN-Conference 川越 発表資料)
OSUNCが終わったら帰りはお風呂に入りましょう(Open Source UN-Conference 川越 発表資料)
Rubyの御先祖CLU(くるう)のお話(OSC2013 Hamamatsu 発表資料)
Rubyの御先祖CLU(くるう)のお話(OSC2013 Hamamatsu 発表資料)
Week 5
Week 5
Video collaboration - handsets, laptops, telepresence and beyond
Video collaboration - handsets, laptops, telepresence and beyond
Save The Planet By Jen Wong Nov 24
Save The Planet By Jen Wong Nov 24
Alpha script George Delaportas
Alpha script George Delaportas
Career Camp: Digital Design
Career Camp: Digital Design
Looking Behind. And ahead.
Looking Behind. And ahead.
Keynote by Jane Wells
Keynote by Jane Wells
Similar a データ圧縮
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
sleepy_yoshi
公開鍵暗号(7): データ圧縮
公開鍵暗号(7): データ圧縮
Joe Suzuki
Shunsuke Horii
Shunsuke Horii
Suurist
ガンマ分布族のなす空間の曲率
ガンマ分布族のなす空間の曲率
Masaki Asano
Introduction to the particle filter
Introduction to the particle filter
Satoshi Minakuchi
wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布
kunihikokaneko1
PRML 10.4 - 10.6
PRML 10.4 - 10.6
Akira Miyazawa
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
NLPforml5
NLPforml5
Hidekazu Oiwa
ウィナーフィルタと適応フィルタ
ウィナーフィルタと適応フィルタ
Toshihisa Tanaka
分布 isseing333
分布 isseing333
Issei Kurahashi
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
2016年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2016. 10. 13)
2016年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2016. 10. 13)
Akira Asano
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
PRML セミナー
PRML セミナー
sakaguchi050403
2014年度秋学期 応用数学(解析) 第1回 イントロダクション (2014. 9. 25)
2014年度秋学期 応用数学(解析) 第1回 イントロダクション (2014. 9. 25)
Akira Asano
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
Prml sec6
Prml sec6
Keisuke OTAKI
ユークリッド距離以外の距離で教師無しクラスタリング
ユークリッド距離以外の距離で教師無しクラスタリング
Maruyama Tetsutaro
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
Similar a データ圧縮
(20)
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
公開鍵暗号(7): データ圧縮
公開鍵暗号(7): データ圧縮
Shunsuke Horii
Shunsuke Horii
ガンマ分布族のなす空間の曲率
ガンマ分布族のなす空間の曲率
Introduction to the particle filter
Introduction to the particle filter
wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布
PRML 10.4 - 10.6
PRML 10.4 - 10.6
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
NLPforml5
NLPforml5
ウィナーフィルタと適応フィルタ
ウィナーフィルタと適応フィルタ
分布 isseing333
分布 isseing333
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
2016年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2016. 10. 13)
2016年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2016. 10. 13)
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
PRML セミナー
PRML セミナー
2014年度秋学期 応用数学(解析) 第1回 イントロダクション (2014. 9. 25)
2014年度秋学期 応用数学(解析) 第1回 イントロダクション (2014. 9. 25)
PRML 1.6 情報理論
PRML 1.6 情報理論
Prml sec6
Prml sec6
ユークリッド距離以外の距離で教師無しクラスタリング
ユークリッド距離以外の距離で教師無しクラスタリング
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Más de Joe Suzuki
RとPythonを比較する
RとPythonを比較する
Joe Suzuki
R集会@統数研
R集会@統数研
Joe Suzuki
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
Joe Suzuki
分枝限定法でモデル選択の計算量を低減する
分枝限定法でモデル選択の計算量を低減する
Joe Suzuki
連続変量を含む条件付相互情報量の推定
連続変量を含む条件付相互情報量の推定
Joe Suzuki
E-learning Design and Development for Data Science in Osaka University
E-learning Design and Development for Data Science in Osaka University
Joe Suzuki
UAI 2017
UAI 2017
Joe Suzuki
AMBN2017 サテライトワークショップ
AMBN2017 サテライトワークショップ
Joe Suzuki
CRAN Rパッケージ BNSLの概要
CRAN Rパッケージ BNSLの概要
Joe Suzuki
Forest Learning from Data
Forest Learning from Data
Joe Suzuki
A Bayesian Approach to Data Compression
A Bayesian Approach to Data Compression
Joe Suzuki
A Conjecture on Strongly Consistent Learning
A Conjecture on Strongly Consistent Learning
Joe Suzuki
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
Joe Suzuki
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
Joe Suzuki
研究紹介(学生向け)
研究紹介(学生向け)
Joe Suzuki
Bayesian Criteria based on Universal Measures
Bayesian Criteria based on Universal Measures
Joe Suzuki
MDL/Bayesian Criteria based on Universal Coding/Measure
MDL/Bayesian Criteria based on Universal Coding/Measure
Joe Suzuki
The Universal Measure for General Sources and its Application to MDL/Bayesian...
The Universal Measure for General Sources and its Application to MDL/Bayesian...
Joe Suzuki
Universal Prediction without assuming either Discrete or Continuous
Universal Prediction without assuming either Discrete or Continuous
Joe Suzuki
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
Joe Suzuki
Más de Joe Suzuki
(20)
RとPythonを比較する
RとPythonを比較する
R集会@統数研
R集会@統数研
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
分枝限定法でモデル選択の計算量を低減する
分枝限定法でモデル選択の計算量を低減する
連続変量を含む条件付相互情報量の推定
連続変量を含む条件付相互情報量の推定
E-learning Design and Development for Data Science in Osaka University
E-learning Design and Development for Data Science in Osaka University
UAI 2017
UAI 2017
AMBN2017 サテライトワークショップ
AMBN2017 サテライトワークショップ
CRAN Rパッケージ BNSLの概要
CRAN Rパッケージ BNSLの概要
Forest Learning from Data
Forest Learning from Data
A Bayesian Approach to Data Compression
A Bayesian Approach to Data Compression
A Conjecture on Strongly Consistent Learning
A Conjecture on Strongly Consistent Learning
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
研究紹介(学生向け)
研究紹介(学生向け)
Bayesian Criteria based on Universal Measures
Bayesian Criteria based on Universal Measures
MDL/Bayesian Criteria based on Universal Coding/Measure
MDL/Bayesian Criteria based on Universal Coding/Measure
The Universal Measure for General Sources and its Application to MDL/Bayesian...
The Universal Measure for General Sources and its Application to MDL/Bayesian...
Universal Prediction without assuming either Discrete or Continuous
Universal Prediction without assuming either Discrete or Continuous
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
データ圧縮
1.
実験数学 3 (大阪大学理学部数学科 3
年・4 年) 第 9 回: データ圧縮 鈴木 譲 大阪大学 2013 年 7 月 25 日
2.
あらまし 一意復号可能性 エントロピーと平均符号長
3.
符号化 A: 有限集合 {0, 1}∗:
有限の長さの 2 進列の集合 φ : A → {0, 1}∗ (符号化) lφ : A → N が符号化 φ の長さ x ∈ A に φ(x) ∈ {0, 1}l なる l ∈ N (長さ) を対応させる写像 φn : An → {0, 1}∗ が n 次の符号化 xn = (x1, · · · , xn) ∈ An に φ(x1), · · · , φ(zn) を連結した長さ n∑ i=1 lφ(zi ) の 2 進列 φ(x1) · · · φ(xn) ∈ {0, 1}∗ を対応させる写像
4.
一意復号可能性 φ が一意復号可能 任意の n
= 1, 2, · · · で、各 un, vn ∈ An について、 φn (un ) = φn (vn ) =⇒ un = vn r ∈ {0, 1}∗ は s ∈ {0, 1}∗ の語頭 (r ≺ s) r が s の最初の部分の 2 進列 φ が瞬時復号可能 φ(u) ≺ φ(v) =⇒ u = v
5.
例: A =
{α, β, γ, δ} ▶ φa, φb, φc は一意復号可能 ▶ φa, φb は瞬時復号可能 ▶ φc は瞬時復号可能ではない。 ▶ φ6 d (α, γ, α, δ, β, α) = φ6 d (δ, β, α, γ, α, α) = 011001100 x φa(x) φb(x) φc (x) φd (x) α 00 0 0 0 β 01 10 01 10 γ 10 110 011 11 δ 11 111 111 01 (α, γ, α, δ, β, α) 001000110100 01100111100 00110111010 011001100 (δ, β, α, γ, α, α) 110100100000 11110011000 11101001100 011001100
6.
φa d d d ¨¨¨ r rr rrr ¨¨¨ 0 1 0 1 0 1 α β γ δ φb d d d rrr ¨¨¨ $$$ ˆˆˆ 0 1 0 1 0 1 α β γ δ φc d d d rrr rrr ˆˆˆ ˆˆˆ 0 1 1 1 1 1 α β γ δ φd d d drrr ¨¨¨ rrr 0 1 0 1 1 α δ β γ
7.
瞬時復号可能 =⇒ 一意復号可能 命題 瞬時復号可能
=⇒ 一意復号可能 証明: φ が瞬時復号可能と仮定 符号化された後の系列 φ(x1) · · · φ(xn) ∈ φn(A) から 1. φ(x) ≺ φ(x1) · · · φ(xn) =⇒ x1 = x φ(x1)φ(x2) · · · φ(xn) から φ(x1) を取り除く 2. φ(x) ≺ φ(x2) · · · φ(xn) =⇒ x2 = x φ(x2)φ(x3) · · · φ(xn) から φ(x2) を取り除く 3. ...... 符号化される前の系列 xn = (x1 · · · xn) ∈ An が一意
8.
一意復号可能であるための同値な条件 定理 以下の 3 つの条件は同値である。 1.
lφ が瞬時復号可能な符号化 φ の長さ 2. lφ が一意復号可能な符号化 φ の長さ 3. lφ が Kraft の不等式を満足: ∑ x∈A 2−lφ(x) ≤ 1 1. =⇒ 2. は,命題から。
9.
2. =⇒ 3. lmax
:= maxx∈A lφ(x) αn(m) := #{xn ∈ An| ∑n i=1 l(xi ) = m} ( ∑ x∈A 2−l(x) )n = ∑ x1∈A 2−l(x1) · · · ∑ xn∈A 2−l(xn) = ∑ xn∈An 2− ∑n i=1 l(xi ) = n·lmax∑ m=1 αn (m)2−m φ が一意復号可能 =⇒ 重複がない =⇒ 各 n で αn(m) ≤ 2m =⇒ 各 n で ∑ x∈A 2−l(x) ≤ (n · lmax )1/n =⇒ ∑ x∈A 2−l(x) ≤ 1
10.
3. =⇒ 1. ∑ x∈A 2−lφ(x) ≤
1 ⇐⇒ lmax∑ m=1 α1 (m) · 2−m ≤ 1 ⇐⇒ α1(1) ≤ 2 α1(2) ≤ 2{2 − α1(1)} α1(3) ≤ 2{22 − 2 · α1(1) − α(2)} ... ... α1(lmax ) ≤ 2{2lmax −1 − 2lmax −2 · α1(1) − · · · − α1(lmax − 1)} =⇒ 各レベル m に α1(m) 個の葉をもつ 2 進木 T が存在 =⇒ φ(x) から T のレベル lφ(x) の葉への 1 対 1 写像が存在 =⇒ lφ が瞬時復号可能な符号化 φ の長さ
11.
エントロピーと平均符号長 PX (x): 事象
(X = x) の確率 (x ∈ A) X のエントロピー H(X) と φ についての平均符号長 Elφ(X) H(X) := ∑ x∈A −PX (x) log2 PX (x) Elφ(X) := ∑ x∈A PX (x)lφ(x) 命題 H(X) ≤ Elφ(X) ≤ H(X) + 1 となる一意復号可能な符号化 φ が存在
12.
証明: Q(x) :=
2−lφ(x) Elφ(X) = ∑ x∈A −PX (x) log2 Q(x) log x ≤ x − 1, x > 0 と Kraft の不等式より,左の不等式が成立: ∑ x∈A PX (x) log PX (x) Q(x) ≥ ∑ x∈A PX (x) { 1 − Q(x) PX (x) } = 1 − ∑ x∈A Q(x) ≥ 0 lφ(x) := ⌈− log PX (x)⌉ (切上げ) は Kraft の不等式を満足し, ⌈− log PX (x)⌉ ≤ − log PX (x) + 1 より,右の不等式が成立。
13.
ブロック符号化 Xn := (X1,
· · · , Xn): 確率変数の列 事象 (Xi = xi ), (Xj = xj ), xi , xj ∈ A, i ̸= j が独立 PXn (xn), xn ∈ An: 事象 (Xn = xn) の確率 H(Xn ) := ∑ xn∈An −PXn (xn ) log PXn (xn ) = ∑ xn∈An −PXn (xn ) n∑ i=1 log PX (xi ) = n∑ i=1 ∑ x∈A −PX (xi ) log PX (xi ) = nH(X)
14.
φ : An →
{0, 1}∗ (n 次の符号化とは異なる) lφ(xn ) := ⌈− log PXn (xn )⌉ Q(xn ) := 2−lφ(xn) , xn ∈ An nH(X) ≤ Elφ(Xn ) ≤ nH(X) + 1 平均圧縮率 平均の長さを n で割った値 Elφ(Xn) n 定理 Elφ(Xn) n → H(X) (n → ∞) で一意復号可能な符号化 φ : An → {0, 1}∗ が存在
Descargar ahora