SlideShare una empresa de Scribd logo

C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703

•
•
Y
Yoshinori Kabeya

PRML Revenge 2.4

Educación
1 de 26
PRML 読書会復習レーン 2.4 指数型分布族 [email_address] Yoshinori Kabeya
目次 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
指数型分布族とは(1/2) ,[object Object],[object Object],(2.194) (2.195) 自然パラメータ (natural parameter) 分布を正規化するための係数と解釈できる
指数型分布族とは(2/2) ,[object Object],[object Object],指数型分布族 混合ガウス分布 ガウス分布 ベータ分布 ディリクレ分布 スチューデントの t 分布
指数型分布族であることの証明① ,[object Object],(2.196) (2.197) (2.198) (2.199) (2.194) の η u について解く ロジスティックシグモイド関数 (logistic sigmoid function)
指数型分布族であることの証明① ,[object Object],(2.200) (2.201) (2.202) (2.203) を利用 (2.194) ベルヌーイ分布が指数分布族であることが確認された
指数型分布族であることの証明② ,[object Object],(2.204) (2.205) (2.206) (2.208) を利用 (2.207) 多項分布が指数分布族であることが確認された Log とって exp をとる
指数型分布族であることの証明② ,[object Object],(2.209) (2.210) ここで多項分布には下記の制約がある この制約を用いて多項分布を表記すると・・・
指数型分布族であることの証明② ,[object Object],(2.211) (2.212)
指数型分布族であることの証明② ,[object Object],(2.212) (2.213) (2.212) のすべての k について両辺を足し合わせて、式に再代入すると・・ (2.214) ソフトマックス関数 (softmax function) 正規化指数関数 (normalized exponential function)
指数型分布族であることの証明② ,[object Object],(2.211) (2.214) 結局この場合の多項分布は (2.215) (2.216) (2.217) ソフトマックス関数を使った表記でも多項分布が指数分布族であることが確認された
指数型分布族であることの証明③ ,[object Object],(2.218) (2.219) (2.220) (2.221) (2.222) (2.223) ガウス分布も指数分布族で あることが確認された
2.4.1 最尤推定と十分統計量(1/3) ,[object Object],(2.195) η について両辺の勾配を求めると・・ (2.225) さらに u(x) の共分散は g(η) の 2 次微分で表せる より高次のモーメントについても微分することにより求められる (2.226) (2.300)
2.4.1 最尤推定と十分統計量(2/3) ,[object Object],η についてさらに微分すると・・
2.4.1 最尤推定と十分統計量(3/3) ,[object Object],[object Object],(2.227) η について両辺の勾配を0とおいて求めると・・ (2.228) これにより最尤推定の解は　　　　　　　を通じてのみ依存 よって　　　　　　を (2.194) の 十分統計量 と呼ぶ この性質によりデータ全体を保持する必要はなく、十分統計量の値だけ 保持しておけばよい ベルヌーイ分布・・・ {Xn} の和 ガウス分布・・・ {Xn} の和と {Xn}^2 の和 N->∞ の場合 (2.228) の右辺は E[u(x)] となる。->極限では真の値と等しくなる
2.4.2 共役事前分布 ,[object Object],(2.229) (2.230) これにより (2.229) と再び同じ関数形になっており、事前分布が共役であることが確認できた ν は事前の仮想観測値と解釈できる 共役であることを確かめるために尤度関数 (2.227) を掛けると
2.4.3 無情報事前分布 無情報事前分布の定義 (1/2) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
2.4.3 無情報事前分布 無情報事前分布の定義 (2/2) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],(2.231)
2.4.3 無情報事前分布 平行移動不変性 (translation invarance)(1/2) (2.232) この性質から x を定数分移動させて　　　　　　　としても ここから無情報事前分布の簡単な例について考える。 平行移動不変性とは・・・ 次式に記載させる確率密度の族は平行移動不変性をもつという (2.233) よって新しい変数でもとの変数と同じ形式を保ち、確率密度は原点の取り方に依存しない このような平行移動不変性をもつ事前分布を選ぶとすると A≦u≦B に入る確率が区間 A-c≦u≦B-c に入る確率が同じになるため この式が任意のAとBについて成立しなくてはならないため が得られ、この式より p(u) は 定数 となる (2.234) (2.235) 位置パラメータ (location parameter)
2.4.3 無情報事前分布 平行移動不変性 (translation invarance)(2/2) 位置パラメータの例としてガウス分布の平均uがある ガウス分布の事前分布で　　　　　　　　極限を取れば無情報事前分布となる u 上の事後分布に事前分布が全く影響していない (2.141)
2.4.3 無情報事前分布 尺度不変性 (scale parameter)(1/5) (2.236) 尺度不変性とは・・・ 次式に記載させる確率密度は尺度不変性をもつという σは尺度パラメータ(scale parameter)という (2.237) f （ｘ）が正規化されていれば、この分布も正規化されている よって x を定数倍して としても同じ形式が保たれる
2.4.3 無情報事前分布 尺度不変性 (scale parameter)(2/5) (2.238) 尺度不変性をもつ事前分布を選ぶとすると A≦u≦B に入る確率が区間 A/c≦u≦B/c に入る確率が同じになるため (2.239) この式が任意 A と B について成立しなくてはならないので これより p(σ)∝1/σ の条件が得られる !? 除算した区間において積分が同じになるということは区間の差が比の形となる すなわち対数とならなければならない。よって p(σ)∝1/σ なる必要がある。
2.4.3 無情報事前分布 尺度不変性 (scale parameter)(3/5) 尺度パラメータの事前分布を考えた場合、パラメータの対数密度を考えたほうが便利なことが多い。そこで (1.27) の変換規則を用いると p(lnσ)=const となる !? ここで p(σ)∝1/σ という制限があるため p(lnσ) は σ に対して const となる よって 1≦σ≦10 に入る確率は 10≦σ≦100,100≦σ≦1000 に入る確率と等しくなる
2.4.3 無情報事前分布 尺度不変性 (scale parameter)(4/5) 尺度パラメータの例として位置パラメータuを考慮済みのガウス分布の標準偏差がある ここで σ よりも精度 λ=1/σ^2 のほうが扱いやすいので よって確率分布の p(σ)∝1/σ は p(λ)∝1/λ に相当 (2.240)
2.4.3 無情報事前分布 尺度不変性 (scale parameter)(5/5) λの共役事前分布はガンマ分布であった。 ここで　　　　　　　　の場合 (2.150),(2.151) から事後分布は事前分布の要因に影響を受けないことがわかり、 (2.150) (2.151) 無情報事前分布となることがわかる (2.146)
まとめ ,[object Object],[object Object],[object Object]

Recomendados

PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
 
PRML 2.4
PRML 2.4PRML 2.4
PRML 2.4
kazunori sakai
 
Prml 2.3
Prml 2.3Prml 2.3
Prml 2.3
Yuuki Saitoh
 
PRML2.4 指数型分布族
PRML2.4 指数型分布族PRML2.4 指数型分布族
PRML2.4 指数型分布族
hiroki yamaoka
 
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
Yuki Soma
 
Chapter2.3.6
Chapter2.3.6Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
matsuolab
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
 

Recomendados

PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
 
PRML 2.4
PRML 2.4PRML 2.4
PRML 2.4
kazunori sakai
 
Prml 2.3
Prml 2.3Prml 2.3
Prml 2.3
Yuuki Saitoh
 
PRML2.4 指数型分布族
PRML2.4 指数型分布族PRML2.4 指数型分布族
PRML2.4 指数型分布族
hiroki yamaoka
 
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
Yuki Soma
 
Chapter2.3.6
Chapter2.3.6Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
matsuolab
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
Takushi Miki
 
PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7
Takafumi Sakakibara
 
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
Hiroyuki Kato
 
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
KokiTakamiya
 
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
Hiroyuki Kato
 
ディープボルツマンマシン入門
ディープボルツマンマシン入門ディープボルツマンマシン入門
ディープボルツマンマシン入門
Saya Katafuchi
 
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
 
PRML4.3.3
PRML4.3.3PRML4.3.3
PRML4.3.3
sleepy_yoshi
 
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
kurotaki_weblab
 
PRML2.1 2.2
PRML2.1 2.2PRML2.1 2.2
PRML2.1 2.2
Takuto Kimura
 
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
 
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
Ken'ichi Matsui
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
matsuolab
 
PRML 第4章
PRML 第4章PRML 第4章
PRML 第4章
Akira Miyazawa
 
PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似
KokiTakamiya
 
Prml 1.3～1.6 ver3
Prml 1.3～1.6 ver3Prml 1.3～1.6 ver3
Prml 1.3～1.6 ver3
Toshihiko Iio
 
クラシックな機械学習入門：付録：よく使う線形代数の公式
クラシックな機械学習入門：付録：よく使う線形代数の公式クラシックな機械学習入門：付録：よく使う線形代数の公式
クラシックな機械学習入門：付録：よく使う線形代数の公式
Hiroshi Nakagawa
 
PRML第６章「カーネル法」
PRML第６章「カーネル法」PRML第６章「カーネル法」
PRML第６章「カーネル法」
Keisuke Sugawara
 
パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
Koichi Hamada
 
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
 
2014 06 22_prml_2_4
2014 06 22_prml_2_42014 06 22_prml_2_4
2014 06 22_prml_2_4
yakuzen
 
PRML 2.3.9-2.4.1
PRML 2.3.9-2.4.1PRML 2.3.9-2.4.1
PRML 2.3.9-2.4.1
marugari
 

Más contenido relacionado

La actualidad más candente

PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
Hiroyuki Kato
 
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
Hiroyuki Kato
 
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
 
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
kurotaki_weblab
 

La actualidad más candente (20)

PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
 
PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7
 
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
 
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
 
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.5.2
 
ディープボルツマンマシン入門
ディープボルツマンマシン入門ディープボルツマンマシン入門
ディープボルツマンマシン入門
 
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習（PRML）第2章 確率分布 2.3 ガウス分布
 
PRML4.3.3
PRML4.3.3PRML4.3.3
PRML4.3.3
 
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
 
PRML2.1 2.2
PRML2.1 2.2PRML2.1 2.2
PRML2.1 2.2
 
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
 
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
 
PRML 第4章
PRML 第4章PRML 第4章
PRML 第4章
 
PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似
 
Prml 1.3～1.6 ver3
Prml 1.3～1.6 ver3Prml 1.3～1.6 ver3
Prml 1.3～1.6 ver3
 
クラシックな機械学習入門：付録：よく使う線形代数の公式
クラシックな機械学習入門：付録：よく使う線形代数の公式クラシックな機械学習入門：付録：よく使う線形代数の公式
クラシックな機械学習入門：付録：よく使う線形代数の公式
 
PRML第６章「カーネル法」
PRML第６章「カーネル法」PRML第６章「カーネル法」
PRML第６章「カーネル法」
 
パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
 
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
 

Destacado

2014 06 22_prml_2_4
2014 06 22_prml_2_42014 06 22_prml_2_4
2014 06 22_prml_2_4
yakuzen
 
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
Mitsuki Ogasahara
 
The archived Canadian US Patent Competitive Intelligence Database (2016/5/31)
The archived Canadian US Patent Competitive Intelligence Database (2016/5/31) The archived Canadian US Patent Competitive Intelligence Database (2016/5/31)
The archived Canadian US Patent Competitive Intelligence Database (2016/5/31)
Muchiu (Henry) Chang, PhD. Cantab
 
The archived Canadian US Patent Competitive Intelligence Database (2014/8/19)
The archived Canadian US Patent Competitive Intelligence Database (2014/8/19) The archived Canadian US Patent Competitive Intelligence Database (2014/8/19)
The archived Canadian US Patent Competitive Intelligence Database (2014/8/19)
Muchiu (Henry) Chang, PhD. Cantab
 
The Archived Canadian Patent Competitive Intelligence (2012/9/4)
The Archived Canadian Patent Competitive Intelligence (2012/9/4)The Archived Canadian Patent Competitive Intelligence (2012/9/4)
The Archived Canadian Patent Competitive Intelligence (2012/9/4)
Muchiu (Henry) Chang, PhD. Cantab
 
C:\fakepath\curriculam vitae
C:\fakepath\curriculam vitaeC:\fakepath\curriculam vitae
C:\fakepath\curriculam vitae
WELLSTAR
 
The archived Canadian US Patent Competitive Intelligence Database (2015/6/2)
The archived Canadian US Patent Competitive Intelligence Database (2015/6/2) The archived Canadian US Patent Competitive Intelligence Database (2015/6/2)
The archived Canadian US Patent Competitive Intelligence Database (2015/6/2)
Muchiu (Henry) Chang, PhD. Cantab
 
The archived Canadian US Patent Competitive Intelligence Database (2015/3/10)
The archived Canadian US Patent Competitive Intelligence Database (2015/3/10) The archived Canadian US Patent Competitive Intelligence Database (2015/3/10)
The archived Canadian US Patent Competitive Intelligence Database (2015/3/10)
Muchiu (Henry) Chang, PhD. Cantab
 
The Archived Canadian Patent Competitive Intelligence (2013/8/6)
The Archived Canadian Patent Competitive Intelligence (2013/8/6)The Archived Canadian Patent Competitive Intelligence (2013/8/6)
The Archived Canadian Patent Competitive Intelligence (2013/8/6)
Muchiu (Henry) Chang, PhD. Cantab
 
Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...
Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...
Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...
Z Claridad
 

Destacado (20)

2014 06 22_prml_2_4
2014 06 22_prml_2_42014 06 22_prml_2_4
2014 06 22_prml_2_4
 
PRML 2.3.9-2.4.1
PRML 2.3.9-2.4.1PRML 2.3.9-2.4.1
PRML 2.3.9-2.4.1
 
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節
 
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
 
Prml
PrmlPrml
Prml
 
The archived Canadian US Patent Competitive Intelligence Database (2016/5/31)
The archived Canadian US Patent Competitive Intelligence Database (2016/5/31) The archived Canadian US Patent Competitive Intelligence Database (2016/5/31)
The archived Canadian US Patent Competitive Intelligence Database (2016/5/31)
 
Tutorial blog
Tutorial blogTutorial blog
Tutorial blog
 
The archived Canadian US Patent Competitive Intelligence Database (2014/8/19)
The archived Canadian US Patent Competitive Intelligence Database (2014/8/19) The archived Canadian US Patent Competitive Intelligence Database (2014/8/19)
The archived Canadian US Patent Competitive Intelligence Database (2014/8/19)
 
The Archived Canadian Patent Competitive Intelligence (2012/9/4)
The Archived Canadian Patent Competitive Intelligence (2012/9/4)The Archived Canadian Patent Competitive Intelligence (2012/9/4)
The Archived Canadian Patent Competitive Intelligence (2012/9/4)
 
Enquete sluitende aanpak VDAB
Enquete sluitende aanpak VDABEnquete sluitende aanpak VDAB
Enquete sluitende aanpak VDAB
 
C:\fakepath\curriculam vitae
C:\fakepath\curriculam vitaeC:\fakepath\curriculam vitae
C:\fakepath\curriculam vitae
 
The archived Canadian US Patent Competitive Intelligence Database (2015/6/2)
The archived Canadian US Patent Competitive Intelligence Database (2015/6/2) The archived Canadian US Patent Competitive Intelligence Database (2015/6/2)
The archived Canadian US Patent Competitive Intelligence Database (2015/6/2)
 
[오픈소스컨설팅]Data Source Password Encryption on JBoss EAP 6
[오픈소스컨설팅]Data Source Password Encryption on JBoss EAP 6[오픈소스컨설팅]Data Source Password Encryption on JBoss EAP 6
[오픈소스컨설팅]Data Source Password Encryption on JBoss EAP 6
 
The archived Canadian US Patent Competitive Intelligence Database (2015/3/10)
The archived Canadian US Patent Competitive Intelligence Database (2015/3/10) The archived Canadian US Patent Competitive Intelligence Database (2015/3/10)
The archived Canadian US Patent Competitive Intelligence Database (2015/3/10)
 
The archived Canadian Patent Competitive Intelligence (Sept. 7, 2010)
The archived Canadian Patent Competitive Intelligence (Sept. 7, 2010)The archived Canadian Patent Competitive Intelligence (Sept. 7, 2010)
The archived Canadian Patent Competitive Intelligence (Sept. 7, 2010)
 
The Archived Canadian Patent Competitive Intelligence (2013/8/6)
The Archived Canadian Patent Competitive Intelligence (2013/8/6)The Archived Canadian Patent Competitive Intelligence (2013/8/6)
The Archived Canadian Patent Competitive Intelligence (2013/8/6)
 
3º teste
3º teste 3º teste
3º teste
 
The Archived Canadian Patent Competitive Intelligence (June 14, 2011)
The Archived Canadian Patent Competitive Intelligence (June 14, 2011)The Archived Canadian Patent Competitive Intelligence (June 14, 2011)
The Archived Canadian Patent Competitive Intelligence (June 14, 2011)
 
Persuasion 2012
Persuasion 2012Persuasion 2012
Persuasion 2012
 
Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...
Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...
Microsoftpowerpoint howtoimplement5s-presentationbynetpeckersmanagementacadem...
 

Último

The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
koheioishi1
 
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentationTokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
YukiTerazawa
 

Último (8)

ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
 
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
 
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
 
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentationTokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
 
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
 
世界を変えるクレーンを生み出そう！　高知エンジニアリングキャンプ2024プログラム
世界を変えるクレーンを生み出そう！　高知エンジニアリングキャンプ2024プログラム世界を変えるクレーンを生み出そう！　高知エンジニアリングキャンプ2024プログラム
世界を変えるクレーンを生み出そう！　高知エンジニアリングキャンプ2024プログラム
 
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
 
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
 

C:\D Drive\Prml\プレゼン\パターン認識と機械学習2 4章 D0703

  • 1. PRML 読書会復習レーン 2.4 指数型分布族 [email_address] Yoshinori Kabeya
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19. 2.4.3 無情報事前分布 平行移動不変性 (translation invarance)(1/2) (2.232) この性質から x を定数分移動させて　　　　　　　としても ここから無情報事前分布の簡単な例について考える。 平行移動不変性とは・・・ 次式に記載させる確率密度の族は平行移動不変性をもつという (2.233) よって新しい変数でもとの変数と同じ形式を保ち、確率密度は原点の取り方に依存しない このような平行移動不変性をもつ事前分布を選ぶとすると A≦u≦B に入る確率が区間 A-c≦u≦B-c に入る確率が同じになるため この式が任意のAとBについて成立しなくてはならないため が得られ、この式より p(u) は 定数 となる (2.234) (2.235) 位置パラメータ (location parameter)
  • 20. 2.4.3 無情報事前分布 平行移動不変性 (translation invarance)(2/2) 位置パラメータの例としてガウス分布の平均uがある ガウス分布の事前分布で　　　　　　　　極限を取れば無情報事前分布となる u 上の事後分布に事前分布が全く影響していない (2.141)
  • 21. 2.4.3 無情報事前分布 尺度不変性 (scale parameter)(1/5) (2.236) 尺度不変性とは・・・ 次式に記載させる確率密度は尺度不変性をもつという σは尺度パラメータ(scale parameter)という (2.237) f （ｘ）が正規化されていれば、この分布も正規化されている よって x を定数倍して としても同じ形式が保たれる
  • 22. 2.4.3 無情報事前分布 尺度不変性 (scale parameter)(2/5) (2.238) 尺度不変性をもつ事前分布を選ぶとすると A≦u≦B に入る確率が区間 A/c≦u≦B/c に入る確率が同じになるため (2.239) この式が任意 A と B について成立しなくてはならないので これより p(σ)∝1/σ の条件が得られる !? 除算した区間において積分が同じになるということは区間の差が比の形となる すなわち対数とならなければならない。よって p(σ)∝1/σ なる必要がある。
  • 23. 2.4.3 無情報事前分布 尺度不変性 (scale parameter)(3/5) 尺度パラメータの事前分布を考えた場合、パラメータの対数密度を考えたほうが便利なことが多い。そこで (1.27) の変換規則を用いると p(lnσ)=const となる !? ここで p(σ)∝1/σ という制限があるため p(lnσ) は σ に対して const となる よって 1≦σ≦10 に入る確率は 10≦σ≦100,100≦σ≦1000 に入る確率と等しくなる
  • 24. 2.4.3 無情報事前分布 尺度不変性 (scale parameter)(4/5) 尺度パラメータの例として位置パラメータuを考慮済みのガウス分布の標準偏差がある ここで σ よりも精度 λ=1/σ^2 のほうが扱いやすいので よって確率分布の p(σ)∝1/σ は p(λ)∝1/λ に相当 (2.240)
  • 25. 2.4.3 無情報事前分布 尺度不変性 (scale parameter)(5/5) λの共役事前分布はガンマ分布であった。 ここで　　　　　　　　の場合 (2.150),(2.151) から事後分布は事前分布の要因に影響を受けないことがわかり、 (2.150) (2.151) 無情報事前分布となることがわかる (2.146)
  • 26.