Submit Search
Upload
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
•
18 likes
•
6,887 views
Hiroshi Nakagawa
Follow
機械学習の基礎理論のひとつであるベイズ統計と、ベイズ統計を用いた確率分布のパラメタ-推定の話です。データから確率分布を推定するという機械学習のメイントピックの基礎知識になります。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 30
Download now
Download to read offline
Recommended
因果推論の基礎
因果推論の基礎
Hatsuru Morita
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
傾向スコア:その概念とRによる実装
傾向スコア:その概念とRによる実装
takehikoihayashi
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
Recommended
因果推論の基礎
因果推論の基礎
Hatsuru Morita
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
傾向スコア:その概念とRによる実装
傾向スコア:その概念とRによる実装
takehikoihayashi
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-
Joe Suzuki
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
Rによるベイジアンネットワーク入門
Rによるベイジアンネットワーク入門
Okamoto Laboratory, The University of Electro-Communications
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
Katsuya Ito
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
MLaPP 5章 「ベイズ統計学」
MLaPP 5章 「ベイズ統計学」
moterech
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
PRML11章
PRML11章
Takashi Tamura
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
自由エネルギー原理から エナクティヴィズムへ
自由エネルギー原理から エナクティヴィズムへ
Masatoshi Yoshida
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
Hiroshi Nakagawa
パーソナル履歴データに対する匿名化と再識別:SCIS2017
パーソナル履歴データに対する匿名化と再識別:SCIS2017
Hiroshi Nakagawa
More Related Content
What's hot
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-
Joe Suzuki
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
Rによるベイジアンネットワーク入門
Rによるベイジアンネットワーク入門
Okamoto Laboratory, The University of Electro-Communications
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
Katsuya Ito
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
MLaPP 5章 「ベイズ統計学」
MLaPP 5章 「ベイズ統計学」
moterech
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
PRML11章
PRML11章
Takashi Tamura
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
自由エネルギー原理から エナクティヴィズムへ
自由エネルギー原理から エナクティヴィズムへ
Masatoshi Yoshida
What's hot
(20)
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Rによるベイジアンネットワーク入門
Rによるベイジアンネットワーク入門
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
PRML 1.6 情報理論
PRML 1.6 情報理論
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
MLaPP 5章 「ベイズ統計学」
MLaPP 5章 「ベイズ統計学」
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
PRML11章
PRML11章
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
自由エネルギー原理から エナクティヴィズムへ
自由エネルギー原理から エナクティヴィズムへ
Viewers also liked
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
Hiroshi Nakagawa
パーソナル履歴データに対する匿名化と再識別:SCIS2017
パーソナル履歴データに対する匿名化と再識別:SCIS2017
Hiroshi Nakagawa
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
PRML 2.3
PRML 2.3
Yuto Suzuki
jokyo20120528
jokyo20120528
YoshihiroHIROSE
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
kurotaki_weblab
池袋数学勉強会 対馬龍司 線形代数学講義 3章章末問題解説
池袋数学勉強会 対馬龍司 線形代数学講義 3章章末問題解説
GM3D
二次形式と素数で遊ぼう - 第2回 #日曜数学会
二次形式と素数で遊ぼう - 第2回 #日曜数学会
Junpei Tsuji
データ利用における個人情報の保護
データ利用における個人情報の保護
Hiroshi Nakagawa
2014人工知能学会大会および情報処理学会EIP研究会発表資料
2014人工知能学会大会および情報処理学会EIP研究会発表資料
Hiroshi Nakagawa
A Happy New Year 2016
A Happy New Year 2016
Hiroshi Nakagawa
k-匿名化が誘発する濡れ衣:解決編
k-匿名化が誘発する濡れ衣:解決編
Hiroshi Nakagawa
Privacy Protectin Models and Defamation caused by k-anonymity
Privacy Protectin Models and Defamation caused by k-anonymity
Hiroshi Nakagawa
数式を使わないプライバシー保護技術
数式を使わないプライバシー保護技術
Hiroshi Nakagawa
匿名加工情報を使えないものか?(改訂版)
匿名加工情報を使えないものか?(改訂版)
Hiroshi Nakagawa
未出現事象の出現確率
未出現事象の出現確率
Hiroshi Nakagawa
Privacy Protection Technologies: Introductory Overview
Privacy Protection Technologies: Introductory Overview
Hiroshi Nakagawa
Boundary Between Pseudonymity and Anonymity
Boundary Between Pseudonymity and Anonymity
Hiroshi Nakagawa
匿名化の技術的俯瞰ー匿名加工情報の観点から
匿名化の技術的俯瞰ー匿名加工情報の観点から
Hiroshi Nakagawa
Problems in Technology to Use Anonymized Personal Data
Problems in Technology to Use Anonymized Personal Data
Hiroshi Nakagawa
Viewers also liked
(20)
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
パーソナル履歴データに対する匿名化と再識別:SCIS2017
パーソナル履歴データに対する匿名化と再識別:SCIS2017
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
PRML 2.3
PRML 2.3
jokyo20120528
jokyo20120528
PRML勉強会第3回 2章前半 2013/11/28
PRML勉強会第3回 2章前半 2013/11/28
池袋数学勉強会 対馬龍司 線形代数学講義 3章章末問題解説
池袋数学勉強会 対馬龍司 線形代数学講義 3章章末問題解説
二次形式と素数で遊ぼう - 第2回 #日曜数学会
二次形式と素数で遊ぼう - 第2回 #日曜数学会
データ利用における個人情報の保護
データ利用における個人情報の保護
2014人工知能学会大会および情報処理学会EIP研究会発表資料
2014人工知能学会大会および情報処理学会EIP研究会発表資料
A Happy New Year 2016
A Happy New Year 2016
k-匿名化が誘発する濡れ衣:解決編
k-匿名化が誘発する濡れ衣:解決編
Privacy Protectin Models and Defamation caused by k-anonymity
Privacy Protectin Models and Defamation caused by k-anonymity
数式を使わないプライバシー保護技術
数式を使わないプライバシー保護技術
匿名加工情報を使えないものか?(改訂版)
匿名加工情報を使えないものか?(改訂版)
未出現事象の出現確率
未出現事象の出現確率
Privacy Protection Technologies: Introductory Overview
Privacy Protection Technologies: Introductory Overview
Boundary Between Pseudonymity and Anonymity
Boundary Between Pseudonymity and Anonymity
匿名化の技術的俯瞰ー匿名加工情報の観点から
匿名化の技術的俯瞰ー匿名加工情報の観点から
Problems in Technology to Use Anonymized Personal Data
Problems in Technology to Use Anonymized Personal Data
More from Hiroshi Nakagawa
人工知能学会大会2020ーAI倫理とガバナンス
人工知能学会大会2020ーAI倫理とガバナンス
Hiroshi Nakagawa
信頼できるAI評価リスト パーソナルAIエージェントへの適用例
信頼できるAI評価リスト パーソナルAIエージェントへの適用例
Hiroshi Nakagawa
NICT-nakagawa2019Feb12
NICT-nakagawa2019Feb12
Hiroshi Nakagawa
情報ネットワーク法学会研究大会
情報ネットワーク法学会研究大会
Hiroshi Nakagawa
最近のAI倫理指針からの考察
最近のAI倫理指針からの考察
Hiroshi Nakagawa
AI and Accountability
AI and Accountability
Hiroshi Nakagawa
AI Forum-2019_Nakagawa
AI Forum-2019_Nakagawa
Hiroshi Nakagawa
2019 3-9-nakagawa
2019 3-9-nakagawa
Hiroshi Nakagawa
CPDP2019 summary-report
CPDP2019 summary-report
Hiroshi Nakagawa
情報法制研究所 第5回情報法セミナー:人工知能倫理と法制度、社会
情報法制研究所 第5回情報法セミナー:人工知能倫理と法制度、社会
Hiroshi Nakagawa
Ai e-accountability
Ai e-accountability
Hiroshi Nakagawa
自動運転と道路沿い情報インフラ
自動運転と道路沿い情報インフラ
Hiroshi Nakagawa
暗号化によるデータマイニングと個人情報保護
暗号化によるデータマイニングと個人情報保護
Hiroshi Nakagawa
Defamation Caused by Anonymization
Defamation Caused by Anonymization
Hiroshi Nakagawa
人工知能と社会
人工知能と社会
Hiroshi Nakagawa
人工知能学会合同研究会2017-汎用人工知能研究会(SIG-AGI)招待講演
人工知能学会合同研究会2017-汎用人工知能研究会(SIG-AGI)招待講演
Hiroshi Nakagawa
情報ネットワーク法学会2017大会第8分科会発表資料
情報ネットワーク法学会2017大会第8分科会発表資料
Hiroshi Nakagawa
学術会議 ITシンポジウム資料「プライバシー保護技術の概観と展望」
学術会議 ITシンポジウム資料「プライバシー保護技術の概観と展望」
Hiroshi Nakagawa
AI社会論研究会
AI社会論研究会
Hiroshi Nakagawa
Social Effects by the Singularity -Pre-Singularity Era-
Social Effects by the Singularity -Pre-Singularity Era-
Hiroshi Nakagawa
More from Hiroshi Nakagawa
(20)
人工知能学会大会2020ーAI倫理とガバナンス
人工知能学会大会2020ーAI倫理とガバナンス
信頼できるAI評価リスト パーソナルAIエージェントへの適用例
信頼できるAI評価リスト パーソナルAIエージェントへの適用例
NICT-nakagawa2019Feb12
NICT-nakagawa2019Feb12
情報ネットワーク法学会研究大会
情報ネットワーク法学会研究大会
最近のAI倫理指針からの考察
最近のAI倫理指針からの考察
AI and Accountability
AI and Accountability
AI Forum-2019_Nakagawa
AI Forum-2019_Nakagawa
2019 3-9-nakagawa
2019 3-9-nakagawa
CPDP2019 summary-report
CPDP2019 summary-report
情報法制研究所 第5回情報法セミナー:人工知能倫理と法制度、社会
情報法制研究所 第5回情報法セミナー:人工知能倫理と法制度、社会
Ai e-accountability
Ai e-accountability
自動運転と道路沿い情報インフラ
自動運転と道路沿い情報インフラ
暗号化によるデータマイニングと個人情報保護
暗号化によるデータマイニングと個人情報保護
Defamation Caused by Anonymization
Defamation Caused by Anonymization
人工知能と社会
人工知能と社会
人工知能学会合同研究会2017-汎用人工知能研究会(SIG-AGI)招待講演
人工知能学会合同研究会2017-汎用人工知能研究会(SIG-AGI)招待講演
情報ネットワーク法学会2017大会第8分科会発表資料
情報ネットワーク法学会2017大会第8分科会発表資料
学術会議 ITシンポジウム資料「プライバシー保護技術の概観と展望」
学術会議 ITシンポジウム資料「プライバシー保護技術の概観と展望」
AI社会論研究会
AI社会論研究会
Social Effects by the Singularity -Pre-Singularity Era-
Social Effects by the Singularity -Pre-Singularity Era-
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
1.
2. Bayes統計に基づく推論 Bayesによる確率分布推定の考え方 多項分布、ディリクレ分布 事前分布としてのディリクレ分布の意味 正規分布と事後分布 多次元正規分布と条件付き分布 指数型分布族 自然共役事前分布の最尤推定 クラシックな機械学習の入門 by 中川裕志(東京大学)
2.
Bayesによる確率分布推定の考え方 事前分布 とはパラメター (i.e. μ)自体の分布 μ 観測データ or
教師データ:X p(μ|X)=p(X|μ) p(μ) 観測データを事前分布にBayes の定理で組み合わせる μ Xを観測した後に得た パラメターμの 事後分布 パラメター μは点では なく、分布として与えら れる点に注意!
3.
複数の離散データが独立に出現する場合の確率分 布の定番 個々の離散データ間に相関がない場合に使うもの で基本的分布。 以下はK種類の離散データ(例えば、語彙数がKでN単語 からなるテキストでの単語の出現分布)がある場合 多項分布:Mult
1 cov1varE .. ,|,..,, 1 121 21 K i k kjkjkkkkk K k m k K K NmmNmNm mmm N NmmmMult k ただし、 μ
4.
多項分布では離散事象(たとえば単語)iの出 現回数 mi が確率変数だった。 しかし、逆に
mi が観測値として既知の場合に 、単語 i の出現確率 μi が確率変数となる分 布も考えられる。すなわち、多項分布の事前 分布として使えるような分布。 ディリクレ分布: Dir
5.
ディリクレ分布:Dir • K変数の場合。αはパラメターだが、以下の式 の分布を作るときに使った既知の観測回数 のデータと考えてもよいだろう。
K k k K k k K K k K k k KK k Dir αμ 1 1 1 1 1 1 11 E | 101 4 2 2 410 Γ 関数 1
6.
ディリクレ分布の例 2 1 01.0 21 21 21 0μ1 μ11 1μ2 μ20
7.
事前分布としてのディリクレ分布の意味 ディリクレ分布Dirを事前分布とみなして、観 測データが多項分布Multで与えられたときの 事後分布としてのディリクレ分布Dirを考える こうして見ると、αiは事前分布を得るために想 定したiの(仮想的)観測回数と見做せる。
K i m i KK K i m i K i i K i iKi ii ii mm M XDirXDir DirXMultXDir MmmmXmi 1 1 11 0 1 1 0 11 1 )|(),|( )|(|),|( ,),,...,( :の出現回数観測データ 事前観測事後
8.
1変数正規分布:連続する数値データの確率分布の 定番 では、ここでMultからDirの事後分布を求めたと同じ ように、Bayesの定理を用いて、正規分布において 、事前分布から事後分布を求めてみよう。 次のページの例は簡単のため、分散は既知とし、事後分 布の期待値だけを求めることにする。 分散の事後分布についてはWishart分布という分布が登場する が、難しいのでここでは省略 正規分布(1変数)と事後分布
2 2 2 2 2 var,E, 2 exp 2 1 ,| xx x xN
9.
K i iK K KK K i i K i i K i iK K i i x KK K NXpK Xp N x K xpXpXp Bayes xxp XpK Np 122 0 2 0 022 0 2 22 0 2 2 2 1 2 0 02 2 0 2 2 0 2 0 1 2 2 1 2 22/2 1 2 00 , 11 ,||: | )10( 2 1 exp 22 1 exp)|(| 2 1 exp 2 1 | )|(: ),|(: 後の事後分布個の観測データを得た だからこの結果より は正規分布 の定理から は既知ただし れた場合の尤度個の観測データが得ら 事前分布 事前分布からの寄与 観測データからの寄与 事前観測事後
10.
観測データ数Kと事後分布の例 -1.5 -1 -0.5
0 0.5 1 1.5 K=10の事後分布 K=2の事後分布 K=1の事後分布 事前分布 5.0 1 01.01.0 1 0 22 0 xEx K K i i 観測データにより事前分布の パラメータμが修正されていく
11.
多次元正規分布:複数種類(つまり複数の確率変数) を持つ数値データの確率分布 多次元正規分布
)()( 2 1 exp )2( || )()( 2 1 exp || 1 )2( 1 )|( :cov E 2 2 1 1 2 1 2 1 2 1 11 2 11 μxμx μxΣμxΣμ,x Σx μxx T D T D DD D DD N x x D 精度行列共分散行列: 次元の正規分布
12.
例題 多次元正規分布の共分散行列を推定する。
1 x x 1 x 11 1 2 2 1 1 ]))([( 0]))([( []x ))(())(( ))(()()( 2 ||log 1 0 )()(||log)|(log )()( 2 1 exp )2( )|( T T TTT TT T T T D E E E trace N N D μxμx μxμx μxμxμxμx μxμxμxμx μxμxμ,x μxμxμ,x より をすると、すなわちに対して期待値をとるここで 項の微分第 項の微分第 とおくで微分してするためにこの対数尤度を最大化 次元の正規分布
13.
条件付正規分布 変数ベクトルzをxとyに分割すると X=a y p(y) P(y|x=a)
14.
変数ベクトルzをxとyに分割する。 ここで多次元正規分布の指数の肩の項は次式 -(G-10) yx T xy yyyx xyxx T yxxy T yyyx xyxx y x where N とすると精度行列: 多次元正規分布 1 ),|( μ μ μ y x z μz )()( 2 1 )()( 2 1 )()( 2 1 )()( 2 1 )()( 2 1
1 yyy T yxyx T y yxy T xxxx T x T μyμyμxμy μyμxμxμx μzμz
15.
一般に正規分布 の指数の肩は次式で書け、右 辺の第1項、第2項の係数の部分に着目すれば期待値、共分 散が求まる。 -(G-20) ),( μ|zN constTTT
μzzzμzμz 111 2 1 )()( 2 1 条件付正規分布p(x|y)の期待値μx|yと共分散Σx|yをこの方法を (G-10)式に適用して求めよう。ー 問題
16.
一方、(G-10)においてxの1次の項がΣ -1 μ
これは次式 )( )( )( 1 1 ||| yxyxxx xxyxyxyxxxyxyx yxyxxx T μyμ μyμμ μyμx より これにより 次に、これらの結果を共分散行列を用いて書き直す yxyyxyxxyx yyyxyxyx yyxyyxyyxyxxxyyxyyxyxxxx yyyx xyxx yyyx xyxx Matrix 1 | 1 | 11111 1 1 )( )()( )( μyμμ を使えばにおいて yを定数とみなしてxの分布を求めれば、条件付分布になるか ら(G-10)の第1項のxの2次の項の係数が共分散。すなわち 1 | 2 1 xxyxxx T によりxx
17.
exponential family:指数型分布族
2)))d(exp()(log)( 1d))(exp()(exp ),(,, 1)η)(exp()()|( EBxxuηxhηa uηhηa ηux EBauηhηp T T T xxx x xxx また、 は一般にはベクトルただし 正規化項 iidの観測データX={x1, …, xN }に対しては以下の式 N n n T N n n ηNaηhηp 11 )()(exp)()|( xuxX 事前分布と学習後の事後分布が同一タイプの分布(事前共役)
18.
いくつかの確率密度関数のExponential family表現:ガウス分布
)( 1 log 2 , 1 log 2 2 1 ,exp 2 1 2 2 exp 2 1 2 exp 2 1 ),|( 2 2 1 21 2 2 2 22 2 22 2 2 2 2 2 ax x x xx x xp T
19.
いくつかの確率密度関数のExponential family表現:多項分布 )()( 1log 1 logexp 1loglogexp ,1)|( familylexponentia)( 1 1 1 1 1 1 21 1 1 1 1 1 121 11121 axxh Nx xxx N xNx xxx N Nx xxx N xp lMultinomia T K k kk K k K k k k K K k k K k k K k kk K K k k K k k K k x k K k を使うと 表現の多項分布
20.
自然共役事前分布の最尤推定 4])([ )( 3])([ )( ])([1 0)())()(exp()())()(exp()( )( ))()(exp()()|(1 parameternatural ))()(exp()()|( 2 2 EBV η ηa EBE η ηa E duηauηhdηauηh η ηa j dηauηhdηp η ηauηhηp j j j j j j TT j j T T xu xu xu xxxxxxx xxxxx xxx とで微分してゼロとおく成分の第上の式を の最尤推定をする。における
21.
(EB3)(EB4)の応用例 ガウス分布に応用
1)( 2 )( log 2 1 2 )(, 1 log 2 2 1 ,exp 2 1 ),|( 2 22 1 1 2 1 2 1 2 1 2 2 1 11 1 2 2 2 1 21 2 2 2 22 2 ηη ηa xV ηη ηa xE ax x x xp ηη T
22.
(EB3)(EB4)の応用例 多項分布に応用 kk K k k K k k k K k k k K k K k K k K k k K k k k kK k k k K k K k k k K k k k K k k k K k K k K k kkK k k K k k K k kK k K k k k K k kk K k K k k k K K k x k K NN e eee N e eeee N e e N a NNN e e N a eN e NNaee Nx xx N xx N xp k kkk k kkkkk k k k k k k kk k 1 1 1 1 1 )( 1 1 )( log 1 log1log)( 1 1 11 1log 1 logexp)|( 21 1 1 1 1 1 2 1 1 2 1 11 2 2 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 111
)(1log)( 1 1 axxh K k kkk
23.
2項分布の場合はおなじみの公式
1 e1 e e1 e)( e1 e)( e1log e1 1 log1log)( e1 e e1e1e 1 e )( 1 log)( 1log 1 logexp 2 1)|( 22 2 NNN ηη ηa xVNN a xE NNNa axh Nx N x N xp ηη xNx
24.
Exponential familyとベイズ統計: 共役分布と事後分布 仮想的な観測 データ 実際の観測 データ 仮想的 な観測 回数:1 実際の観測 回数 赤枠の中は事 後パラメター
aηaKληxuλh ηaxuηaηaληλh xpηpxxηp xxiidKxp EB ηa ηλλ ha aηaληλhηp λλλ TK i i K i i TT K i iN K T T T 2 1 1 1 21 1 1 1 21 21 21 )(exp)( )(expexp)( |)|(),,,|( )|( )22(d , exp)(log exp)()|( ,:ハイパーパラメター の事後分布は が得られたときのの観測データ個のに沿うさて、 布を定義する によって共役事前分
25.
は既知とする。 は既知ただし れた場合の尤度個の観測データが得ら = 事前分布 22 00 22 2 2 22 2 1 2 22/21 2 0 2 0 2 0 2 2 0 0 21 2 00 2 0 22 0 0 121 2 00 ,, )( 1 log 2 1 2 1 ,exp 2 1 ),|( 2 1 exp 2 1 | )|(: 22 expexp),|(| 2 1 ,,,),|(|: a x x xp xxp XpK λaaλλNp Np T K i iK K i i T 1変数正規分布の期待値に適用した例 その1
26.
22 0 2 1 22 0 0 22 2 2 0 2 1 22 0 0 2 2 2 1 2 1 1 22 1 T 21 1 1 1 2 1 exp 1 log 22 1 exp)( 12 ,exp)( 1 , )(expexp)( |)|(),,,|( K x K xh ηKaaλ x xλh ηaxuηaλλh xppxxp K i i K i i K i i K i i T K i i K i iN 1変数正規分布の期待値に適用した例 その2 前に求めた N10 に一致
27.
Exponential family別表現とベイズ統計の続き:予測分布
得られる。で 置き換えればを でを においての予測分布はの 新規(あるいは未知) が得られたときのの観測データ個の とハイパーパラメター で分布は次式のように与えられたときの事後ハイパーパラメターが ーしたハイパーパラメタ個の観測データも考慮 Kλλλ xuλλλ EBx xxiidK EBaηaληxuλhxh aηaληλhaxuxh λpxpxp EBKλλEBxuλλ K K i i K T TT K i i 222 1 111 1 21 21 22 1 11 ˆ )(ˆ )23( )23(expd1)(exp)()( dexp)()(exp)( d)|()|()|( emarginaliz )22(ˆ)21()(ˆ
28.
ベイズ統計による事前、事後、予測分布の例:多変数ガウス分布 難しいので省略する予定 精度行列(分散の逆行列)Λが既知のd次元ガウス分布をexponential family で表現
T d TTT TTTT T T d xxxu axh xxxddxp xxxxdd xxdd xxxp ),..,()( )()( 2 1 exp||log2log 2 1 exp)|( !:parameternatural ||log2log 2 1 exp ||log2log 2 1 exp 2 1 exp||2 2 1 )|( 1 1 11T1T 11 2 以下も注意 たがまだ決めていなかっ とおくと
29.
事前分布のパラメターλから予測分布p(x| λ)を求める
|||| 2 1 ||loglog 2 1 2 2 1 ||log 2 1 exp 2 1 exp 22 2 1 exp 2 1 expexp)|( 1 2 1 2 1 2 111 2 2 11 1 1 2 1 2 2 11 2 2 1 1 1 2 1 2121 d T T TT T TT TTT d da a aaap に対しては、次元の行列 とおくと として事前分布もガウス分布
30.
)36( 2 )()35( 2 )4)(3( )22(d , exp)(log exp)()|( 2 2 11 222 1 1 21 21 EB da aEEB a E EBEB EB ηa ηλλ ha aηaληλhηp TT T T ように求まる。の十分統計量が以下のが与えられたときのより および
Download now