PRML復々習レーン #2 2012/06/17 アフィン云々の部分で誤りがありました。お詫びして訂正致します。

1. .
.
指数型分布族とかの周辺
marugari
PRML 復々習レーン
2012/06/17
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 1 / 16

2. .
参考文献
.
Monte Carlo Statistical Methods
Robert, C. and Casella, G. (2010)
最尤推定 is 最適化
ベイズ推定 is 積分
ベイジアンに宗旨替えしたくなる
良書.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 2 / 16

3. 混合ガウス分布
間欠泉のデータ
噴出の持続時間が長いと次回までの間隔も長く
なる.
噴出の時間が短いと次回までの間隔も短くなる.
.
2 つのガウス分布を使えば精度よくフィ
. ットできる.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 3 / 16

4. .
混合ガウス分布
.
{πi }1≤i≤K が確率の公理を満たすとする. このとき,
∑
K
f (x) = πi ϕ(x|µi , Σi ),
i=1
を混合ガウス分布という. {πi }1≤i≤K は混合係数,
ϕ(x|µi , Σi ) は混合要素と呼ばれる.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 4 / 16

5. p(k) を k 番目の混合要素に対する事前確率とすれば,
∑
K
f (x) = ϕ(x|µi , Σi )p(i).
i=1
事後分布 p(k|x) は負担率と呼ばれ
p(k|x) ∝ ϕ(x|µk , Σk )p(k),
となる.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 5 / 16

6. .
パラメータ推定
.
対数尤度関数は
∑
N ∑
K
log πi ϕ(x|µi , Σi ).
j=1 i=1
関数が複雑なので, 繰り返し的な最適化手法または
. アルゴリズムを用いる.
EM
だいたい至る所で 0 を取る分布を外れ値に割り当てる
ことで尤度関数をいくらでも大きくできる. 目的関数
にも工夫が必要.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 6 / 16

7. marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 7 / 16

8. 指数型分布族
.
指数型分布族
.
確率分布 p で
{ }
p(x|η) = h(x)g(η) exp η ⊤ u(x) ,
という関数形を持つものを指数型分布族と呼ぶ.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 8 / 16

9. .
指数型分布族の例
.
ポアソン分布
正規分布
テキストで分布関数が書き下されるようなものは殆ど
このクラスに属している.
.
.
指数型分布族でない例
.
混合ガウス分布
切断正規分布
まともには解けないので何らかの工夫が必要.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 9 / 16

10. marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 10 / 16

11. 最尤推定と十分統計量
指数分布族の確率分布について最尤推定を考える. 適
当にサンプリングされた標本が得られているとき, 最
適化の 1 階条件は
∫
{ }
∇g(η) h(x) exp η ⊤ u(x) dx
∫
{ }
+ g(η) h(x) exp η ⊤ u(x) u(x)dx = 0.
これを変形すれば
∇g(η)
− = E [u(X)] .
g(η)
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 11 / 16

12. .
尤度関数
.
独立同分布のデータ {xi }1≤i≤N が得られたとき, 尤度
関数は
p ({xi }1≤i≤N )
{N } {⟨ N ⟩}
∏ ∑
= h(xi ) g(η)N exp u(xi ), η .
i=1 i=1
対数をとると
⟨ ⟩
∑
N ∑
N
N log g(η) + u(xi ), η + log h(xi ).
. i=1 i=1
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 12 / 16

13. .
訂正:
尤度関数自体はアフィンじゃなかったです
.
対数尤度関数は
基準化の係数 g(η)
η についてアフィンな関数
の和になっている.
しかも計算量はサンプル数に対して線形にしか増加し
ない.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 13 / 16

14. .
尤度最大化
.
対数尤度最大化の 1 階条件は
1 ∑
N
−∇ log g(η) = u(xi ).
N i=1
∑N
つまり最尤パラメータを求めるには i=1 u(xi ) だけ
∑N
で良い. この i=1 u(xi ) を十分統計量と呼ぶ.
アフィン関数の微分には η が現れないので表現が非常
に簡単になっている.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 14 / 16

15. .
ベルヌーイ分布の場合
.
確率変数は独立という設定なので, 成功の順番を記録
する必要はない. 成功回数だけでパラメータを推定で
きる.
.
.
正規分布の場合
.
正規分布は平均と分散で特徴付けられるので, 1 次と 2
次のモーメントを保持しておけば良い.
.
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 15 / 16

16. おわり
marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 16 / 16