第14回PRML読書会発表資料

1. 第１４回PRML読書会 発表資料
11.2 マルコフ連鎖モンテカルロ
2010/05/08
Presented by takmin

2. この章の流れ
• 11.2 マルコフ連鎖モンテカルロ
– どんなサンプリングアルゴリズムか？
– Metropolisアルゴリズムの解説
• 11.2.1 マルコフ連鎖
– マルコフ連鎖のより詳細な性質について
• 均一マルコフ連鎖，詳細釣り合い条件，エルゴード性，
平衡分布
• 11.2.2 Metropolis-Hastingsアルゴリズム
– なぜ目標分布に従うのか

3. 11.2 マルコフ連鎖モンテカルロ
• 高次元の場合にも適用可能なサンプリングア
ルゴリズム
( )
• 現在のサンプルの状態 z に合わせて，提
案分布の形を変えて z ( 1) をサンプリング
( )
 z がマルコフ連鎖になる
• 以下の条件の元でMetropolisアルゴリズムに
より目標分布 p(z) のサンプリングが可能
~(z) / Z とした時， ~(z) が計算可能
– p(z )  p p
p
– 提案分布で q(z A | z B )  q(z B | z A ) が成立

4. Metropolisアルゴリズム
( )
1. 現在の状態を z とする

q z | z ( ) 
~z 
p
z ( )

5. Metropolisアルゴリズム
( )
2. 提案分布 q(z | z ) からサンプル z * を抽出する
z* z ( )

6. Metropolisアルゴリズム
3. 単位区間[0-1]の一様分布から乱数uを選択し，u
とAの大小を比較
 ~ (z * ) 
 *
A z ,z ( )
 p
 min1, ~ ( ) 
 p (z ) 
(11.33)
 
z* z ( )

7. Metropolisアルゴリズム
3.1. uがA より小さいなら，z * を受理して以下の式
に従って状態 z ( ) を更新
( 1)
z z *
z* z ( )

8. Metropolisアルゴリズム
3.1. uがA より小さいなら，z * を受理して以下の式
に従って状態 z ( ) を更新
( 1)
z z *
z ( 1)

9. Metropolisアルゴリズム
3.2. uがA より大きいなら， * を棄却して以下の式
z
に従って状態 z ( ) を更新
( 1) ( )
z z
z* z ( )

10. Metropolisアルゴリズム
3.2. uがA より大きいなら， * を棄却して以下の式
z
に従って状態 z ( ) を更新
( 1) ( )
z z
z ( 1)

11. Metropolisアルゴリズム
4. q(z A | z B )  0 ならば  で目標分布 p(z) に近
づく

12. Metropolisアルゴリズム
p(z)の独立なサンプルを得たいなら，系列中のほ
とんどのサンプルを破棄し，M個ごとのサンプルだ
け保持する．
(1) ( 2)
z , z ,  は高い相関があるため

13. Metropolisアルゴリズム
• ２次元ガウス分布
からサンプリング
する例
• 提案分布は標準
偏差0.2の等方ガ
ウス分布

14. ランダムウォークの性質
• 整数を状態とし，以下の遷移確率を持つ状態空
間zの例
   0.5
0.5
( 1) ( )
pz z
pz  1  0.25
( 1) ( ) 0.25 0.25
z
pz ( 1)
 z ( )  1  0.25
( )
z

15. ランダムウォークの性質
• z ( 0)
 0 の時，
  0
Ez ( )
    / 2
E z ( ) 2
イメージ図
0
 に比例する距離しか探索が進まない
MCMCの設計において，ランダムウォーク的性質を避けるのが重要！

16. 11.2.1 マルコフ連鎖
求めたい分布をサンプリングするために満たす
べきマルコフ連鎖の性質
1. 求めたい分布 p(z) が不変となるようなマルコフ連鎖(詳細釣
り合い条件)
2. m   の時，初期分布p (z ) の選択に関わらず，分布p ( z )
(0) (m )
が求めたい不変分布 p * (z ) に収束する(エルゴード性)
p (z (1) | z ( 0 ) ) p (z ( m 1) | z ( m ) )
p(z ( 0) ) p ( z (m ) ) p* (z )
z (0) z (1)
z (m )
z ( m 1)

17. マルコフ連鎖
( m 1) ( m 1)
p(z (1)
| z ,, z (m)
)  p(z |z (m)
) (11.37)
p (z (1) | z ( 0 ) ) p (z ( m 1) | z ( m ) )
z (0) z (1)
z (m )
z ( m 1)

18. マルコフ連鎖
遷移確率：
Tm (z ( m1) , z ( m) )  p(z ( m1) | z ( m) )
T1 (z (1) , z ( 0) ) Tm (z ( m1) , z ( m) )
z (0) z (1)
z (m )
z ( m 1)

19. マルコフ連鎖
遷移確率：
Tm (z ( m1) , z ( m) )  p(z ( m1) | z ( m) )
均一マルコフ連鎖：
Tm (z ( m1)
,z ( m)
)  Tm1 (z ( m)
,z ( m1)
)    T (z, z)
T (z, z) T (z, z)
z (0) z (1)
z (m )
z ( m 1)

20. マルコフ連鎖
不変分布：
分布がマルコフ連鎖の各ステップで変わらない
p (z ( m 1) )   p (z ( m 1) | z ( m ) ) p (z ( m ) ) (11.38)
z(m)
p* (z )   T (z, z ) p* (z) (11.39)
z
均一マルコフ連鎖

21. マルコフ連鎖
詳細釣り合い条件：
p * (z ) が不変分布であるための十分条件
p * (z )T (z, z)  p * (z)T (z, z ) (11.40)
p* (z )   T (z, z ) p* (z) (11.39)
z

22. マルコフ連鎖
詳細釣り合い条件：
p * (z ) が不変分布であるための十分条件
p * (z )T (z, z)  p * (z)T (z, z ) (11.40)
 p (z
z
*
)T (z, z )   p * (z )T (z, z)
z
(11.41)
 p * ( z ) p ( z | z )  p * ( z )
z

23. マルコフ連鎖
求めたい分布をサンプリングするために満たす
べきマルコフ連鎖の性質
1. 求めたい分布 p(z) が不変となるようなマルコフ連鎖(詳細釣
り合い条件)
2. m   の時，初期分布p (z ) の選択に関わらず，分布p ( z )
(0) (m )
が求めたい不変分布 p * (z ) に収束する(エルゴード性)
p (z (1) | z ( 0 ) ) p (z ( m 1) | z ( m ) )
p(z ( 0) ) p ( z (m ) ) p* (z )
z (0) z (1)
z (m )
z ( m 1)

24. マルコフ連鎖
求めたい分布をサンプリングするために満たす
べきマルコフ連鎖の性質
1. 求めたい分布 p(z) が不変となるようなマルコフ連鎖(詳細釣
り合い条件)
2. m   の時，初期分布p (z ) の選択に関わらず，分布p ( z )
(0) (m )
が求めたい不変分布 p * (z ) に収束する(エルゴード性)
このとき不変分布をただ１つだけ持つ（=平衡分布）

25. 遷移確率
• 遷移確率を「基本」遷移の組から構築する
組み合わせ その１
K
T (z, z )    k Bk (z, z ) (11.42)
k 1
重み 基本遷移
Bk ( z , z )が詳細釣り合い条件満たすとき，T (z, z) も満たす．

26. 遷移確率
• 遷移確率を「基本」遷移の組から構築する
組み合わせ その２
T (z, z)    B1 (z, z1 )  BK 1 (z K 2 , z K 1 ) BK (z K 1 , z)
z1 z K 1
(11.43)
Bk ( z , z ) が詳細釣り合い条件満たしても， (z, z) も満た
T
すとは限らない．
B1 ,, BK , BK ,, B1 の形に対称化することで，満たされるようになる．

27. 遷移確率
• B1 ,, BK , BK ,, B1 の形に対称化した場合の詳細
釣り合い条件の展開(K=2の例)
p (z)T (z, z )   p (z) B1 (z, z1 ) B2 (z1 , z 2 ) B2 (z 2 , z1 ) B1 (z1 , z )
z1 z2
  B1 (z1 , z) p (z1 ) B2 (z1 , z 2 ) B2 (z 2 , z1 ) B1 (z1 , z )
z1 z2
  B1 (z1 , z) B2 (z 2 , z1 ) p (z 2 ) B2 (z 2 , z1 ) B1 (z1 , z )
z1 z2
  B1 (z1 , z) B2 (z 2 , z1 ) B2 (z1 , z 2 ) B1 (z, z1 ) p (z )
z1 z2
 p (z )T (z, z)
Thanks to @shuyoさん @shima__shimaさん

28. 確率遷移
• 合成遷移確率の使用例
– それぞれの基本遷移がある変数の部分集合だ
け変更する
 z1  B1 (z, z)
 
  
z   zk  Bk ( z , z )
 
  
z 
 K BK (z, z)

29. 11.2.2 Metropolis-Hastings
アルゴリズム
この節で行うこと
•Metropolisアルゴリズムの提案分布を引数に対
して非対称な関数へ一般化
•このアルゴリズムが求めたい分布からサンプリ
ングを行うことを証明
•提案分布の選び方と収束時間の説明

30. Metropolis-Hastingsアルゴリズム
1. 現在の状態を z ( ) とする
( ) *
2. 提案分布q (z | z ) からサンプル z を抽出す
る
3. 単位区間[0-1]の一様分布から乱数uを選択し，
uとAの大小を比較
 ~(z* )qk (z ( ) | z * ) 
 *
Ak z , z ( )
 p
 min1, ~ ( )
 p (z )q (z* | z ( ) )  
Metropolisアルゴリ
ズムとの違い
 k 
( 1)
1. A>uの時，サンプルを受理し， z z *
2. A≦uの時，サンプルを棄却し， z ( 1)  z ( )
4. τ→∞で，目標分布に近づく

31. Metropolis-Hastingsアルゴリズム
 ~(z* )qk (z ( ) | z * ) 

Ak z , z* ( )
 p
 min1, ~ ( )
 p (z )q (z* | z ( ) )  
 k 
は，詳細釣り合い条件を満たす。
p(z )qk (z | z ) Ak z, z   min p(z )qk (z | z ), p(z)qk (z | z) 
この分布 遷移確率  min p(z)qk (z | z), p(z )qk (z | z ) 
 p(z)qk (z | z) Ak z, z
が不変

32. 提案分布の選択
現在の状態を中心としたガウス分布の例
分散が小さい場合：
• 受理率：高
• 状態空間の遷移：遅
ステップ幅
長さの比＝受理確率
z ( )

33. 提案分布の選択
現在の状態を中心としたガウス分布の例
分散が大きい場合：
• 受理率：低
• 状態空間の遷移：速
ステップ幅
長さの比＝受理確率
z ( )

34. 提案分布の選択
多変量ガウス分布の例
• 提案分布のスケールρは
高い棄却率を招かない
限り，できるだけ大きくす
べき
  O( min )
• 元々の状態から，多少
なりとも独立な状態を訪
れるのに必要なステップ
数のオーダー

O ( max /  min ) 2 

35. まとめ
• マルコフ連鎖モンテカルロ
– 高次元でも適用可能なサンプリングアルゴリズム
• マルコフ連鎖
– MCMCを行うのに必要な遷移確率の条件
• 詳細釣り合い条件
• エルゴード性
• Metropolis-Hastingsアルゴリズム
– 状態空間を拡散する速度と棄却率はトレードオフ

36. ご静聴ありがとうございました。