PRML11章をまとめた資料です。

1. PRML 第11章
サンプリング法

2. - 2 -
◼ サンプリング法の目的
ある関数𝑓(𝑧)の確率分布𝑝(𝑧)の下での期待値の計算を
行うこと。
◼ 期待値計算について
連続変数の場合：式（11.1）𝔼 𝑓 = ∫ 𝑓 𝑧 𝑝 𝑧 𝑑𝑧
関数と分布の例
11章 サンプリング法

3. - 3 -
期待値を解析的な方法を用いて厳密に評価することが
困難と仮定。
⇒ 確率分布𝑝(𝑧)から独立に抽出されたサンプル集合
𝑧 𝑙
(𝑙 = 1, … , 𝐿)を使うことで式（11.1）を有限和で
近似する。
近似式（11.2） ሚ𝑓 =
1
𝐿
σ𝑙=1
𝐿
𝑓(𝑧 𝑙
)
11章 サンプリング法
近似式の気持ち
• 分布𝑝(𝑧)からサンプルを抽出するので、確率が高い位置からのサンプル
は多く抽出され、その逆のサンプルはあまり抽出されない。
• 得られたサンプルのときの𝑓 𝑧 を計算することで、サンプルの出現回数
に応じた𝑓 𝑧 が計算可能。これを平均することで期待値を近似する。
• つまり、分布𝑝(𝑧)に従うサンプルをうまく抽出できれば、期待値の良い
近似値を得ることができる。

4. - 4 -
◼ 式（11.2）の問題点
1. サンプルが独立でない可能性。
（→相関のあるサンプルを捨てると実効的なサンプルが少ない）
2. 確率分布𝑝(𝑧)の小さな領域で𝑓(𝑧)の値が大きい場合に、
その領域からサンプルした値に期待値が引っ張られて
しまう。
⇒ 次頁から上記のような問題点を解決するような
いくつかのサンプリング法について整理していく。
（対象の確率分布𝑝 𝑧 からサンプル集合𝑧 𝑙
をどのように得るか）
11章 サンプリング法

5. - 5 -
◼ （マルコフ連鎖ではない）サンプリング法の種類
1. 標準的な分布からのサンプリング
→ 11.1.1
2. 棄却サンプリング
→ 11.1.2
3. 適応的棄却サンプリング
→ 11.1.3
4. 重点サンプリング
→ 11.1.4
5. SIR（Sampling-importance-resampling）
→ 11.1.5
11章 サンプリング法
• 2, 3, 5は、分布𝑝(𝑧)に従う𝑧をうまくサンプリングし、
式（11.2）で期待値を計算する。
• 4は、式（11.2）とは別の手法で直接期待値を計算する。

6. - 6 -
 11.1.1 標準的な分布
◼ 変換法
1. 乱数 𝑧 を一様分布から発生させる。
2. 𝑧 を 𝑦 = 𝑓(𝑧)で変換。（𝑝(𝑦)から 𝑦 を生成できたことに）
3. このとき 𝑦 の分布は以下に従う。
式（11.5）𝑝 𝑦 = 𝑝 𝑧
𝑑𝑧
𝑑𝑦
4. 上記を積分すると以下となる。（𝑝(𝑦)の不定積分）
式（11.6）𝑧 = ℎ 𝑦 = ∫−∞
𝑦
𝑝 ෤𝑦 𝑑 ෤𝑦
5. 上記の逆関数は y = ℎ−1(𝑧) となり、2の形と一致。
⇒ 逆関数が求められる 𝑓(∙) であれば、
𝑝(𝑦)に従う𝑦が生成できる。
11.1 基本的なサンプリングアルゴリズム

7. - 7 -
 11.1.2 棄却サンプリング
仮定：１．分布𝑝(𝑧)は複雑（＝サンプリング困難）な分布。
２．任意の与えられた 𝑧 に対して、𝑝(𝑧)を求める
ことは容易。
３．正規化定数 Z を求めることは困難。
⇒ 式（11.13）𝑝 𝑧 =
1
𝑍 𝑝
෤𝑝(𝑧)
において ෤𝑝(𝑧)はすぐに求められるが、𝑍 𝑝は分からない。
⇒ 提案分布（Proposal distribution）𝑞(𝑧)を導入する
ことで、𝒑(𝒛)に従ったサンプリング結果を取得する。
11.1 基本的なサンプリングアルゴリズム

8. - 8 -
◼ サンプリング手順
1. 𝑘𝑞 𝑧 ≥ ෤𝑝(𝑧)が成り立つような比較関数𝑘𝑞 𝑧 を定義。
（以下、所定の回数ループする）
2. 乱数𝑧0を分布𝑞 𝑧 から生成する。
3. 乱数𝑢0を区間 0, 𝑘𝑞 𝑧0 上の一様分布から生成する。
4. ෤𝑝 𝑧0 < 𝑢0で𝑧0を棄却、 ෤𝑝 𝑧0 ≥ 𝑢0で𝑧0を保持。
11.1 基本的なサンプリングアルゴリズム
2
3
1

9. - 9 -
 11.1.3 適応的棄却サンプリング
棄却サンプリングを適用する場合、適切な包絡分布𝑞 𝑧 を
解析的に決定することは難しい。
⇒ 分布𝑝(𝑧)の観測値に基づいて、その場で包絡関数を構築
（包絡関数の構築は、𝑝(𝑧)が対数凹、
つまりln 𝑝(𝑧)の導関数が𝑧 の非増加関数の場合、簡単になる）
11.1 基本的なサンプリングアルゴリズム

10. - 10 -
◼ サンプリング手順
1. 𝑞 𝑧 ≥ ෤𝑝(𝑧)が成り立つ以下の包絡関数を定義する。
包絡関数： 𝑞 𝑧 = 𝑘𝑖 𝜆𝑖 exp −𝜆𝑖 𝑧 − 𝑧𝑖 ǁ𝑧𝑖−1,𝑖 < 𝑧 ≤ ǁ𝑧𝑖,𝑖+1
➢ ǁ𝑧𝑖−1,𝑖は𝑧𝑖−1での接線と𝑧𝑖での接線の交点
➢ 𝜆𝑖は𝑧𝑖での接線の傾き
➢ 𝑘𝑖は対応するオフセット（左から何番目の指数分布か？）
（以下は棄却サンプリングと同じ。所定の回数ループする。）
2. 乱数𝑧0を分布𝑞 𝑧 から生成する。
3. 乱数𝑢0を区間 0, 𝑘𝑞 𝑧0 上の一様分布から生成する。
4. ෤𝑝 𝑧0 < 𝑢0で𝑧0を棄却、 ෤𝑝 𝑧0 ≥ 𝑢0で𝑧0を保持。
（ここから異なる）
5. 棄却された場合、その点におけるln 𝑝(𝑧)の接線計算。
6. 包絡分布関数を更新する。
11.1 基本的なサンプリングアルゴリズム

11. - 11 -
◼ 棄却サンプリングの問題点
1. 良い比較関数を求めることは非常に困難
• 棄却域を出来る限り最小にするには、比較関数（包絡
関数）が求めたい分布に近い必要。
2. 高次元空間では、棄却率が非常に高い。
• 受理率は次元数に指数的に減少。
⇒ １、２次元のデータに対して棄却サンプリングは
有用であるが、高次元データには向かない。
11.1 基本的なサンプリングアルゴリズム

12. - 12 -
 11.1.4 重点サンプリング
期待値を直接近似する手法であり、
分布𝒑(𝒛)からのサンプルを抽出する仕組みではない。
仮定：１．分布 𝑝(𝑧) は複雑（＝サンプリング困難）な分布。
２．任意の与えられた 𝑧 に対して、𝑝(𝑧)を求める
ことは容易。
◼ 単純な方法（重点サンプリングの導入）
期待値計算の単純な方法
𝑧空間を均一なグリッドで離散化し、以下を計算。
式（11.18）𝔼 𝑓 =
1
𝐿
σ𝑙=1
𝐿
𝑝 𝑧(𝑙)
𝑓 𝑧(𝑙)
11.1 基本的なサンプリングアルゴリズム

13. - 13 -
◼ 単純な方法の問題点
1. 和を取る項の数が𝑧の次元に対して指数的に増加。
2. 𝑧空間の比較的小さい領域に大きな確率が集中
→ 一様分布（均一なグリッドで離散化）では非効率。
→ 積𝑝 𝑧 𝑓 𝑧 が大きな領域に入るサンプルを抽出したい
⇒ 提案分布を用いて、重要と考えられる領域から
重点的にサンプリングし、期待値を計算する。
式（11.19）𝔼 𝑓 = ∫ 𝑝 𝑧 𝑓 𝑧 𝑑𝑧
= ∫
𝑝(𝑧)
𝑞(𝑧)
𝑞 𝑧 𝑓 𝑧 𝑑𝑧
=
1
𝐿
σ𝑙=1
𝐿 𝑝 𝑧(𝑙)
𝑞 𝑧(𝑙) 𝑓 𝑧(𝑙)
11.1 基本的なサンプリングアルゴリズム
重要度重み(importance weights)※重点サンプリングでは、
全てのサンプルを使用する。

14. - 14 -
再掲（11.19）𝔼 𝑓 =
1
𝐿
σ𝑙=1
𝐿 𝑝 𝑧(𝑙)
𝑞 𝑧(𝑙) 𝑓 𝑧(𝑙)
11.1 基本的なサンプリングアルゴリズム
重点サンプリングの気持ち
• 単純に積𝑝 𝑧 𝑓 𝑧 を用いると、上図左の𝑝 𝑧 のピークに引っ張られ、
𝑓 𝑧 が小さい割によくサンプルが抽出される。
• 提案分布𝑞 𝑧 との比を使用することで、左の山の重要度を減少させ、
右の山の重要度はあまり減少させず期待値計算が可能。

15. - 15 -
◼ 正規化項を求めることが困難な場合
正規化項を含んだ形で計算すると、
式（11.20） 𝔼 𝑓 =
𝑍 𝑞
𝑍 𝑝
1
𝐿
σ𝑙=1
𝐿
෥𝑟𝑙 𝑓 𝑧(𝑙) ただし、෥𝑟𝑙 =
෤𝑝 𝑧(𝑙)
෤𝑞 𝑧(𝑙)
このとき、
𝑍 𝑝
𝑍 𝑞
は、
式（11.21）
𝑍 𝑝
𝑍 𝑞
=
1
𝑍 𝑞
∫ ෤𝑝 𝑧 𝑑𝑧 = ∫
෤𝑝 𝑧
෤𝑞 𝑧
𝑑𝑧 ≅
1
𝐿
σ𝑙=1
𝐿
෥𝑟𝑙
したがって、
式（11.22） 𝔼 𝑓 ≅ σ𝑙=1
𝐿
𝑤𝑖 𝑓 𝑧 𝑙
ただし、
式（11.23） 𝑤𝑖 =
෥𝑟 𝑙
σ 𝑚 ෦𝑟 𝑚
=
෤𝑝 𝑧(𝑙) /𝑞 𝑧(𝑙)
σ 𝑚 ෤𝑝 𝑧(𝑚) /𝑞 𝑧(𝑚)
11.1 基本的なサンプリングアルゴリズム

16. - 16 -
 11.1.5 SIR（sampling-importance-resampling）
定数𝑘を用いないサンプリング手法
◼ サンプリング手順
1. 𝐿個のサンプル𝑧(𝑙)
, … , 𝑧(𝐿)
を𝑞 𝑧 から抽出する。
2. 式（11.23）を用いて重み𝑤1, … , 𝑤 𝐿を求める。
3. 1でサンプリングした値から、2で求めた重みに基づい
てから𝐿個のサンプルを再抽出する。※復元抽出
11.1 基本的なサンプリングアルゴリズム
SIRの気持ち
• SIRにおいても𝑝 𝑧 と𝑍 𝑝を求めることは困難で、 ෤𝑝(𝑧)は容易。
• 式（11.23）を用いることで、𝑞 𝑧 と比較して ෤𝑝(𝑧)の方が大きければ、
その𝑧に対する重みは大きくなり、3においてその𝑧を多く抽出する。
• その結果、(𝑞 𝑧 と ෤𝑝(𝑧)から) 𝑝 𝑧 に基づいたサンプルが抽出できる。

17. - 17 -
 11.1.6 サンプリングとEMアルゴリズム
◼ モンテカルロEMアルゴリズム
サンプリング法を用いて、Eステップで求める
𝑝(𝑍|𝑋, 𝜃 𝑜𝑙𝑑)を近似し、Mステップで最大化する関数を
以下のように変更。
Mステップ
式（11.28）𝑄 𝜃, 𝜃 𝑜𝑙𝑑
= ∫ 𝑝(𝑍|𝑋, 𝜃 𝑜𝑙𝑑
) ln 𝑝(𝑍, 𝑋|𝜃)𝑑𝑍
サンプリング法でEステップの計算結果を近似
式（11.29）𝑄 𝜃, 𝜃 𝑜𝑙𝑑 =
1
𝐿
σ𝑙=1
𝐿
ln 𝑝(𝑍 𝑙 , 𝑋|𝜃)
11.1 基本的なサンプリングアルゴリズム
本来Eステップで求める確率

18. - 18 -
◼ MCMC（Markov chain Monte Carlo methods）
• 様々な分布からサンプリング可能で、サンプル空間の
次元数が大きくてもうまく機能する手法。
• 前頁までと同様、サンプリングすることが簡単な提案
分布を用いる。
仮定：１．分布𝑝(𝑧)は複雑（＝サンプリング困難）な分布。
２．任意の与えられた 𝑧 に対して、 ෤𝑝(𝑧)を求める
ことは容易。
３．正規化定数 Z を求めることは困難。
11.2 マルコフ連鎖モンテカルロ

19. - 19 -
◼ MCMCの種類
1. Metropolisアルゴリズム
→ 11.2
2. Metropolis-Hastingsアルゴリズム
→ 11.2.2
3. ギブスサンプリング
→ 11.3
4. スライスサンプリング
→ 11.4
5. ハイブリッドモンテカルロアルゴリズム
→ 11.5
11.2 マルコフ連鎖モンテカルロ

20. - 20 -
 Metropolisアルゴリズム
◼ サンプリング手順
1. 適当な初期値を生成し、𝑧 𝜏 にセットする。
（以下、所定の回数ループする）
2. 提案分布𝑞 𝑧 からサンプル 𝑧 を生成し、
𝑧∗ = 𝑧 𝜏 + 𝑧とする。
3. 以下の確率に従いサンプルの受理/棄却を決定する。
式（11.33） 𝐴 𝑧∗, 𝑧 𝜏 = min(1,
෤𝑝(𝑧∗)
෤𝑝(𝑧(𝜏))
)
4. サンプルが受理された場合、𝑧 𝜏+1 = 𝑧∗とする。
5. サンプルが棄却された場合、𝑧 𝜏+1
= 𝑧(𝜏)
とする。
11.2 マルコフ連鎖モンテカルロ

21. - 21 -
◼ 注意点
1. 系列𝑧(1), 𝑧(2) … は𝑝(𝑧)からの独立なサンプルではない。
⇒ M個ごとのサンプルのみを保持する。
2. 系列𝑧(1), 𝑧(2), … の最初のサンプルは初期値の影響を
受けているため、保持するべきではない。
⇒ 一定の割合分だけ保持しないこととする（Burn in）。
11.2 マルコフ連鎖モンテカルロ

22. - 22 -
 11.2.1 マルコフ連鎖
マルコフ連鎖の一般的な性質を整理する。
◼ 一次マルコフ連鎖
確率変数の系列𝑧 1 , … , 𝑧(𝑚)において、𝑚 ∈ 1, … , 𝑀 − 1
について以下の条件付き独立性が成立するものを指す。
式（11.37）𝑝 𝑧(𝑚+1) 𝑧 1 , … , 𝑧 𝑚 = 𝑝(𝑧 𝑚+1 |𝑧(𝑚))
◼ 均一マルコフ連鎖
全ての 𝑚 について、
遷移確率 𝑇 𝑚(𝑧 𝑚
, 𝑧 𝑚+1
) ≡ 𝑝(𝑧 𝑚+1
|𝑧(𝑚)
)が同じ
マルコフ連鎖は、均一マルコフ連鎖と呼ばれる。
11.2 マルコフ連鎖モンテカルロ

23. - 23 -
◼ 周辺確率
連鎖における一つ前の確率を用いて、以下の通り計算。
式（11.38）𝑝 𝑧 𝑚+1
= σ 𝑧(𝑚) 𝑝 𝑧 𝑚+1
𝑧(𝑚)
𝑝(𝑧(𝑚)
)
◼ 不変（定常）
遷移確率が 𝑇(𝑧′, 𝑧) である均一マルコフ分布において、
以下が成り立つ場合、不変と呼ぶ。
式（11.39）𝑝∗ 𝑧 = σ 𝑧′ 𝑇(𝑧′, 𝑧)𝑝∗(𝑧′)
11.2 マルコフ連鎖モンテカルロ
• 𝑇 𝑧′, 𝑧 = 𝑝(𝑧|𝑧′)
• 十分なサンプル数を取ったとき、その時刻までの値の和を
取れば分布の形は同じになる＝不変である。

24. - 24 -
◼ 詳細釣り合い条件（detailed balance）
求めたい分布p 𝑧 が不変分布であることを保証するため
には、以下の式が成り立つ必要。
式（11.40） 𝑝∗
𝑧 𝑇(𝑧, 𝑧′
) = 𝑝∗
𝑧′
𝑇(𝑧′
, 𝑧)
◼ エルゴード性
詳細釣り合い条件を満たし、分布が不変となるようなマル
コフ連鎖を用いれば、𝑚 → ∞のとき、初期分布 𝑝 𝑧(0) の選
択に関わらず、分布 𝑝(𝑧(0)
)は求めたい分布 𝑝∗
𝑧 に収束する。
11.2 マルコフ連鎖モンテカルロ
• ある状態𝑝∗
𝑧 から、別の状態𝑝∗
𝑧′
に遷移する確率
が等しい

25. - 25 -
 11.2.2 Metropolis-Hastingsアルゴリズム
提案分布の形が対称でなくても良いアルゴリズム
◼ サンプリング手順
1. 適当な初期値を生成し、𝑧 𝜏 にセットする。
（以下、所定の回数ループする）
2. 提案分布𝑞 𝑧 からサンプル 𝑧 を生成し、
𝑧∗
= 𝑧 𝜏
+ 𝑧とする。
3. 以下の確率に従いサンプルの受理/棄却を決定する。
式（11.33）𝐴 𝑘 𝑧∗, 𝑧 𝜏 = min(1,
෤𝑝 𝑧∗ 𝑞 𝑘(𝑧 𝜏|𝑧∗)
෤𝑝(𝑧 𝜏 )𝑞 𝑘(𝑧∗|𝑧(𝜏))
)
4. サンプルが受理された場合、𝑧 𝜏+1 = 𝑧∗とする。
5. サンプルが棄却された場合、𝑧 𝜏+1
= 𝑧(𝜏)
とする。
11.2 マルコフ連鎖モンテカルロ

26. - 26 -
 11.3 ギブスサンプリング
MHアルゴリズムの特別な場合とみなすことができるMCMC。
求めたい分布p 𝑧 の条件付き分布p 𝑧|𝒛∖𝑖 を定義し、
𝒛𝑖をp 𝑧|𝒛∖𝑖 からサンプリングされた値で置き換える。
◼ サンプリング手順（3変数の場合）
1. 適当な初期値を生成し、𝑧1
(0)
, 𝑧2
(0)
, 𝑧3
(0)
にセットする。
（以下、所定の回数ループする）
2. 𝑧1
(𝜏+1)
= 𝑝(𝑧1|𝑧2
𝜏
, 𝑧3
𝜏
)
3. 𝑧2
(𝜏+1)
= 𝑝(𝑧2|𝑧1
(𝜏+1)
, 𝑧3
𝜏
)
4. 𝑧3
(𝜏+1)
= 𝑝(𝑧3|𝑧1
(𝜏+1)
, 𝑧2
(𝜏+1)
)
11.2 マルコフ連鎖モンテカルロ

27. - 27 -
 11.4 スライスサンプリング
◼ サンプリング手順
1. 適当な初期値を生成し、𝑧 𝜏 にセットする。
（以下、所定の回数ループする）
2. 現在の𝑧 𝜏 における ෤𝑝(𝑧)を求める。
3. 区間 0 ≤ 𝑢 ≤ ෤𝑝(𝑧)において一様に𝑢を生成する。
4. 𝑧 𝜏 を中心として幅𝑤を元に区間 𝑧 𝑚𝑖𝑛, 𝑧 𝑚𝑎𝑥を求める。
5. ෤𝑝(𝑧 𝑚𝑖𝑛)及び ෤𝑝(𝑧 𝑚𝑎𝑥)が𝑢を下回るまで𝑤ずつ拡大する。
6. 区間 𝑧 𝑚𝑖𝑛, 𝑧 𝑚𝑎𝑥から一様に𝑧∗を生成する。
7. u < ෤𝑝(𝑧∗)の場合、𝑧 𝜏+1 = 𝑧∗
8. u ≥ ෤𝑝(𝑧∗)の場合、𝑧∗を𝑧 𝑚𝑖𝑛, 𝑧 𝑚𝑎𝑥の近い方にセット。
9. 8の場合は、6に戻る。
11.2 マルコフ連鎖モンテカルロ

28. - 28 -
11.2 マルコフ連鎖モンテカルロ
1
2
3
4

29. - 29 -
 11.5 ハイブリッドモンテカルロアルゴリズム
• ハミルトン力学とMetropolisアルゴリズムを組み合わ
せた手法。
• 運動量変数 𝒓 の確率的な更新と、リープフロッグアル
ゴリズムによるハミルトン力学系の更新を交互に行う
マルコフ連鎖を用いる。
• リープフロッグアルゴリズムの適用ごとの結果として
得られる状態候補が、ハミルトン関数 𝐻 の値に基づ
くMetropolis基準に従って受理/棄却される。
式（11.67）min(1, exp{𝐻 𝒛, 𝒓 − 𝐻(𝒛∗
, 𝒓∗
)})
11.2 マルコフ連鎖モンテカルロ

30. - 30 -
◼ サンプリング法の目的
ある関数𝑓(𝑧)の確率分布𝑝(𝑧)の下での期待値の計
算を行うこと。
◼ サンプリング法がやっていること
求めたい分布𝑝(𝑧)が解析的に求められないので、
計算が簡単な ෤𝑝(𝑧)を使って、分布𝑝(𝑧)に従うサン
プルを生成する。
まとめ