1. PRML読書会(第14回)
11.4 スライスサンプリング
2010/05/08
発表者 : 坪坂 正志
Blog: d.hatena.ne.jp/tsubosaka
m(dot)tsubosaka@gmail.com

2. スライスサンプリング
• MHアルゴリズムはステップサイズに敏感とい
う難点がある
– ステップサイズが小さすぎると現在状態との相関
が消えるのが遅くなる
– ステップサイズが大きすぎると候補点がほとんど
棄却され非効率となる
• 分布の特徴に合わせて適切なステップサイズ
を用いたい
スライスサンプリング [Neal 2003]

3. ステップ幅について
小さすぎると現在状態との相関が
消えるのが遅くなる

4. ステップ幅について
大きすぎると棄却率が高くなり、
非効率となる

5. ステップ幅について
分布に応じて適切なステップサイズ
を用いたい

6. 定式化
• 簡単のため1変数の場合を考える
– 多変量の場合もギブスサンプリングのように各変
数を順番にサンプリングすることによって適用で
きる
• ������ ������ ∝ ������(������)に従う分布からサンプリングする

7. スライスサンプリング(アルゴリズム)
• 入力: 現在の点 ������
• 出力: 候補値 ������ ′
1. ,0, ������ ������ -の範囲から一様に������をサンプリング
2. *������ ′ : ������ ������ > ������+なる領域から一様に������ ′ をサンプリング
1. 下図の実線部分からサンプリングする

8. 正当性
• 前述のアルゴリズムは以下で与えられる分布
からサンプリングを行なっているのに等しい
• このとき������の周辺分布は
となるので������だけ取り出すことにより������(������)からサンプリ
ングできる

9. 正当性
• ������(������|������)に従って������をサンプリングするには
������(0, ������ ������ )からサンプルすればよい
• ������(������|������)に従って������をサンプリングするには
*������ ′ : ������ ������ > ������+なる領域から一様にサンプリン
グすればよい

10. 分解された分布に関して
[Damien et al. 1999]
• ������ ������ ∝ ������ ������ ������(������)の形で書けるとき
に従う領域から一様にサンプリングすればよい
• ������を固定し、*������: ������ ������ > ������+で定義される分布の「ス
ライス」から������(������)に比例して������をサンプリングする
• ただし、これは分布のスライスから直接サンプリ
ングできるときに限る

11. 離散の場合
• 離散の場合、 *������: ������ ������ > ������+となる������の領域に
おいて������(������)に比例して������をサンプリングするの
は容易(ex: LWLM, LDA)
• Dirichlet Processのような������が可算無限個ある
モデルでも有限の領域で取り扱うことができ
る[Gael et al. 2008, Walker 2007]
– クラス数の上限を設けるようなことをしなくてよく
なる (Truncated Gibbs sampler [Ishwaran and
James 2001])

12. 分布のスライスから
直接サンプリングできないとき
• 一般には*������ ′ : ������ ������ > ������+なる領域からサンプ
ルするのは難しい
• 現在の������の値������ (������) を含む領域,������min , ������max -か
ら一様にサンプリングする

13. 領域の決定方法
http://www.cs.toronto.edu/~radford/slice-aos.abstract.html より
(b) 現在の値 x_0 を含む幅wの領域(この領域の位置はランダムに決定する)か
ら始めて、各端点がスライスの中に入ってる限り領域を拡張する
(c) 候補点x’はこの中から一様に選択され、それがスライスの中にあればx_1と
なる。そうでなければx’を端点の一つとしてx_0を含み続けるよう領域が縮小され
る

14. 正当性
• サンプリングの順としては(z,u)->(z,u’)->(z’,u’)
となっている
• (z,u)->(z,u’)については前述したとおり
,0, ������ ������ -から一様サンプリングするだけ
• (z,u’)->(z’,u’)に関してはzからz’へ行くときに
������ ������ ′ , ������ ������, ������′ = ������(������, ������(������)|������ ′ , ������′ )を満たすよう
な手続きで遷移させればよい
– ここでrはzからz’に行く際のランダムな選択の列
である。また������はrに対する一対一でヤコビアンが
1の写像

15. 多変量の分布
• ギブスサンプリングのように、各変数を順番
にサンプリングする
– ������(������������ |������−������ )に比例する関数が計算できる必要があ
る
• 多変量を一気にサンプルする方法もある
– Ex Elliptical slice sampling [Murray 2010 et.al]

16. Elliptical slice sampling (設定)
• 多変量ガウス分布に従う潜在ベクトルf
– ������~������(������, ������)
• 尤度関数������ ������ = ������(data|������)
– 問題に応じて、違った値となる
2
• 回帰: ������ ������������ ; ������������ , ������������ ������������ = ������������ ⋅ ������
• 分類: ������(������������ ������������ )

17. Elliptical slice sampling (概要)
[Murray et al, 2010]より
• 現在点×に対して、auxiliary
variate(補助点) + を������(0, Σ)
からサンプルする
• 現在点と補助点を結ぶ楕円
状から区間を狭めつつ候補
点・をサンプリングしていく

18. References
• [Damien et al. 1999] Gibbs sampling for bayesian non-conjugate and
hierarchical models by using auxiliary variagles. Journal of the Royal
Statistical Society B, 61, 331--344
• [Gael et al. 2008] Jurgen Van Gael, Yunus Saatci, Yee Whye Teh, and Zoubin
Ghahramani. Beam sampling for the infinite hidden markov model. In Proc.
ICML
• [Ishwaran and James 2001] Hemant Ishwaran and Lancelot F. James. Gibbs
sampling methods for stick-breaking priors . Journal of the American
Statistical Assoiation, 96, 161—173
• [Murray et al. 2010] Iain Murray, Ryan Prescott Adams and David J.C.
Mackay. Elliptical slice sampling. In Proc. AISTATS
• [Neal 2003] Radford M. Neal. Slice sampling. Annals of Statistics,31, 705--
741
• [Walker 2007] Stephen G. Walker. Sampling the dirichlet mixture model
with slices. Communications in Statistics: Simulation and Computation, 36,
45---54