1. ＰＲＭＬ輪読会 第９回 made by
C.M.Bishop
modified by T.Sakaki
PATTERN RECOGNITION
AND MACHINE LEARNING
CHAPTER4.2 Probabilistic Generative Models

2. ４．２ 確率的生成モデル
目的：
る
分類問題：入力ベクトルｘをあるクラスCkに振り分け
方針：
・モデル化されたクラスの条件付き確率密度p(x|Ck)
・クラスの事前確率p(Ck)
→
ベイズの定理を使ってp(Ck|x)を計算
・事後確率が「入力変数ｘの線形関数」の
ロジスティックシグモイド関数で表される
○入力空間を決定領域に分離
○決定領域の境界を決定境界(決定面)
○「D次元入力区間に対して，その決定面が
D-1次元の超平面で定義される」

3. ４．２ 確率的生成モデル
事前確率
条件付き確率
事後確率
2クラス分
類
とおくと
ロジスティックシグモイド
関数

4. ４．２ 確率的生成モデル
演習４．７
ロジックシグモイド関数は対称性を持
つ
ロジット関数

5. ４．２ 確率的生成モデル
事前確率
条件付き確率
事後確率
kクラス分
類
とおくと
正規化指数関数
ソフトマックス関数
である場
合
ロジスティックシグモイド
関数の一般化バージョン

6. ４．２．１ 連続値の入力
事前確率
条件付き確率
事後確率
ガウス分布と仮定する場
合
（４．
５８）
（４．
６４）
で与えられると
き
に代入

7. ４．２．１ 連続値の入力
（４．６４）を（４．５
８）に代入
（４．５７）に代入
xの線形関数

8. ４．２．１ 連続値の入力
条件付き確率密度（2クラ
ス）
事後確率p(C1|x)
事後確率p(Ck|x)がｘの線形関数で与えられるような面に対応する
→決定境界は入力空間で線形になる

9. ４．２．１ 連続値の入力
事前確率
条件付き確率
事後確率
kクラス分
類
（４．
６２）
（４．６
３）に
（４．６４）を
代入

10. ４．２．１ 連続値の入力
線形
条件付き確率密度（3クラ
事後確率
ス）
共分散行列が共通であるという仮定を緩和する
→決定境界は二次決定境界となる
二次

11. ４．２．２ 最尤解
2クラス分
類
データ
ラベル
尤度関数
事前確率

12. ４．２．２ 最尤解
対数尤度の最大化を考える

13. ４．２．２ 最尤解
πについてまとめる
πによる微分＝０とする
を用いると
2クラス分
類
πの最尤推定量はクラスC1
内のデータ個数の割合

14. ４．２．２ 最尤解
μ1、μ2についてまとめる
πによる微分＝０とする

15. ４．２．３ 離散特徴
2状態離散変数の場合
（４．６３）に
代入
入力ｘiの線形関数

16. ４．２．３ 指数型分布族
条件付き確率
指数型分布族メンバーと仮定
スケーリングパラメータｓを導
入
P.110
（２．１９
４）
P.116
（２．２３
６）
（２．２３
９）

17. ４．２．３ 指数型分布族
2クラス分類
（４．
５８）
に代入

18. ４．２．３ 指数型分布族
多クラス分類
（４．６
３）
に代入
入力ｘの線形関数