Más contenido relacionado
Más de Shuhei Iitsuka (20)
【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule
- 1. Doing Bayesian Data Analysis
Chapter 4: Bayes’ Rule
東京大学 松尾研究室 修士2年"
飯塚修平@tushuhei
2013/08/04 1
- 2. 導入
• あの子がオレのことを見て微笑んだ"
• もしかしてオレに気がある!?"
• 残念ながら p(♡|J) ≠ p(☺|♡)."
– p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率"
– p(☺|♡): あの子があなたに好意があるときに、微笑む確率"
• ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)"
– p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に
面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す
べての和であることに注意"
– とりあえず、p(♡)(あの子があなたに好意がある確率)はどれくらい
だと思う?(事前確率)"
2013/08/04 2
- 3. ベイズの定理
2013/08/04 3
p(y, x) = p(y|x)p(x) = p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
条件付き確率の定義
p(y, x) = p(y|x)p(x) = p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
ベイズの定理
ベイズの定理(連続値)
p(y, x) = p(y|x)p(x) = p(x
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|
p(y|x) =
p(x|y)p(y)
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
p(y, x) = p(y|x)p(x) = p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
ベイズの定理(離散値)
p(y, x) = p(y|x)p(x) = p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
- 4. ベイズの定理
2013/08/04 4
p(y|x) =
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
p( |D) = p(D| ) p( ) /p(D)
Posterior
事後確率
Likelihood
尤度
Prior
事前確率
Evidence
証拠
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
p( |D) = p(D| ) p( ) /p(D)
p(D) = d p(D| )p( )Where:
- 5. ベイズの定理
2013/08/04 5
モデル自体も
M
としてパラメタに組み込むと、ベイズの定理は、
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
M1
M2
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
M1
M2
なので、
すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。
この事前確率の比を Bayers
Factor
と呼ぶ。
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
p(M1)
p(M2)
Bayes
Factor
と表せる。ここで、
- 7. コイントスの例
• あなたのコインは公平?それともインチキ?"
2013/08/04 7
H : head, T : tail
= p(H)
H : head, T : tail
= p(H)
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
→下記のように
Prior
(事前確率)
を設定
おそらくちゃんと作
られてるから θ=0.5 "
だけど"
もしかしたら偽物で
偏ってるかも?
↑
A君の頭のなかの
モデル
- 8. コイントスの例
2013/08/04 8
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
Prior (事前確率)
D = 3H, 9T のときLikelihood (尤度)
p(D| ) = 3
(1 )9
=
1.2 10 3
( = 0.25)
2.4 10 4
( = 0.50)
1.6 10 6
( = 0.75)
0 (otherwise)
データの当てはまり具合
- 13. Exercise 4.2
• ある病気と検査の話(条件付き確率あるある)"
• 病気の確率変数 θ = J, L(事象「かからない」or「かかる」)"
• p(θ=L) = 0.001: 罹患率は 0.1%"
• 検査の結果の確率変数 D=+(陽性), ー(陰性)"
• p(D=+| θ=L) = 0.99: 的中率 99%"
• p(D=+| θ=J) = 0.05: エラー率 5%"
• 運悪く、あなたは最初の検査で陽性反応が出てしまいました。"
• 不安になってもう一度検査を受けたところ、陰性反応が出ました。"
• さて、このときあなたが病気にかかっている確率は?"
• すなわち、p(θ=L | D1=+, D2=ー) は?"
2013/08/04 13
- 14. Exercise 4.2
2013/08/04 14
p( =):|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) + p(D2 =
=
p(D2 = +| =
):
)p( =
):
|D1 = +)
p(D2 = +| =):)p( =
):
|D1 = +) + p(D2 = +| =
p( =
):
|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +)
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) + p(D2 = +| =
(:
, D1 = +)p( =
(:
|D1 = +)
=
p(D2 = +| =):)p( =
):
|D1 = +)
p(D2 = +| =
):
)p( =
):
|D1 = +) + p(D2 = +| =
(:
)p( =
(:
|D1 = +)
θ=L
と D2
についてベイズの定理を適用して
p( =
):
|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +)
p(D2 = +| =
):
, D1 = +)p( =):|D1 = +) + p(D2 = +| =
(:
, D1 = +)p
=
p(D2 = +| =
):
)p( =
):
|D1 = +)
p(D2 = +| =
):
)p( =
):
|D1 = +) + p(D2 = +| =
(:
)p( =
(:
|D1 = +)
D2
の結果は
D1
とは無関係なので(スライド
p6
参照)
あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%