8. 目的
• 観測画像Yから元画像Xを推定したい。
• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。
Q 1
E ( X i | Y) xi Pr( X i xi | Y)
xi 0
9. 目的
• 観測画像Yから元画像Xを推定したい。
• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。
– 各画素iの周辺分布 Pr( X i | Y) を求める。
Pr( X i | Y) Pr(X | Y)
X1 X i1 X i1 X | |
10. 目的
• 観測画像Yから元画像Xを推定したい。
• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。
– 各画素iの周辺分布 Pr( X i | Y) を求める。
– Yが与えられた時のXの事後分布 Pr(X | Y) を求め
る。
11. 目的
• 観測画像Yから元画像Xを推定したい。
• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。
– 各画素iの周辺分布 Pr( X i | Y) を求める。
– Yが与えられた時のXの事後分布 Pr(X | Y) を求め
る。
44. 木構造のグラフに対する確率伝搬法
“メッセージ” を以下のように定義
Q 1
Μ i j ( x j ) f{i , j} ( xi , x j ) M k i ( xi )
xi 0 k i { j }
i j
Μ k i
ノードiに入ってきたメッセージの積を取る
45. 木構造のグラフに対する確率伝搬法
“メッセージ” を以下のように定義
Q 1
Μ i j ( x j ) f{i , j} ( xi , x j ) M k i ( xi )
xi 0 k i { j }
f{i , j} ( xi , x j )
i j
Μ k i
2変数関数 f{i , j}をかける
46. 木構造のグラフに対する確率伝搬法
“メッセージ” を以下のように定義
Q 1
Μ i j ( x j ) f{i , j} ( xi , x j ) M k i ( xi )
xi 0 k i { j }
f{i , j} ( xi , x j )
i j
Μ k i Μ i j
X i を積分してメッセージを算出
47. 木構造のグラフに対する確率伝搬法
メッセージ:
Q 1
Μ i j ( x j ) f{i , j} ( xi , x j ) M k i ( xi )
xi 0 k i { j }
周辺分布:
1
Pr( X i xi )
Zi
M ji ( xi )
j i
M j i
Q 1
i
Z i M j i ( xi )
xi 0 j i
48. 確率伝搬法アルゴリズムまとめ
1. 端点から、メッセージを伝搬
f{i , j} ( xi , x j )
i j
Μ i j
Q 1
Μ i j ( x j ) f{i , j} ( xi , x j )
xi 0
2変数関数 f{i , j} を xi で積分
49. 確率伝搬法アルゴリズムまとめ
2.端点以外の各ノードでメッセージを伝搬
f{i , j} ( xi , x j )
i j
Μ k i Μ i j
Q 1
Μ i j ( x j ) f{i , j} ( xi , x j ) M k i ( xi ) (45)
xi 0 k i { j }
55. 閉路を含むグラフ
各ノードの同時分布
f
{i , j }
{i , j } ( xi , x j )
Pr(X x | Y y ) Q 1 Q 1 (51)
f
x1 0 x| | 0{i , j }
{i , j } ( xi , x j ) i j
観測画像がYの時の元画像Xの事後分布:
1 2 1 2
Pr(X | Y, , ) exp 2 ( yi xi ) exp ( xi x j ) (29)
i 2 {i , j} 2 (1)
1 2 1 2 1
f{i , j} ( xi , x j ) exp ( xi x j ) exp 2 ( yi xi ) exp 2 ( y j x j ) 2
2 8 8
(52)
56. 閉路を含むグラフに対する
確率伝搬法
• 木構造グラフでは、以下の式が成り立つ
– 木構造グラフにおける周辺確率と同時確率の関
係
Pr(X x)
Pr( X i xi , X j x j )
Pr( X i xi )
(50)
i {i , j} Pr( X i xi ) Pr( X j x j )
57. 閉路を含むグラフに対する
確率伝搬法
• 閉路においても同様の関係が近似的に成り
立つとする
P ( X x)
P i , j} ( X i xi , X j x j )
Pi ( X i xi )
{
(70)
i {i , j} Pi ( X i xi ) Pj ( X j x j )
この P(X) と Pr(X | Y)ができるだけ近い分布を取るようにしたい。
58. 閉路を含むグラフに対する
確率伝搬法
• P(X)とPr(X|Y)のカルバック・ライブラー情報
量ができるだけ小さくなるようにしたい。
P( X)
K Pr(X | Y) || P( X) P( X) ln
Pr(X | Y)
(71)
X
以下の拘束条件の元、ラグランジュ未定乗数法で解く
Q 1
P(X
xi 0
i i xi ) 1 (i ) (67)
Q 1 Q 1
P
xi 0 x j 0
{i , j } ( X i xi , X j x j ) 1 ({i, j} ) (68)
Q 1
Pi ( X i xi ) P
x j 0
{i , j } ( X i xi , X j x j ) (i ,{i, j} ) (69)
59. 閉路を含むグラフに対する
確率伝搬法
以下が導ける(証明略)
メッセージ Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
1
Pr( X i xi | Y y )
Zi
M
j i
j i ( xi ) (55)
Q 1
Z i M j i ( xi ) (57)
xi 0 j i
60. 閉路を含むグラフに対する
確率伝搬法
以下が導ける(証明略)
メッセージ Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Pr( X i xi , X j x j | Y y )
1
f{i , j} ( xi , x j ) M k i ( xi ) M l j ( x j )
k { j} l {i}
(56)
Z{i , j}
i j
Q 1 Q 1
Z{i , j} f{i , j} ( xi , x j ) M k i ( xi ) M l j ( x j )
k { j} l {i} (58)
xi 0 x j 0 i j
62. LBPアルゴリズムまとめ
2. 以下の式に従いメッセージを更新する
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
63. LBPアルゴリズムまとめ
2. 以下の式に従いメッセージを更新する
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
64. LBPアルゴリズムまとめ
2. 以下の式に従いメッセージを更新する
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
65. LBPアルゴリズムまとめ
2. 以下の式に従いメッセージを更新する
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
66. LBPアルゴリズムまとめ
2. 以下の式に従いメッセージを更新する
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
67. LBPアルゴリズムまとめ
3. 収束するまでメッセージの更新を繰り返す
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
68. LBPアルゴリズムまとめ
4. 以下の式に従い周辺確率を計算する
1
Pr( X i xi | Y y )
Zi
M
j i
j i ( xi ) (55)
Q 1
Z i M j i ( xi ) (57)
xi 0 j i
Pr( X i xi , X j x j | Y y )
1
f{i , j} ( xi , x j ) M k i ( xi ) M l j ( x j )
k { j} l {i}
(56)
Z{i , j}
i j
Q 1 Q 1
Z{i , j} f{i , j} ( xi , x j ) M k i ( xi )
k { j}
M l j ( x j )
l {i}
(58)
xi 0 x j 0 i j
69. LBPアルゴリズムまとめ
4. 以下の式に従い周辺確率を計算する
1
Pr( X i xi | Y y )
Zi
M
j i
j i ( xi ) (55)
Q 1
Z i M j i ( xi ) (57)
xi 0 j i
Pr( X i xi , X j x j | Y y )
1
f{i , j} ( xi , x j ) M k i ( xi ) M l j ( x j )
k { j} l {i}
(56)
Z{i , j}
i j
Q 1 Q 1
Z{i , j} f{i , j} ( xi , x j ) M k i ( xi )
k { j}
M l j ( x j )
l {i}
(58)
xi 0 x j 0 i j
70. 目的
• 観測画像Yから元画像Xを推定したい。
• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。 求まった?
– 各画素iの周辺分布 Pr( X i | Y) を求める。
– Yが与えられた時のXの事後分布 Pr(X | Y) を求め
る。
71. 元画像Xの推定
1
Pr( X i xi | Y y )
Zi
M
j i
j i ( xi ) (55)
観測画像Yが与えられた時の、元画像Xの各画
素iにおける周辺確率が求まった!
以下の式で各画素の期待値を計算
Q 1
E ( X i | Y) xi Pr( X i xi | Y)
xi 0
まだできない
72. ハイパーパラメータの推定
1
Pr( X i xi | Y y )
Zi
Mj i
j i ( xi ) (55)
Q 1
f
xi 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j ) Q 1 Q 1 (60)
f
xi 0 x j 0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
こいつらがまだ不明なまま
f{i , j} ( xi , x j ) (ハイパーパラメータ)
1 2 1 2 1
exp ( xi x j ) exp 2 ( yi xi ) exp 2 ( y j x j ) 2 (52)
2 8 8
81. 目的
• 観測画像Yから元画像Xを推定したい。
• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。
– 各画素iの周辺分布 Pr( X i | Y) を求める。
– Yが与えられた時のXの事後分布 Pr(X | Y) を求め
る。
82. 元画像Xの推定
1
Pr( X i xi | Y y )
Zi
M
j i
j i ( xi ) (55)
観測画像Yが与えられた時の、元画像Xの各画
素iにおける周辺確率が求まった!
ハイパーパラメータα、σも求まった!
以下の式で各画素の期待値を計算
Q 1
E ( X i | Y) xi Pr( X i xi | Y)
xi 0