1. D45:
局所変分法を用いたTotal Variationの
画像修復への応用
庄野 逸 岡田 真人
電気通信大学 大学院情報理工学研究科 東京大学 大学院新領域創成科学研究科
shouno@uec.ac.jp
IBIS
2012@Tokyo 2012/11/08

2. Total Variation とは？
Total Variation (Rudin
1992)
観測信号に y 含まれるノイズを除去するための制約条件
原信号の隣接ユニット間の差分の L1 ノルム
X
原信号 xi xj HTV (x) = |xi x j|
(i, j)
観測信号 yi yj
L1拘束条件付き最適化
IBIS
2012@Tokyo 2012/11/08

3. 確率モデルとしての解釈
原信号 xi xj
Boltzmann 分布を考えてみる 観測信号 yi yj
観測過程
Gauss
observa<on X
HTV (x) = |xi x j|
(i, j)
事前分布
Laplace
prior
事後分布
この定式化で MAP 法と TV 法が等価になる(はず)
IBIS
2012@Tokyo 2012/11/08

4. 局所変分法による近似(1)
局所変分法とは (Palmer
2005)
Super Gaussian を Gauss 関数で近似
Legendre 変換から導かれる
p(x) = exp( g(x2 ))
1 Legendre 変換対
= sup r(⇠) N(x | 0, ⇠ )
⇤
⇠>0 g(u) = inf ⌘u g (⇠)
s ⇠>0
2⇡ ✓ ✓ ⇠ ◆◆ ⇤
r(⇠) = exp g⇤ g (⇠) = inf ⇠u g(u)
u>0
⇠ 2
フォーマルにはこんな感じ…
IBIS
2012@Tokyo 2012/11/08

5. 局所変分法(2): Laplace 分布の近似
Laplace 分布の密度関数を x2 の関数として考える
Comparison of Likelihoods
0.5
↵ True
p(x) = exp ( ↵|x|) Sampling
2
Gauss
Latent
⇣ p ⌘
0.4
↵
= exp ↵ x2
2
0.3
2
!
↵ ⇠ 2 ↵
= sup exp x
2 ⇠>0 2 2⇠ 0.2
0.1
最適化パラメータ ξ を導入する代わりに
0.0
Gauss 関数ライクな記述が可能
-6 -4 -2 0 2 4 6
IBIS
2012@Tokyo 2012/11/08

6. 局所変分法による TV モデルの近似
X
原信号 xi xj HTV (x) = |xi x j|
(i, j)
観測信号 yi yj
事前分布→ Gauss 関数として記述
Y 2
!
⇠i j 2 ↵
p(x) / sup exp (xi x j)
(i, j) ⇠i j >0
2 2⇠i j
= sup r(⇠) N(x | 0, ⇤ 1 )
⇠
事後分布→ Gauss 分布として記述
ただし {α, β, η} が不確定→ EM アルゴリズムで推定
IBIS
2012@Tokyo 2012/11/08

7. 画像の定式化: Wavelet 基底による表現
Haar 基底による画像表現
=s0 +s1 +s2 +s3 +...
x φ0 φ1 φ2 φ3
M
X
原信号 x = si 'i = s 観測信号 y = s
ˆ
m
!
1 T T
事前分布 p(s) = p(x)| | / exp s ⇤ s
2
T 1
事後分布 p(s | s) ⇠ N(s | µ, (
ˆ ⇤ + I) )
T 1
µ=( ⇤ + I) s
ˆ
IBIS
2012@Tokyo 2012/11/08

8. EMアルゴリズムによるハイパーパラメータ推定
(Dempster 1977, Neal & Hinton 1999)
X
原信号 xi xj HTV (x) = |xi x j |
(i, j)
観測信号 yi yj
x を隠れ変数だと思ってパラメータ θ = {α, β, η} を推定する
→ Q 関数の最大化
Q(✓ | ✓(t) ) = hln p(x, y | ✓)i x|✓(t)
M ln D E ↵2 X 1 1D T E
= kˆ sk2 (t) + M ln ↵
s s T
⇤ s
2 2 s|✓ 2 (i, j) ⇠i j 2 s|✓(t)
事後分布は Gauss 分布で近似するので
IBIS
2012@Tokyo
期待値が計算可能 2012/11/08

9. 計算機実験: 入力画像
真の画像 x と観測画像 y 原信号 xi xj
原信号: x 観測信号 yi yj
cameraman.png の一部
yi = xi + ni
観測過程: Gauss 観測過程
⇤ 1
ni ⇠ N(ni | 0, )
標準偏差 β*(-1/2) →制御パラメータ
x y
2.0
2.0
10
10
1.5
1.5
1.0
1.0 20
20
0.5
0.5
30
Row
30
0.0
Row
0.0
-0.5
-0.5 40
40
-1.0
-1.0
50
50
-1.5
-1.5
-2.0
-2.0 60
60
10 20 30 40 50 60
10 20 30 40 50 60
Column
Column Dimensions: 64 x 64
Dimensions: 64 x 64
IBIS
2012@Tokyo 2012/11/08

10. 計算機実験: TV vs. GMRF
比較する事前分布
HTV(x)
xi xj vs.
TV近似(L1拘束) 原信号
HGMRF(x)
GMRF(L2拘束) 観測信号 yi yj
X
HTV (x) = |xi x j|
(i, j)
xi xj X
2
HGMRF (x) = (xi x j)
(i, j)
IBIS
2012@Tokyo 2012/11/08

11. TV(L1拘束）解と GMRF(L2拘束)解との比較(1)
β*-1/2=0.1 ×画像のパワーの場合
2.0 2.0
10 10
1.5 1.5
1.0 1.0
20 20
0.5 0.5
30 30
Row
Row
0.0 0.0
-0.5 -0.5
40 40
-1.0 -1.0
50 50
-1.5 -1.5
-2.0 -2.0
60 60
10 20 30 40 50 60 10 20 30 40 50 60
Column Column
Dimensions: 64 x 64 Dimensions: 64 x 64
TV解 GMRF解
視覚的にはあまり良くわからない
IBIS
2012@Tokyo 2012/11/08

12. TV(L1拘束）解と GMRF(L2拘束)解との比較(2)
差分画像( 修復画像(Φµ) - 原画像 (x) ) による比較
1.0 1.0
10 10
0.5 0.5
20 20
30 30
Row
Row
0.0 0.0
40 40
-0.5 -0.5
50 50
-1.0 -1.0
60 60
10 20 30 40 50 60 10 20 30 40 50 60
Column Column
Dimensions: 64 x 64 Dimensions: 64 x 64
TV 解 GMRF 解
TV解の方が，画像のエッジ部分の保存状態が
IBIS
2012@Tokyo やや良い(ような気がする) 2012/11/08

13. TV(L1拘束）解と GMRF(L2拘束)解との比較(3)
Peak Signal to Noise Ratio (PSNR) 値による定量評価
PSNR evaluation
0 1
B (max x
B min x)2 C C
PSNR(x, µ) = 10 log10 B 1 P M C
Good
B
B
@ C
C TV
2 A GMRF
M i=1 (µi xi ) Noised
25
解 Φµ が原信号 x に近いほど
高い値
PSNR
20
TV近似の方が若干良い
(気がする）
Poor
15
0.05 0.10 0.15 0.20
Low Noise Noise Level High Noise
IBIS
2012@Tokyo β*-1/2 2012/11/08

14. まとめと課題
まとめ
TV に局所変分法を適用し定式化→画像修復へ適用
低ノイズ領域においては近似 TV の方が，GMRF を使うより
良さげな感じ（特にエッジを保存したいような場合）
課題
TV近似の分配関数の計算はかなり怪しい
EM法におけるハイパーパラメータの収束性の悪さ
画像サイズと行列計算の問題
(TV + 疎な基底) vs. (GMRF + 疎な基底) などのバリエーションとの
性能比較
IBIS
2012@Tokyo 2012/11/08