2. 今回紹介する論⽂の概要
n タイトル: Variational Denoising Network: Toward Blind Noise Modeling and Removal
n 学会: NIPS 2019
n 概要:
n ノイズあり画像で条件づけたときのノイズと推定したい元の画像の事後分布 𝑞(𝑧, σ!
|𝑦) をニューラル
ネットワーク(NN)によってモデル化
n 変分下限最⼤化により,NNのパラメタを学習
n 画像の位置ごとに依存するような(iidではない)未知のノイズを推定し,ブラインド画像デノイジング
を可能にする
訓練ノイズ分布とは異なる,test caseのような未知のノイズ分布の推定が可能
4. 関連研究: デノイジング⼿法は主に2つのカテゴリがある
n モデルドリブンな最⼤事後確率推定ベースの⼿法
n ベイジアンフレームワークにのっているため解釈しやすい😁
n 画像の事前分布とノイズに不⼗分な仮定しかおけない🥺
n データドリブンな深層学習による⼿法
n ⼤量のノイズありなしのペアデータを利⽤して学習すれば性能よく推論も早い😁
n 特定のタイプのノイズに過剰適合してしまう🥺
n ネットワークがヒューリスティックな設計で解釈性がない🥺
n → 上記2つの⼿法の利点を良いとこ取りした,ベイジアンフレームワークと深層学習を組
み合わせた⼿法(Variational Denoising Network)を提案
8. 実験設定
n D-NetとS-NetではHeの初期値を利⽤
n パッチサイズは128x128とし,ランダムにクロップした64x5000のパッチを利⽤
n オプティマイザはadamで学習率は2e-4から1e-6にむけて10epochごとに線形に減らす
n ハイパラであるwindow sizeのpは7で,ε!
"
は合成データでは5e-5で現実データでは1e-6
n ハイパラの頑健性を⽰す実験も⾏っている
n ⽐較⼿法: CBM3D, WNNM, NCSR, MLP, DnCNN-B, MemNet, FFDNet, UDNet, CBDNet
n 元の画像とデノイズされた画像の近さはPSNRとSSIMで評価する
n PSNR: ⼆枚の画像で同じ位置同⼠のピクセルの輝度の差分を⼆乗したもの.単位はデシベル(dB)
n SSIM: 注⽬ピクセルの周りの平均と分散を元に輝度・コントラスト・構造を計算し,それらを複
合した指標
n 合成ノイズの実験:
n ノイズを⼈⼯的に作成し,それを取り除く
n データセット: Set5, LIVE1, BSD68
n 現実ノイズの実験:
n 実際のノイズを取り除く
n データセット: DND, SIDD
15. 実験: ハイパラの解釈とその頑健性について
n ε!
"
は潜在的なclean image zが,ground truthであるxにどれだけ依存するのかを決める
n ε"
!
が0に近づくと負のELBOが単なるMSE誤差に近づく(事前分布p(z)を無視する)
n → 通常の深層学習ベースのロスになる
n ハイパラε"
!
を変えたときの結果(Table 5)
n ε!
"
が⼤きすぎると,事前分布p(z)の制約が⼤きくなり,xを無視するため,性能が悪くなる
n ε!
"
が⼩さすぎると,MSE誤差にしたときの性能に近づく
n pは逆ガンマ分布のモードとなるξの値を決めるためのwindow sizeである
n ハイパラ𝑝を変えたときの結果(Table 6)
n どのハイパラでも基本的には良い結果