SeRanet
•
3 recomendaciones•2,546 vistas
Convolutional Neural Networkによるディープラーニングを用いた超解像ソフトSeRanetの紹介
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a SeRanet
Similar a SeRanet (20)
SeRanet
- 2. 目次 導入 機械学習とは ディープラーニングとは SRCNN 問題設定 既存研究・ソフトの紹介 “Image Super-Resolution Using Deep Convolutional Networks” waifu2x SeRanet Sprice Fusion 結果 パフォーマンス おわりに
- 7. 目次 SRCNN 問題設定 既存研究・ソフトの紹介 “Image Super-Resolution Using Deep Convolutional Networks” waifu2x
- 10. 写像の構成方法 画像認識などでも用いられる、深層畳み込みニューラルネットワークを用いる。 Deep Convolutional Neural Network （→以下CNN）
- 11. 先行研究① “Image Super-Resolution Using Deep Convolutional Networks” Chao Dong, Chen Change Loy, Kaiming He and Xiaoou Tang https://arxiv.org/abs/1501.00092 “SRCNN” を提案した元論文。 Convolutional Neural Networkを用いることによって、 既存の超解像手法に勝る結果が得られたことを発表。 本スライドでは以下”SRCNNの論文”と表記します。 http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.htmlより
- 12. 手法の概要 １．画像ファイルを読み込む ２．事前処理として先に画像を2倍に拡大しておく (ｎ倍も可) ３．RGBフォーマットをYCｂCrへ変換し、Y Channelのみを取り出す。 ４．正規化：0-255の値を0-1へ。 ５．ニューラルネットワークに入力 出力としてY channelで正規化されたものが得られる ６．得られた出力を0-255の値に戻す。 ７．Bicubic法などの方法で拡大された画像のCbCr Channelと合体させて最終画像を得る。 ※ ３．と７．はRGBすべてを入出力として訓練する場合はスキップ。
- 13. 従来手法の特徴① ・Y Channelのみを入出力としてトレーニング 人間の視覚特性として、輝度(Luminance)には色差よりも敏感だという特徴があるので、RGB Channelではなく、YCbCrフォーマットのY 成分のみを入出力と扱うことで、問題をより簡単に しようという工夫。 Y成分 Cr成分 Cb成分YCbCr成分に分解
- 14. 従来手法の特徴① ・Y Channelのみを入出力としてトレーニング 人間の視覚特性として、輝度(Luminance)には色差よりも敏感だという特徴があるので、RGB Channelではなく、YCbCrフォーマットのY 成分のみを入出力と扱うことで、問題をより簡単に しようという工夫。 Y成分 Cr成分 Cb成分YCbCr成分に分解 ・RGB Channelだとトレーニングが難しくなる。 SRCNNの論文内では、RGBの3 Channel で訓練した際のパフォーマンスも比較されていて、CNNの規模を大きくとった 場合以外にはY ChannelだけでCNNを構成した方がよかったという結果。 Y成分のみをCNNで扱う
- 15. 従来手法の特徴② ・入力にあらかじめ拡大された画像を用いる。 SRCNNの論文ではBicubic法、waifu2x(後述)ではNearest neighbor法で拡大した画像を CNNに入力している。 ［理由］ ニューラルネットワークの畳み込み層を機械学習ライブラリを使って実装する場合、入力と出力の画像サイズはほぼ 等しくなるため、あらかじめサイズ調整しておく必要がある。 (※厳密にはアウトプットの画像サイズはフィルターサイズ分だけ小さくなる) 入力 出力 CNN 画像を拡大 Y 成分のみ抽出 画像を拡大 Cｒ・Cb ChannelはCNN使用しない 合成
- 16. 先行研究① CNNモデル CNNの構成 Layer1 Layer2 Layer3 In channel 1 32 64 Out channel 32 64 1 Kernel size 9 5 5 パラメータ数 2628 51264 1664 畳み込み回数 2592×4WH 51200×4WH 1600×4WH 浅めの階層だが、畳み込みのKernel sizeを大きくとっている。 論文中のCNNの構成の一例 (論文内では他にもいろいろなパラメータでテストされている。) ※パラメータ数 = In channel * Out channel * (kernel size)^2 + Out channel で計算 ※畳み込み回数は1ピクセルあたり= In channel * Out channel * (kernel size) ^2 + Out channel で計算。 拡大前の画像サイズを w × h ピクセルとすると、2倍に拡大後は2w×2hになることから総計では4whピクセル分畳み込みを行っている。 総パラメータ数：55556 総畳み込み量：55392×4WH
- 18. 先行ソフト② waifu2x 論文という形から、実際にアプリケーションとしてオープンソースで公開されたことにより、 一般のソフトウェアエンジニアにもソフト開発できるように。 現在多くの派生ソフトが開発されています。 [関連リンク] ・waifu2xとその派生ソフト一覧 http://kourindrug.sakura.ne.jp/waifu2x.html ・サルでも分かる waifu2x のアルゴリズム https://drive.google.com/file/d/0B22mWPiNr-6-RVVpaGhZa1hJTnM/view
- 19. 先行ソフト② waifu2xのCNNモデル 畳み込みのKernel sizeを3と小さくとる分、深いニューラルネットを構成している。 waifu2xのCNN CNNの構成 Layer1 Layer2 Layer3 Layer4 Layer5 Layer6 Layer7 In channel 1 32 32 64 64 128 128 Out channel 32 32 64 64 128 128 1 Kernel size 3 3 3 3 3 3 3 パラメータ数 320 9248 18496 36928 73856 147584 1153 畳み込み量 288×4WH 9216×4WH 18432×4WH 36864×4WH 73728×4WH 147456×4WH 1152×4WH 畳み込みのKernel sizeが小さい分、深いCNNを構成。 総パラメータ数：287585 総畳み込み量：287136×4WH
- 20. SRCNNタスクの特徴 画像認識タスクと比べた場合の違い １．位置依存性が望まれる。 →画像認識ではTranslation invariantな性質が好まれるが、 超解像では各ピクセルでの値を出力したいためにTranslation variantな出力が求められる。 つまり、Max poolingやStrideなどの画像認識タスクで用いられる手法は歓迎されない。 ２．ネットワークの後段にいっても画像サイズを小さくできない →Feature mapを増やすと計算量がとても大きくなってしまうため、 実行速度・メモリの両方に関してよりシビアな条件が求められる。 CNN計算時に必要なメモリ量≒CNNの図での直方体の体積といえます。 画像認識タスクでは一般的に後段にいくにしたがって画像サイズが小さくなってい くため、Feature mapの数が増えてもメモリサイズに問題がでずらいですが、SRCNNの場合 Feature mapが増やすと(1024など) 6GBほどのメモリがいっぱいになることはすぐ起きてしまう。
- 22. SeRanet 工夫１ Splice CNNにもともとのサイズ w × hの画像を入力して、2w × 2hのサイズの画像を出力として得たい →ネットワークのSplitとSpliceという概念を導入する。 入力はｗ × ｈ Split Splice: 4つのニューラルネットワークをひとつに合流させて 2w × 2hのサイズを得る。 Split: ニューラルネットワークを4つに分岐させる Splice 出力は2ｗ × 2ｈ LU RU LD RD
- 23. SeRanet 工夫１ Splice 4つにSplitされたニューラルネットワークはそれぞれ、拡大後の画像の左上(LU)、右上(RU) 、左下 (LD)、右下(RD)のピクセルに対応 Split Splice 入力画像 出力画像 (1, 1) (1, 2) (2, 1) (2, 2) (1, 1) (1, 2) (2, 1) (2, 2) (1, 1) (1, 2) (2, 1) (2, 2) (1, 1) (1, 2) (2, 1) (2, 2) (1, 1) (1, 2) (2, 1) (2, 2) (1, 1) (1, 2) (2, 1) (2, 2) (1, 1) (1, 1)(1, 1) (1, 2) (1, 2)(1, 2) (2, 1) (2, 1) (2, 1) (2, 2) (2, 2) (2, 2) Spliceの段階で4つのCNNからの出力結果を”つなぎ合わせ”(splice)して、２倍のサイズの画像にする。 LU RU LD RD
- 24. Splice導入による効果 → ニューラルネットワーク設計の柔軟性が増す 入力はｗ × ｈ Split Splice 出力は2ｗ × 2ｈ 第３Phase第２Phase第１Phase 第１Phase：画像サイズがwxh と拡大される前なので、後段と比べて計算量が１／４と少ない。 →この段階で比較的大きなサイズのFeature map、Kernel sizeを使用できる。 第２Phase：画像サイズwxhの畳み込みを４つ行う。 計算量は第３Phaseと同じだが、LU, RU, LD, RDのそれぞれで異なるパラメータを学習できる。 →モデルの表現力の向上を狙う また、1つ1つの畳み込み計算の際の画像サイズはwxhのままなので、Feature mapの数が多くて もメモリOverflowしづらい 第３Phase：画像サイズ2wx2hの畳み込み。最終出力を得るためのPhase ここでは、Feature mapの数が多くなり過ぎると、簡単にメモリOverflowに達する＆ 一気に計算時間が長くなってしまうので注意が必要。
- 26. Fusionとは Colorizationの論文にて紹介されていた手法。まずは論文について紹介を。 ・“Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification” Satoshi Iizuka, Edgar Simo-Serra and Hiroshi Ishikawa http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/en/ この研究では、 白黒画像の入力から 色付き画像を出力として得るように、 CNNを教師あり学習させている。 https://github.com/satoshiiizuka/siggraph2016_colorization より 入力 出力
- 28. SeRanet 工夫２ Fusion SeRanetでは画像認識など、他の教師あり学習は行っていないが、二つの種類のCNNをFusionさせている。 狙い：異なる非線形Activationを用いることによるモデルの表現力の向上。 ※初めはConvolutional Restricted Boltzmann MachineによるPre-trainingから得られたネットワークとの Fusionを行いたい、というアイデアから導入したが、いまのところConvolutional RBMの訓練が うまくいっていません。 上部ネットワークはLeaky ReLU関数をActivationとして利用。 下部ネットワークはSigmoid関数をActivationとして利用。
- 29. SeRanetのCNN ネットワーク seranet_v1のCNN Split Splice 第３Phase第２Phase第１Phase CNNの構成 Layer1 Layer2 Layer3 In channel 3 64 64 Out channel 64 64 128 Kernel size 5 5 5 パラメータ数 4864 102464 204928 畳み込み量 4800×WH 102400×WH 204800×WH Layer4 Layer5 Layer6 256 512 256 512 256 128 1 1 3 131584 131584 295040 131072×WH 131072×WH 294912×WH Layer7 Layer8 Layer9 Layer10 128 128 128 128 128 128 128 3 3 3 3 3 147584 147584 147584 3584 147456×4WH 147456×4WH 147456×4WH 3456×4WH Fusion 総パラメータ数：3303680 総畳み込み量：1159150×4WH ×２ ×４
- 30. 各モデルの比較 パラメータ数はwaifu2xの10倍以上 総畳み込み量(≒計算量)は4倍程度 計算量に対して、パラメータ数の増加量が多くなっているのは、Split・Spliceを導入した効果により位置 依存性のあるパラメータがあるため。 (パラメータ数を増やした方がモデルの表現力が広がり、よい結果が出ることを期待している。) →これだけパラメータ数、計算量が増えたのだからいい結果が期待できる、、、？？ モデル SRCNN論文 waifu2x SeRanet_v1 パラメータ数 55556 287585 3303680 畳み込み回数 55392×4WH 287136×4WH 1159150×4WH
- 31. 目次 結果 パフォーマンス 各画像拡大手法の比較 ・ Bicubic法 ・ Lanczos法 ・ waifu2x ・ SeRanet 従来の画像拡大手法 CNNを用いた画像拡大 スライドを行ったり来たりさせて比較してみてください。 Slideshareだとわかりづらい場合はこちらで → https://github.com/corochann/SeRanet
- 32. 結果 入力画像
- 36. 結果 SeRanet
- 37. 結果 オリジナル画像 (参考)
- 39. 結果 パフォーマンス 各画像拡大手法の比較 個人の見た目感覚では、、、 ・ Bicubic法 ・ Lanczos法 ・ waifu2x ・ SeRanet ・ オリジナル画像 といった結果となりました。 (数値的な計測比較はまだできていません) 従来の画像拡大手法 CNNを用いた画像拡大 ほぼ同じ ほぼ同じ 差がある 差がある
- 40. まとめ SeRanetで取り入れた工夫・従来手法との違い ・ 大規模なCNNを使用（深さ9層、総パラメータ数3303680 ） ・Y の1 Channel ではなく、RGB 3 Channel全てを用いたネットワーク構成・訓練 ・Split, Splicingを導入 右上・左上・右下・左下それぞれ別パラメータを用いることによるモデル表現力の 向上を狙う ・Fusionの導入 異なる非線形Activationを組み合わせることでモデル表現力の向上 ・Convolutional RBMの導入、Pretraining。 位置依存したローカルな特徴量を教師無し学習で抽出する。 と、いろいろ試しては見たものの、パフォーマンスの大きな向上は見られていない、といった現状。 一方で、オリジナル画像とはまだ確かに差がある状態なので、まだ改善の余地はありそう。