Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

191211 image editing_gan

415 visualizaciones

Publicado el

ICCV2019読み会@京都の資料

Publicado en: Datos y análisis
  • Inicia sesión para ver los comentarios

  • Sé el primero en recomendar esto

191211 image editing_gan

  1. 1. ICCV 2019読み会@京都 画像を自由に編集できるGAN @ICCV2019 Kyoto December 11, 2019 株式会社エクサウィザーズ 藤井亮宏
  2. 2. 自己紹介 名前 : 藤井亮宏(アキヒロ) ExaWizardsにおける仕事内容 • Machine Learning Engineer • 画像分類 • 物体検知 • 時系列解析 • 異常検知 • ML系のイベント主催 • CVPR, AAAI等の重要国際会議 • GAN等の⽣成モデルに絞った勉強会 趣味 • テニス • Civilization ( PC Game) @AkiraTOSEI akihiro_f
  3. 3. STRICTLY CONFIDENTIAL | 3 Summary このスライドでは、ICCV2019で発表された画像に自由に編集できるGANを紹 介します。 1. SinGAN: Learning a Generative Model from a Single Natural Image ICCV2019のベストペーパー。異質なものを画像の雰囲気に合わせこんだ り、物体の外形の編集が可能 2. Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation 線画の⼀部を書くと、それを補完し、その外形に合わせた画像を⽣成す るGAN 3. SC-FEGAN: Face Editing Generative Adversarial Network with Userʼs Sketch and Color ⼈物画像の⼀部をイラストで修正すると、それに合わせて画像を変換し てくれるGAN
  4. 4. About GAN GANとは、Generative Adversarial Networksの略で、ミニマックス問題を解 いてデータを生成するネットワークの総称 Architecture • Generator : ノイズから偽画像を⽣成する • Discriminator : 上記偽画像と真の画像を判別する G D Fake Real Fake Real noise (潜在変数)
  5. 5. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Dを騙すよう にGが学習 G D Fake Real Fake Real 固定 学習
  6. 6. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Step 2 Dを騙すよう にGが学習 Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 固定 学習 G D Fake Real Fake Real 学習 固定
  7. 7. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Step 2 Dを騙すよう にGが学習 Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 固定 学習 G D Fake Real Fake Real 学習 固定 Step 3 Dを騙すよう にGが学習 G D Fake Real Fake Real 固定 学習
  8. 8. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Step 2 Dを騙すよう にGが学習 Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 固定 学習 G D Fake Real Fake Real 学習 固定 Step 3 Dを騙すよう にGが学習 G D Fake Real Fake Real 固定 学習 ・・・ Step n Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 学習 固定
  9. 9. About GAN GANは問題設定を変えれば、任意の画像編集ができる。 Generatorに『画像を単純生成する』する以外のタスクを与えれば色々できる。 本日紹介するのは、”任意の画像編集“という問題設定をうまく考えてGANに適 用したもの@ICCV2019 4
  10. 10. 1つ目の論文 SinGAN: Learning a Generative Model from a Single Natural Image ICCV2019のBest Paper。 画像に何らかの変換を与えたものを⾃然なものに変換するSinGANを提案。 元画像に何らかの変化を与え、それを元に条件付きGANで画像を⽣成させる。 ⼭や建造物の形を変えたり、異質なものを元画像に合わせて変化させたりで きる。 ※元論⽂のFig2の⼀部を抜粋Tamar Rott Shaham et al [1](2019)
  11. 11. 画像を編集したものをGeneratorの入力して生成し、 Discriminatorで生成画像と編集前の元データの判別をさせることで、 「編集された画像の特徴を大きく残しつつ、雰囲気(ドメイン)を合わせた」画像 を生成できる。 G D Fake Real Fake Real 編集後画像 (元画像+別のイラスト)元画像 Key Insight 異質なものを、元画像の雰 囲気に似せるように学習 真データは1枚のみなので、異 質なものが混じっていないかで 判別。 ※元論⽂のFig2の⼀部を抜粋Tamar Rott Shaham et al [1](2019)
  12. 12. Method SinGANの学習方法 1枚の画像だけで学習させる。画像を⽣成→解像度を上げる(Upsample) →それを⼊れて ⽣成…を繰り返して学習させる。(拡⼤された)⽣成画像をもとに次の画像を⽣成するの で、⽣成元の特徴を残しつつ、本物っぽい画像が⽣成される 全体図 Generator
  13. 13. Results 生成された画像の例 Tamar Rott Shaham et al [1](2019)
  14. 14. Method SinGANで画像編集 ⽬的の解像度が低い場所で画像を挿⼊し、拡⼤、そしてGeneratorを通す。 低解像度状態で編集済み画像を⼊れることで、その外形を残す。そして微 細な部分の編集はGeneratorを通すことで本物っぽくする 編集後画像 (元画像+別のイラスト) G 拡⼤ (Upsample) Tamar Rott Shaham et al [1](2019)
  15. 15. Results 画像の本物っぽい編集と、異質な物体の画像への調和、をSinGANではうまく できている。 Inputの拡⼤図 (拡⼤するとちょっと、少し違和感あることがわかる) Tamar Rott Shaham et al [1](2019)
  16. 16. Results 画像の高解像度化も可能。また、編集の仕方を工夫すると1枚絵からアニメー ションも作れる。 ※元論⽂のFig2の⼀部を抜粋Tamar Rott Shaham et al [1](2019)
  17. 17. 2つ目の論文 Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation 対話的に画像を作れるGAN(のアプリ)。線画を描いてカテゴリを指定すると、線画に あった画像を⽣成してくれる。線を補完してくれたり、線を修正すると画像も変わ る Arnab Ghosh et al [2] (2019)
  18. 18. Key Insight 線画の一部から完全な線画を構成するGANと、完全な線画から画像を生成する GANの2にわかれており、Gated Conditioningというラベル情報を入れる手 法を提案 ※元論⽂のFig7,Fig8の⼀部を抜粋 2 stage Generator ラベル情報を⼊れる⽅法 通常のResBlock GatingありのResBlock Gatingによるラベル情報の注⼊ 通常のラベル 条件付 Generator Arnab Ghosh et al [2] (2019)
  19. 19. Results 線画の補完と、生成画像 線画の⼀部 (⼊⼒) 補完された線画 (1st stage generator) 補完された線画 (2nd stage generator) Arnab Ghosh et al [2] (2019)
  20. 20. Results 線画の補完と、生成画像 https://github.com/arnabgho/iSketchNFill
  21. 21. 描いたように画像を修正する SC-FEGANを提案 3つ目の論文 SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color Summary 画像をイラストで修正すると、そのように画像を変換してくれるGAN。⾊付き のイラストをもとに、髪型だけでなくアクセサリーも追加・削除が可能 Youngjoo Jo et al[3] 2019
  22. 22. Key Insight 画像の一部をイラストに変換することで、「イラストを本物っぽくGenerator が修正した画像を、Discriminatorが本物の画像のドメインになっているかを 判断する」というタスクに落とし込む。それによってイラスト部を本物っぽく することが可能。 Generator Reconstruction image Original image 画像の⼀部を絵 に変換 Inputs Discriminator Reconstruction? or Original? https://github.com/run-youngjoo/SC-FEGAN より画像を引⽤ イラスト部分を写実的に 変換するように学習 写真にイラスト部分が混 じっていないか判別
  23. 23. Method 学習データの作り方とネットワーク GeneratorDiscriminator イラスト⼊り画像データの作り⽅ 学習ネットワーク 元画像から線画と⾊画像を作り、ラン ダムに⽣成したマスク部分に⾊と線画 を合わせ込む U-net的なGeneratorとSpectral Normを⼊ れたDiscriminator Youngjoo Jo et al[3] 2019
  24. 24. Result 画像にイラストを入れて修正することができる。 https://github.com/run-youngjoo/SC-FEGAN
  25. 25. Results 画像の大部分が欠損していても、色と線画があれば復元可能 Youngjoo Jo et al[3] 2019
  26. 26. Summary このスライドでは、ICCV2019で発表された画像に自由に編集できるGANを紹 介しました。 1. SinGAN: Learning a Generative Model from a Single Natural Image ICCV2019のベストペーパー。異質なものを画像の雰囲気に合わせこんだ り、物体の外形の編集が可能 2. Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation 線画の⼀部を書くと、それを補完し、その外形に合わせた画像を⽣成す るGAN 3. SC-FEGAN: Face Editing Generative Adversarial Network with Userʼs Sketch and Color ⼈物画像の⼀部をイラストで修正すると、それに合わせて画像を変換し てくれるGAN
  27. 27. Reference 1. Tamar Rott Shaham,Tali Dekel ,Tomer Michaeli, SinGAN: Learning a Generative Model from a Single Natural Image, ICCV2019 2. Arnab Ghosh, Richard Zhang, Puneet K. Dokania, Oliver Wang, Alexei A. Efros, Philip H.S. Torr, Eli Shechtman, Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation, ICCV2019 3. Youngjoo Jo, Jongyoul Park, SC-FEGAN: Face Editing Generative Adversarial Network with User's Sketch and Color, ICCV2019

×