DCGANとStyleGAN2のモデル生成を試した内容を共有します。 DCGANはGoogle Colaboratoryで、StyleGAN2は自前のPC(Windows + GTX1080ti、GTX1070)で動作させます。 八王子AIでのデモ資料

1. DCGANとSTYLEGAN2を試したときの話
八王子ＡＩ 2020/2/16
HIDEKI TSUJIMOTO(MOTO2G)

2. プレゼン内容
DCGAN、StyleGAN2を試した内容の共有
これからGANを試される方の参考になるかもしれない
• GANについて
• DCGANをGoogle Colaboratoryで試す
• StyleGAN2の学習環境を自前マシンに構築

3. majipon.jp
FUN IT
@moto2g
ITエンジニア フリーランス
も っ さ ん
辻本 秀樹
CoderDojo メンター
ものづくりのワクワクをもっと広めたい
https://hachioji-ai.connpass.com/
https://www.slideshare.net/moto2g/
http://majipon.jp/
https://qiita.com/moto2g
https://github.com/moto2g
https://coderdojotachikawa.github.io/
https://coderdojo-tamamira.connpass.com/

4. GANについて
https://arxiv.org/pdf/1406.2661.pdf

5. GANについて
• Generator
• ランダムノイズからデータを生成
• データが本物と判断される確率を高める
• Discriminator
• 本物を本物と判断する確率を高める
• Generatorが作ったものを偽物と判断する確率を高める
本物
Generator
（偽物）
Discriminator
（判定）
ノイズ

6. DCGAN
• https://arxiv.org/pdf/1511.06434.pdf
Genetator

7. pix2pix
• pix2pix https://arxiv.org/pdf/1611.07004.pdf
• pix2pixHD https://arxiv.org/pdf/1711.11585.pdf

8. CycleGAN
• https://arxiv.org/pdf/1703.10593.pdf

9. https://www.youtube.com/watch?v=9reHvktowLY

10. Stylegan
• StyleGAN2 https://arxiv.org/pdf/1912.04958.pdf

11. DCGANをGoogle Colaboratoryで試す
• PyTorchチュートリアル DCGAN
• https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html
• Google Colaboratory 上でそのまま学習、生成を実行可能
• 30分弱で学習させられる
• データセットを入れ替えれば、独自の画像を生成可能

12. • 車の画像で学習させた結果
http://ai.stanford.edu/~jkrause/cars/car_dataset.html

13. Google Colaboratoryでの説明
https://github.com/moto2g/dcgan_tutorial

14. Google Colaboratory で便利なコマンド
大容量のデータセットを扱うときには、gdrive上のファイルをcolaboratoryへ展開するのが良さげ
• ZIPファイル解凍
!unzip 解凍するファイル –d 解凍先フォルダ > /dev/null 2>&1 &
• Tar、Tar.gzファイル解凍
!tar –zxf 解凍するファイル
• フォルダ削除
!rm –rf ディレクトリ

15. StyleGAN2の学習環境を自前マシンに構築
https://github.com/NVlabs/stylegan2
※Windows 10 ＋ GTX1080Ti/GTX1070 で run_training.pyの実行確認まで
の状態。
色々な学習パターンを試し中のため、まだ不十分な点があるかも…
公式ではメモリ16GB以上のGPUが必要とのことで、GTX1080Ti、GTX1070ではメモリ不足になる。

16. StyleGAN2で使うソフトのインストール
• Visual Studio 2017 Community ※最新のVS2019では動作しなかった
• Pathにvcvars64.bat、Cl.exeへのパスを設定する
• C:¥Program Files (x86)¥Microsoft Visual
Studio¥2017¥Community¥VC¥Auxiliary¥Build¥vcvars64.bat
• C:¥Program Files (x86)¥Microsoft Visual
Studio¥2017¥Community¥VC¥Tools¥MSVC¥14.16.27023¥bin¥Hostx64¥x64¥
• Cuda 10.0 & cudnn ※cuda 10.1では動作しなかった
• nvcc test_nvcc.cu -o test_nvcc –run が動作することを確認（文字コード警告は出る）

17. StyleGAN2で使うソフトのインストール
• AnacondaでStyleGAN2用に仮想環境を構築(Python 3.6)
conda install numpy=1.14.3
conda install tensorflow-gpu=1.14
conda install pillow (7.0.0が入った)
conda install requests (2.22.0が入った)
• Tesorflowが動作することを確認
python -c "import tensorflow as tf; tf.enable_eager_execution();
print(tf.reduce_sum(tf.random_normal([1000, 1000])))“
※試したうちの1台でh5pyのバージョン不一致でStyleGANが動作せず... 下記を実施
pip uninstall h5py
pip install h5py

18. ソース修正（１）
• 実行時にライブラリをビルドできるようにする
• stylegan2¥dnnlib¥tflib¥custom_ops.py 27行目～
パスがソース中に記載されているので環境に合わせて修正
compiler_bindir_search_path = [
～
‘C:/Program Files (x86)/Microsoft Visual Studio/
2017/Community/VC/Tools/MSVC/14.16.27023/bin/Hostx64/x64‘,
～]

19. 学習済みモデルで画像生成できることを確認
python run_generator.py generate-images --network=gdrive:networks/stylegan2-ffhq-
config-f.pkl --seeds=66,230,389,1518 --truncation-psi=1.0

20. あとは頑張る…
• 学習素材を収集（縦横のサイズは同じにしておく）
• 学習素材をtfrecord形式に変換
python dataset_tool.py create_from_images 出力先フォルダ 入力フォルダ
• 学習実行 すごく時間がかかる

21. ソース修正（２）
• 出力する解像度を変える場合（２のべき乗、学習素材以下）
• stylegan2¥run_training.py 61行目
dataset_args = EasyDict(tfrecord_dir=dataset, resolution=64)
• スナップショットを取る頻度を変える場合
• stylegan2¥run_training.py 52行目
train.image_snapshot_ticks = train.network_snapshot_ticks = 1

22. ひとまず学習をテストした結果
• 入力 128×128 6種類
• 出力 64×64

23. config-aとconfig-f
• config-f 96kimg （4時間）• config-a 100kimg （3時間弱）
GTX1080ti
Core i5-6600K 3.5GHz、メモリ12GB、NVMe

24. • config-f 96kimg • config-f 160kimg

25. GTX1080tiとGTX1070
• GTX1080ti
• Core i5-6600K 3.5GHz、メモリ12GB、NVMe
• ４時間
• GTX1070
• Celeron G3930 2.9GHz、メモリ16GB、SSD
• ８時間弱
• データセットを小さくしたのも関係してる？
config-f 96kimg

26. 八王子ＡＩ