GCPUG 鹿児島 × TFUG 鹿児島（合同ゼミ）#10 資料

1. 転移学習
GCPUG 鹿児島 × TFUG 鹿児島（合同ゼミ）#10
2019/07/24(wed)
鹿児島大学大学院
二見 悠樹

2. about me
● 二見 悠樹 (Yuki Futami)
● 鹿児島大学大学院理工学系研究科 M2
- 深層学習(Deep Learning)を用いた映像解析に関する研究
● インターンやおしごと
- RailsでWebアプリの開発・スクレイピング(18.04~現在)
- 物体分類モデルにおけるデータ水増し手法の調査と検証(18.12~19.01)
● Like： Deep Learning/Machine Learning/vim/python/ruby
● Twitter: @fuchamii, GitHub: fuchami

3. もくじ
 転移学習(Transfer Learning) ・Fine-tuning
 Data Augmentation
 注意
- 取り扱う問題対象として画像に焦点を当てています
- 間違いがあればご指摘お願いします！

4. 転移学習

5. 一般的な機械学習モデル

6. Deep Learning(ニューラルネット)モデル

7. 転移学習 (Transfer Learning)
「新規タスクの効果的な仮説を効率的に見つけ出すために，一つ以上の別
のタスクで学習された知識を得て，それを適用する問題」
→ ある領域(ドメイン)で学習したモデルを、別の領域(ドメイ
ン)に適合させる技術。別の関連した問題のデータや学習結果
を再利用する。
例：「人の顔か判断するモデルがあるけど男女の識別もしたい…」

8. 例：一般物体認識タスク
・物体認識タスク：画像に何が映っているかを識別(画像分類)
・ImageNet：学習データが120万枚を越える大規模データセット
・画像分類モデルのベンチマークとして使われている

9. 例：一般物体認識タスク
・ImageNetで事前に学習したモデル
の重みを用いる
・中間層の重みは固定する
・出力層のみを再学習させる
・VGG-16やResNetと呼ばれる
畳み込みニューラルネットワーク(Convolutional
Neural Network :CNN)
モデルが採用されることが多い

10. 転移学習のメリット
・ 少ない学習データで高い精度を実現できる
- Deep Learning(DL)では大量のデータが必要…
- 既に獲得している特徴量表現から汎用性の高いモデルを学習できる
・計算コストが少ない
- DLは高いマシンパワーと時間を必要とする
- GCPがあるけど安く済ませたい…
→ 少ないデータと計算コストで
Deep Learningの恩恵が受けられる

11. Fine-Tuning
・CNNは浅い層は汎用的な特徴抽出が行われている
・層が深くになるにつれて、より細かな特徴抽出を行っている。
→ CNNにおける出力層とそれに近い層のみを再学習させる。

12. Fine-Tuning
ここまで学習させる！

13. Data Augmentation

14. Data Augmentation
 画像処理によってバリエーションを増やす手法
• 訓練データに対して移動・回転・拡大・縮小など人工的な操作
を加えることでデータ数を水増しするテクニック
• ロバストになるため認識精度が向上する
• Overfitting(過学習)を防ぐ
→ 目的に合わないパターンや、実際のデータに出てこない
バリエーションは避けること
 Augmentationの例
 Horizontal Flip
 Vertical Flip
 Random crop
 Rotation
 Channel shift
 Width shift range
 Height shift range
 Zoom

15. Mixup
 近年提案された新しいData Augmentation手法
 2つのクラスサンプル(x1,x2)を混合して新しい訓練サンプルを生成
 その際、混合した割合に応じてOnehot-vectorのラベルyも与える
X=λx1+(1−λ)x2
Y=λy1+(1−λ)y2
犬 猫 車 人
y1 = [ 0, 1, 0, 0 ]
y2 = [ 0, 0, 0, 1 ]
mix!!
y3 = [0, 0.5, 0, 0.5 ]
H. Zhang, M. Cisse, Y. N. Dauphin, and D. Lopez-Paz, "mixup: Beyond Empirical Risk Minimization," in arXiv:1710.09412, 2017.

16. Random Erasing / Cutout
 教師データとなる画像に対してランダムな一部短形領域
をマスク する手法
• T. DeVries and G. W. Taylor, "Improved Regularization of Convolutional Neural Networks with Cutout," in arXiv:1708.04552, 2017.
• Z. Zhong, L. Zheng, G. Kang, S. Li, and Y. Yang, "Random Erasing Data Augmentation," arXiv:1708.04896, 2017.

17. Data Augmentation比較

18. 他のドメインでのData Augmentation
● 動画データ
- 時系列(時間軸)を反転する
● 音声データ
- ホワイトノイズを加える
- 再生速度に変更を加える
- ピッチや発音の時間をずらす
● テキストデータ
- 翻訳機を使って再翻訳する(日本語→英語→日本語)
- 単語の一部分をマスクする

19. ご清聴ありがとうございました

20. 参考
http://www.kamishima.net/archive/2010-s-jsai_tl.pdf
https://medium.com/mhiro2/what-is-transfer-learning-
1018d2a3fe7d
https://qiita.com/ANNEX_IBS/items/55c7a8984fe88a756965
https://qiita.com/cvusk/items/aa628e84e72cdf0a6e77