Domain Adaptationについてこれまでの発展と動向をまとめたサーベイ資料です。Adversarial Learning（敵対学習）が用いられたり、セマンティックな情報を保持するためにReconstruction-LOSSが導入されたり、今年のICMLではクラス重心を用いた手法が提案されたりと、目覚ましい発展を続けています。

1. 2018/8/1 岡本大和
(Survey)
Domain Adaptation
発展と動向まとめ

2. はじめに自己紹介

3. 自己紹介 岡本大和（おかもとやまと）
 2013 京都大学 情報学研究科 修士課程修了（美濃研究室所属）
 画像処理やパターン認識の研究に着手
 卒業後、オムロンに入社（京都企業!!）
 R&D担当、機械学習・IoT・データ分析を扱う（バズワードばかり……）
twitter.com/RoadRoller_DESU
イラストレーターの友人が
描いてくれた似顔絵キャラ
（※お気に入り）

4. 今年, 初めてICMLに参加しました。
（ICML 2018@Stockholm）

5. 水の都Stockholmはええ場所でした

6. Domain Adaptation
発展と動向まとめ

7. Domain Adaptation の課題
①いかに異なるドメイン間で分布を近づけるか
⇒ Adversarial Learningの活用
②いかに少ないデータとラベルで学習するか
③いかにSemantic情報を保持するか
⇒ Reconstruction Loss や Centroid Loss の導入

8. Generative Adversarial Networks
Goodfellowら(NIPS’14)
初めてGANが提案された論文
Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か？』
黒線 x ：Data Generating Distribution
緑線 G(z)：Generative Distribution
青線 D(x)：Discriminative Distribution
（正データである確率、0.5に近づけたい。）
ｚ ：sampled uniformly
D
X
Sample
Z
noize
G

9. Generative Adversarial Networks
Goodfellowら(NIPS’14)
初めてGANが提案された論文
Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か？』
黒線 x ：Data Generating Distribution
緑線 G(z)：Generative Distribution
青線 D(x)：Discriminative Distribution
（正データである確率、0.5に近づけたい。）
ｚ ：sampled uniformly
D
X
Sample
Z
noize
G
【Problem】
特徴量の分布が似通うだけで
Semanticな情報がKeepされない.
（異なるクラスの特徴量が近傍に分布する）

10. Deep Reconstruction-Classification Networks
for Unsupervised Domain Adaptation Ghifaryら(ECCV’16)
Target-Domainに対してUnsupervisedでSemanticな情報をKeepする
Task①：Supervised classification of labeled source data
Task②：Unsupervised reconstruction of unlabeled target data.
【Contribute】
Reconstruction Lossにより
Semantic情報が残るようにした
【Contribute】
TargetのLabelがゼロの場合に対応

11. Few-Shot Adversarial Domain Adaptation
Mottianら(NIPS’17)
Same class Different class
Same
Domain
Different
Domain
Semanticな情報をKeepするには、
Classification-Taskを教師あり学習させるのが手っ取り早い。
そこで、Target-Domainのデータやラベルが少ない場合でも、
教師あり学習できる手法が提案された。
*Discriminator：4クラス分類を解けるよう学習
*Generator ：ClassがSameかDifferentか見抜かれないよう学習
【Contribute】
Targetデータが少ない場合に対応

12. ADDA: Adversarral Discriminative Domain Adaptation
Tzengら(CVPR’17)
①SourceでClassification-TaskをSupervised Learning
②SourceとTargetでAdversarial Learning
③TargetでClassification-Taskを実行 実線：Wを更新
点線：Wを凍結

13. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる

14. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
『Image-level GAN loss』
Target Domainらしい画像を
生成できているかどうか

15. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる『feature-level GAN loss』
各Domainからftで抽出した
特徴量の分布が類似するかどうか

16. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
『semantic consistency losses』
特徴量を復元できるかどうか。
Domain変換で特徴が失われてないことを確認

17. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる『semantic consistency losses』
画像を復元できるかどうか。
Domain変換で特徴が失われてないことを確認

18. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる
『semantic consistency losses』
fTで抽出した特徴量でTaskを解けるかどうか

19. CYCADA: CYCLE-CONSISTENT ADVERSARIAL
DOMAIN ADAPTATION Hoffmanら(ICLR’18)
特徴量と画像(pixel-level)の表現を両方獲得させる

20. M-ADDA: Unsupervised Domain Adaptation
with Deep Metric Learning Laradjiら(ICML’18）
クラス重心の近接度合に着目したCenter Magnet Lossを提案
1. SourceでClassification-TaskをSupervised Learning
2. SourceとTargetから抽出した特徴量でAdversarial Learning
3. Sourceにおいて各Classの重心Cを算出
4. Targetの特徴量がいずれかのClassの重心Cに近づくよう学習
1
2
3
4

21. Learning Semantic Representations
for Unsupervised Domain Adaptation Xieら(ICML’18)
異なるドメインの同一クラスの重心が一致するよう学習
1. SourceでClassification-TaskをSupervised Learning
2. SourceとTargetから抽出した特徴量でAdversarial Learning
3. 学習したモデルでTargetをClassificationしてラベル生成する
（※このラベリングの正確性は保証されない）
4. 異なるドメインの同一クラスの重心が一致するよう学習
1
2
3
4
1

22. まとめ
Domain Adaptation の課題（再掲）
①いかに異なるドメイン間で分布を近づけるか
⇒ Adversarial Learningの活用
②いかに少ないデータとラベルで学習するか
③いかにSemantic情報を保持するか
⇒ Reconstruction Loss や Centroid Loss の導入