2023/1/20 Deep Learning JP http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
Domain Generalization by Learning and Removing Domain-
specific Features
Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業)
http://deeplearning.jp/
1

2. 書誌情報
• タイトル
– Domain Generalization by Learning and Removing Domain-specific Features
• 著者
– Yu Ding1, Lei Wang1, Bin Liang2, Shuming Liang2, Yang Wang2, Fang Chen2
– 1University of Wollongong 2University of Technology Sydney
• NeurIPS2022に採択
• Paper
– https://openreview.net/forum?id=37Rf7BTAtAM
• Code
– https://github.com/yulearningg/LRDG
2

3. Introduction
• 背景
– Domain shiftによる汎化性能の低下は深層学習の一つの課題
– CNNはdomainに依存するlocal特徴で認識してしまう傾向
• 本論文はunseen domainでも適用可能な学習手法domain generalizationに
注目
– 既存手法は、 domain依存な特徴は除去できていないことが課題
• Domain-specific情報は明示的に教えず、sourceからdomain-invariant情報のみで学習
• テクスチャなどの情報をlocalな特徴として、学習しない（ペナルティをかける）手法もあるが、他の
localな特徴の除去に保証がない
– domain依存な特徴明示的に排除（学習しないように）する手法を提案
3

4. 概要
• 提案手法の概要
– domain-specific classifiers, encoder-decoder network, domain-invariant classifierで
構成される
– source domain毎にdomain-specific classifierを設け、対象domainに依存する情報を
抽出
• 他のsource domainに対応できないように
– 画像をdomain不変なspaceにmapping
– domain-invariant classifierで最終的に認識を行う
• Data augmentation的な手法と異なる点
– 学習データは増やさず、domain不変な中間表現を作成
4

5. 提案手法
• Image-to-image translation手法にインスパイアされた
• 提案手法の全体図
5
出典：https://openreview.net/forum?id=37Rf7BTAtAM

6. 提案手法の詳細
• Learning domain-specific features
– N source domain 𝒟𝑠 = 𝐷𝑠
1, 𝐷𝑠
2, ⋯ , 𝐷𝑠
𝑁 に対し、classifier ℱ𝑠 = 𝐹1, 𝐹2, ⋯ , 𝐹𝑁 を用意
– 𝐷𝑠
𝑖は𝐹𝑖のみ対応可能：
• 𝐹𝑖のみ認識可能：分類loss(cross entropy loss)を最小になるように学習をガイド
𝑎𝑟𝑔 min
𝜃𝑖
𝔼𝐷𝑠
𝑖~𝒟𝑠
𝔼 𝑥𝑗
𝑖
,𝑦𝑗
𝑖
~𝐷𝑠
𝑖 𝐿𝐶 𝐹𝑖 𝑥𝑗
𝑖
; 𝜃𝑖 , 𝑦𝑗
𝑖
• 他のclassifier（ 𝐹1, 𝐹2, ⋯ 𝐹𝑖−1, 𝐹𝑖+1, ⋯ 𝐹𝑁 )は認識できない：uncertainty loss(entropy loss)で学習
できないように
𝑎𝑟𝑔 max
𝜃𝑖
𝔼𝐷𝑠
𝑘~𝒟𝑠,𝑘≠𝑖 𝔼 𝑥𝑗
𝑘
,𝑦𝑗
𝑘
~𝐷𝑠
𝑘 𝐿𝑈 𝐹𝑖 𝑥𝑗
𝑘
; 𝜃𝑖
– classifier ℱ𝑠は予め学習したら、パラメータをフリーズ
6

7. 提案手法の詳細
• Removing domain-specific features
– Encoder-decoder形式で入力画像を新しい画像空間にmapping
– その画像空間は各classifierのuncertainty lossを最大化する → domain不変な画像
空間にmapping
𝑎𝑟𝑔 max
𝜃𝑀
𝔼𝐷𝑠
𝑖~𝒟𝑠
𝔼 𝑥𝑗
𝑖
,𝑦𝑗
𝑖
~𝐷𝑠
𝑖 𝐿𝑈 𝐹𝑖 𝑀 𝑥𝑗
𝑖
; 𝜃𝑀 ; 𝜃𝑖
– Reconstruction loss(pixel-wise l2 loss)で、変な画像にmappingされないように
𝑎𝑟𝑔 min
𝜃𝑀
𝔼𝐷𝑠
𝑖~𝒟𝑠
𝔼 𝑥𝑗
𝑖
,𝑦𝑗
𝑖
~𝐷𝑠
𝑖 𝐿𝑅 𝑀 𝑥𝑗
𝑖
; 𝜃𝑀 , 𝑥𝑗
𝑖
– domain-invariant classifier Fで認識（タスク）を行う
𝑎𝑟𝑔 min
𝜃𝑀,𝜃𝐹
𝔼𝐷𝑠
𝑖~𝒟𝑠
𝔼 𝑥𝑗
𝑖
,𝑦𝑗
𝑖
~𝐷𝑠
𝑖 𝐿𝐶 𝐹 𝑀 𝑥𝑗
𝑖
; 𝜃𝑀 ; 𝜃𝐹 , 𝑦𝑗
𝑖
7

8. 提案手法の詳細
• 提案手法のLoss
– domain-specific classifier学習の段階
𝐿1 = 𝐿𝐶
ℱ𝑠
+ 𝜆1𝐿𝑈
ℱ𝑠
– domain-invariant classifier学習の段階
𝐿2 = 𝐿𝐶
𝐹 𝑀
+ 𝜆2𝐿𝑈
𝑀
+ 𝜆3𝐿𝑅
𝑀
8

9. 提案手法の理論的な分析
• 提案手法の理論的な分析
– 完璧なlabeling function: 𝑓 ∶ 𝒳 → 𝒴
– 実際のfunction(hypothesis): ℎ ∶ 𝒳 → 𝒴
– domain 𝒟おけるℎのリスク: ℛ ℎ = 𝔼𝑥~𝒟 ℒ ℎ 𝑥 − 𝑓 𝑥
– Source domainが複数ある場合は混合分布で表現
• Λ𝑆 = ഥ
𝐷: ഥ
𝐷 ∙ = σ𝑖=1
𝑁
𝜋𝑖 𝐷𝑆
𝑖
∙ , 0 ≤ 𝜋𝑖 ≤ 1, σ𝑖=1
𝑁
𝜋𝑖 = 1
– 既往文献[1]により、Λ𝑆と𝒟𝑡のgeneralization risk boundは
– 𝒟𝑡のupper boundは𝛾, 𝜖に依存
– 提案手法domain specific featureを排除し、 𝐷𝑠
1
, 𝐷𝑠
2
, ⋯ , 𝐷𝑠
𝑁
, 𝒟𝑡から ෡
𝐷𝑠
1
, ෡
𝐷𝑠
2
, ⋯ , ෡
𝐷𝑠
𝑁
, ෡
𝒟𝑡に
mapping
• 𝑑ℋ
෡
𝐷𝑠
𝑖
, ෡
𝐷𝑠
𝑗
≤ 𝐷𝑠
𝑖
, 𝐷𝑠
𝑗
→ source domainの分布に接近し、𝜖が小さくなる
• ෡
𝒟𝑡もsource domainの分布に接近し、𝛾も小さくなる 9
[1] Isabela Albuquerque, João Monteiro, Mohammad Darvishi, Tiago H Falk, and Ioannis Mitliagkas. Generalizing to unseen domains via distribution matching. arXiv preprint arXiv:1911.00804, 2020.

10. 実験設定
• データセット
– PACS: Photo (P), Art Painting (A), Cartoon (C) and Sketch (S)
– VLCS: PASCAL VOC 2007 (V), LabelMe (L), Caltech (C) and Sun (S)
– Office-Home: Art (A), Clipart (C), Product (P), and Real-World (R)
– そのうち、３つをsource domain、1つをtarget domain
• Network:
– Encoder-decoder: U-Net
– Classifier (ImageNet pretrained)
• AlexNet: PACS, VLCS
• ResNet18: PACS and Office-Home
• ResNet50: PACS
• 比較対象：
– domain-invariant based手法、data augmentation based手法、 meta-learning based手法
– Baseline: empirical risk minimization (ERM) 10

11. 実験結果-定量評価
• PACSの検証結果
– Domain: Art painting, Cartoon, Photo, Sketch
– 全体的に評価する場合、提案手法の精度が最も高い
– Domain-specific/invariant情報両方を利用する手法と比較
• Art paintingとPhotoは共通するdomain-specific特徴があり、お互いのdomainの認識にポジティブな効果がある。一方、
Cartoon, Sketchにはネガティブに働く傾向
11
出典: https://deepai.org/publication/domain-generalization-via-gradient-surgery

12. 実験結果-定量評価
• VLCSの検証結果：精度が2nd
• Office-Homeの検証結果：精度が1st
• 提案手法の有効性は確認
12
出典: https://deepai.org/publication/domain-generalization-via-gradient-surgery

13. 実験結果-Domain divergence
• Source domain divergence
– H-divergenceで評価：
• classifier(linearSVM)でsource domainを分類できるかで評価
• Proxy A-distance: 2 1 − 2𝜀 , where 𝜀 = test error
• Baseline: AlexNetの最終層をＳＶＭに入力
• 提案手法：domain-invariant classifierの最終層をＳＶＭに入力
– 提案手法（mapped source domain）はdomain分布を近づけることができた
13

14. 実験結果-Domain divergence
• Source-Target domain divergence
– Λ𝑆と𝒟𝑡のdivergenceで評価
• Λ𝑆 = ഥ
𝐷: ഥ
𝐷 ∙ = σ𝑖=1
𝑁
𝜋𝑖 𝐷𝑆
𝑖
∙ , 0 ≤ 𝜋𝑖 ≤ 1, σ𝑖=1
𝑁
𝜋𝑖 = 1
• 𝜋𝑖は{0, 0.1, 0.2, · · · , 0.9, 1}からrandom samplingして評価
– 提案手法は、source domainとtarget domain間のdivergence
を削減できた
• 提案手法は、source domain間の分布の違い𝛾、
source-target domain間の分布の違い𝜖を削減し、
generalization risk boundを減らすことができた
14

15. まとめ
• 明示的にdomain-specific情報を除外する手法を提案
– ネットワークはdomain-specific classifiers, encoder-decoder network, domain-
invariant classifierで構成
– 2-step形式で学習
• Limitation
– Source domainの数に応じてdomain-specific classifierを用意する必要がある
• novel domain-specific classifierが望ましい
– Target domainのdomain-specific情報を除外できない
• 潜在空間上で実施することが考えられる
15