【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbor Search
•
0 likes•300 views
cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。 http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/
Recommended
Recommended
More Related Content
Recently uploaded
Recently uploaded (11)
Featured
Featured (20)
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbor Search
- 1. Defense Against Adversarial Images using Web-Scale Nearest-Neighbor Search Abhimanyu Dubey, Laurens van der Maaten, Zeki Yalniz, Yixuan Li ( MIT, Facebook AI ) 資料作成: 谷村 朋樹 http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html
- 2. 概要 • 仮説 • Adversarial Examples (AEs)は画像に対して画像集合が成す多様体か ら遠ざけるような摂動を加えたものである • AEsを画像多様体に再射影できれば，強固な防御手法を構築可能 • 提案手法 • 大量の画像集合を画像多様体として扱い，入力画像と類似する画像 をkNNで求め，類似画像の予測結果をもとに分類する • 画像集合の作り方を工夫することでロバストな画像分類システムを 構築できることを示した !2
- 3. Adversarial Examples (AEs) • ロス関数を最大化するように画像に対してノイズ（摂動）を加える ことで，分類器を すように意図的に作られた画像 !3
- 4. • 摂動によって作られるAEsを自然界に作り出すことは難しいことか ら，これらは自然画像集合が成す多様体上には存在しない AEsに対する仮説 !4 自然画像集合が成す多様体 AEsの一つ 自然画像
- 5. AEsを画像多様体上に再射影 • AEsを画像多様体上に再射影してから，分類する • 大規模な画像データベースを自然画像集合が成す多様体と仮定し 入力画像と類似している画像を検索することで，再射影を行う • 類似画像の検索には，画像特徴量空間でk Nearest Neighbor !5
- 6. 分類方法 • 入力画像をResNet50に入力し，conv_5_1*のfeature mapを取得 • Feature mapをspatial average pooling & PCAで256次元の特徴ベクト ルに圧縮 • 特徴ベクトルのユークリッド距離により，画像データベースから類似画 像をK件取得 • 類似画像をResNet50*で分類し，softmaxの加重平均*をとって，最終的 なクラス確率とする !6
- 8. 分類方法 • 入力画像をResNet50に入力し，conv_5_1*のfeature mapを取得 • Feature mapをspatial average pooling & PCAで256次元の特徴ベクト ルに圧縮 • 特徴ベクトルのユークリッド距離により，画像データベースから類似画 像をK件取得 • 類似画像をResNet50*で分類し，softmaxの加重平均*をとって，最終的 なクラス確率とする !8
- 9. 画像データベース • IG-N-* • SNSからhashtagを利用して収集したN件の画像データベース • IG-N-ALL: ランダムにN件収集 • IG-N-Targeted: ImageNetのクラスに似たhashtagが付いているもの • 最大で50 billion • YFCC-100M • 100MのFlickrの画像 • IN-1.3M • ImageNet !9
- 10. 分類方法 • 入力画像をResNet50に入力し，conv_5_1*のfeature mapを取得 • Feature mapをspatial average pooling & PCAで256次元の特徴ベクト ルに圧縮 • 特徴ベクトルのユークリッド距離により，画像データベースから類似画 像をK件取得 • 類似画像をResNet50*で分類し，softmaxの加重平均*をとって，最終的 なクラス確率とする !10
- 11. weightingアルゴリズム 類似画像集合のsoftmaxの加重平均の取り方 • Uniform weighting (UW) • W = 1 / K • Content-based weighting - Entropy (CBW-E) • クラス確率のエントロピーが大きいサンプルを重視 • s = 1000次元のクラス確率 • Content-based weighting - Diversity (CBW-D) • クラス確率の多様性が大きいサンプルを重視 • s^ = 1000次元のクラス確率を降順sortしたもの !11
- 12. 実験 • Black-box setting • Defence: ResNet50 Attack: ResNet18 • Gray-box setting* • Defence側とAttack側で同様のアーキテクチャの分類器を使用 • White-box setting • Attack側がDefence方法の全てを知っている前提 !12
- 13. 実験 • Black-box setting • Defence: ResNet50 Attack: ResNet18 • Gray-box setting* • Defence側とAttack側で同様のアーキテクチャの分類器を使用 • White-box setting • Attack側がDefence方法の全てを知っている前提 !13
- 14. Black- and Gray-box setting • Accuracy • Gray: 46.2% Black: 58.7% • Weighting strategy • CBW-D(iversity)の精度が最も高い • Image database • IG-N-*がImageNetよりも優れている !14 * K=50個の類似画像をResNet50を用いて分類
- 16. kNNに利用する特徴量の選択 • ResNetのどの層を利用して分類するのが効果的かを検証 • 基本的には深い層の方が精度が高い • 浅い層は精度は低いが精度の減少が緩やか • →浅い層は，摂動による影響が小さいため，ロバストに見える 逆に，小さいノイズに対する反応も残っている !16
- 17. 画像データベースのサイズと選定 • データベースのサイズと精度の関係 • サイズは大きければ大きい方がいい • データベース画像の選定 • ImageNetのクラスに似たタグがついた画像に絞った方が精度が高い !17
- 18. 既存のSoTA手法との比較 • 通常の精度とGray-boxにおけるロバスト性では，既存手法を上 回った • Black-box settingでは，Image quilting (画像のPatchごとに近傍探 索を実行する手法）の方が高い精度を示した !18
- 19. 実験 • Black-box setting • Defence: ResNet50 Attack: ResNet18 • Gray-box setting* • Defence側とAttack側で同様のアーキテクチャの分類器を使用 • White-box setting • Attack側がDefence方法の全てを知っている前提 !19
- 20. 攻撃手法 for White-box setting 提案手法に対する攻撃手法の提案 • Nearest-Neighbor Prediction Attack (PGD-PR) • 分類器に対して，摂動を計算し，誤分類させる • • Nearest-Neighbor Feature Space Attack (PGD-FS) • Feature extractorに対して摂動を計算し，類似画像を誤検索させる • !20
- 21. True white-box setting • 特徴抽出器，画像データベース，分類器の全てが攻撃側に知られて いる最悪条件の場合 • 特徴抽出器に対して攻撃する(PGD-FS)が最も強力であった !21
- 22. 実応用の想定 • 防御側の画像データベースが全て，攻撃側に知られるという可能 性は低い • 防御側は自由に画像データベースを変更可能であるため • 以下の2つを検証 • 攻撃側の画像データベースのサイズに関する検証 • 攻撃側と防御側の画像データベースの被り具合に関する検証 !22
- 25. 今後の課題 • kNNに利用する特徴量を浅い特徴量と深い特徴量の組み合わせに する • 今回は深い特徴量を使用したが，浅い特徴量の方がよりロバストで あるため • 特徴抽出器と分類器のネットワーク構造を異なるモデルにする • 本提案手法では，どちらもResNet50 • 効果的な画像データベース構築方法の検討 !25
- 26. まとめ • AEsは自然画像集合が成す多様体上には存在しないという仮説をた て，AEsを同多様体上に再射影する手法を提案 • 既存手法に比べ，多用な設定でロバストな防御手法であることを 示した • 特に，自然画像集合が成す多様体を模倣した大規模画像データ ベースが攻撃側に知られることは考えにくいため，ロバストな画 像分類システムであることも実験で示した !26