Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

“機械学習の説明”の信頼性

第41回IBISML研究会
https://www.ieice.org/ken/program/index.php?mode=program&tgs_regid=fcaa63fc93919d63c192941825025f97dfeb046f102fa4fa2c046abe6dc556ce

【講演タイトル】
“機械学習の説明”の信頼性

【講演概要】
機械学習を実社会で利用する上での課題の一つに「機械学習モデルはブラックボックスで説明ができない」点があげられる。このようなモデルのブラックボックス性の問題を解消するために、ここ数年では機械学習モデルの“説明”の研究が活発になされている。しかし、これらの“説明”そのものの信頼性に課題があることが最近の研究で明らかになってきている。本講演ではこれら“説明”の信頼性に関する最近の研究について紹介する。

  • Inicia sesión para ver los comentarios

“機械学習の説明”の信頼性

  1. 1. 第41回IBISML研究会 原聡 “機械学習の説明”の 信頼性 原 聡 大阪大学 産業科学研究所 1 第41回IBISML研究会, 2020/10/22
  2. 2. 第41回IBISML研究会 原聡 “機械学習の説明” とは ◼ 多くの機械学習モデル𝑓は複雑な計算の塊で、出力の理由 を人間が直感的に理解することができない。 ◼ 説明: 𝑓から+αの(人間が理解できる)情報を取り出す。 2 前置き あなた ◯◯病 なんで? XXの値が 高い XXの値 が高い なる ほど あなた ◯◯病 なんで? ?? よくわか らない …
  3. 3. 第41回IBISML研究会 原聡 “説明”の代表的手法 【注目箇所のハイライト】 ◼ 「モデルが画像のどこに注目したか」を推定して、 説明としてハイライトする方法 3 シマウマの輪郭に注目 して判断してるのか 前置き
  4. 4. 第41回IBISML研究会 原聡 “説明”の代表的手法 【類似データの提示】 ◼ 「テストデータの予測と類似した訓練データ」を推定して、 説明として提示する方法。 4 たしかにテストデータ もタゲリっぽい タゲリ 訓練データ 予測と類似した訓練データの提示 入力 予測 タゲリ 前置き
  5. 5. 第41回IBISML研究会 原聡 【参考】 “機械学習の説明”の資料 5 日本語まとめ資料 • 機械学習における解釈性(私のブックマーク), 人工知能, Vol.33, No.3, 2018. • 説明可能AI(私のブックマーク), 人工知能, Vol.34, No.4, 2019. 前置き
  6. 6. 第41回IBISML研究会 原聡 “機械学習の説明”の研究の変遷 ◼ “機械学習の説明”の 論文数は爆発的に増えた。 ◼ 「注目箇所のハイライト」の研究の変遷 6 黎明期 2014 2016 2018 20202015 2017 2019 説明法の研究の 爆発的増加 説明の攻撃・悪用 Sanity Check [Adebayo+,2018] GuidedBP [Springenberg+,2014] DeepLIFT [Shrikumar+,2017] Grad-CAM [Selvaraju+,2017] ROAR [Hooker+,2019] MoRF/Deletion Metric [Bach+,2015; Vitali+,2018] LeRF/Insertion Metric [Arras+,2017; Vitali+,2018] Sensitivity [Kindermans+,2017] 説明法の評価 Saliency [Simonyan+,2014] IntGrad [Sundararajan+,2017] SHAP [Lundberg+,2017] LIME [Ribeiro+,2016] LRP [Bach+,2015] Fairwashing [Aivodji+,2019] SmoothGrad [Smilkov+,2017] DeepTaylor [Montavon+,2017] Occlusion [Zeiler+,2014] CAM [Zhou+,2016] Manipulation [Domobrowski+,2019] Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI) 説明の信頼性
  7. 7. 第41回IBISML研究会 原聡 “機械学習の説明”の研究の変遷 ◼ “機械学習の説明”の 論文数は爆発的に増えた。 ◼ 「注目箇所のハイライト」の研究の変遷 7 黎明期 2014 2016 2018 20202015 2017 2019 説明法の研究の 爆発的増加 説明の攻撃・悪用 Sanity Check [Adebayo+,2018] GuidedBP [Springenberg+,2014] DeepLIFT [Shrikumar+,2017] Grad-CAM [Selvaraju+,2017] ROAR [Hooker+,2019] MoRF/Deletion Metric [Bach+,2015; Vitali+,2018] LeRF/Insertion Metric [Arras+,2017; Vitali+,2018] Sensitivity [Kindermans+,2017] 説明法の評価 Saliency [Simonyan+,2014] IntGrad [Sundararajan+,2017] SHAP [Lundberg+,2017] LIME [Ribeiro+,2016] LRP [Bach+,2015] Fairwashing [Aivodji+,2019] SmoothGrad [Smilkov+,2017] DeepTaylor [Montavon+,2017] Occlusion [Zeiler+,2014] CAM [Zhou+,2016] Manipulation [Domobrowski+,2019] 説明の信頼性 説明の信頼性に関わる研究が増えてきている。 説明法は“妥当な説明”を返してくれるのか? 説明を悪用されると何が起きるのか? Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI)
  8. 8. 第41回IBISML研究会 原聡 「技術的な信頼性」と「社会的な信頼性」 技術的な信頼性 「説明として妥当か?」 【気になること】 • 説明法は“妥当な説明”を返してくれるのか? 【研究項目例】 • 説明の妥当性をどのように評価するか? 社会的な信頼性 「社会に導入しても問題ないか?」 【気になること】 • 社会に導入した場合に何が起こるか? 【研究項目例】 • 説明法が悪用される可能性は? 8 技術的な信頼性
  9. 9. 第41回IBISML研究会 原聡 説明の妥当性の評価軸:FaithfulnessとPlausibility ◼ Faithfulness(忠実性)[Lakkaraju+’19; Jacovi+’20] • モデルの判断プロセスを忠実に反映した説明になっているか? - ユーザが知りたいのは「モデルがなぜそのような判断を下したか」 • 判断プロセスを反映してない説明はアウト。 - e.g. モデルとは独立な何かを説明として返す説明法は駄目。 ◼ Plausibility(尤もらしさ)[Lage+’19; Strout+’19] • ユーザが見て意味のある説明になっているか? • ユーザが見て「何だこれ?」となる説明はアウト。 - e.g. とてもnoisyな「注目箇所のハイライト」は好ましくない。 ◼ 評価方法の研究 • Sanity Checks for Saliency Maps, NeurIPS’18. • Evaluation Criteria for Instance-based Explanation, arXiv’20. 9 技術的な信頼性 「注目箇所のハイライト」のFaithfulnessの評価 「類似データの提示」のPlausibilityの評価
  10. 10. 第41回IBISML研究会 原聡 「注目箇所のハイライト」の妥当性の評価 ◼ Plausibilityについてはどの手法も最低限は大丈夫そう。 • どのハイライトもシマウマ周辺に注目している。 • Gradient, IntegratedGradはちょっとnosiy。 ◼ Faithfulnessはどうか? → Sanity Checks for Saliency Maps, NeurIPS’18. 10 シマウマの輪郭に注目 して判断してるのか 技術的な信頼性
  11. 11. 第41回IBISML研究会 原聡 問題:Faithfulnessは直接評価できない ◼ Faithfulness(忠実性) • モデルの判断プロセス を忠実に反映した説明になっているか? ◼ 代替案 「必要条件を評価する」 • 必要条件を満たさない説明はアウト。 ◼ Q. Faithfulな説明が満たすべき必要条件は何か? • モデルに依存した情報を説明として返すこと。 - モデルとは関係のない情報を説明として返すのは駄目。 11 未知 → Ground Truthと説明(ハイライト)を比較して定量評価はできない。 注:必要条件を満たしても Faithfulだと断言はできない。 技術的な信頼性
  12. 12. 第41回IBISML研究会 原聡 Faithfulnessの必要条件の評価 Model Parameter Randomization Test ◼ 異なる判断プロセスを持つモデルの説明を比較する。 • Faithfulな説明 → 異なる説明が得られる。 • Faithfulでない説明 → 異なる説明が得られるとは限らない。 ◼ 方法 • 2つのモデルを用意する。 - モデル1:学習したモデル - モデル2:学習してないランダムなモデル - [仮定] モデル1とモデル2は異なる判断プロセスを持つ。 • 複数のテストデータについて、モデル1とモデル2の説明を比較する。 - 「モデル1の説明」と「モデル2の説明」の類似度を測る。 - 多くのテストデータで類似度が低い → Faithfulな説明の必要条件を満たす。 - 多くのテストデータで類似度が高い → Faithfulな説明の必要条件を満たさない。 12 技術的な信頼性
  13. 13. 第41回IBISML研究会 原聡 「注目箇所のハイライト」における Model Parameter Randomization Testの例 ◼ モデル2:出力側から一個ずつ重みをランダム化したNN • Guided Backprop、Guided GradCAMは、モデル1とモデル2とで 説明(ハイライト)にほぼ変化がない。 → これらはFaithfulな説明の必要条件を満たさない悪い手法。 13Sanity Checks for Saliency Maps より引用 モデル1 モデル2 技術的な信頼性
  14. 14. 第41回IBISML研究会 原聡 「類似データの提示」の妥当性の評価 ◼ Faithfulnessの必要条件はModel Randomization Testで 評価できる。 ◼ Plausibilityはどうか? → Evaluation Criteria for Instance-based Explanation, arXiv’20. 14 たしかにテストデータ もタゲリっぽい タゲリ 訓練データ 入力 予測 タゲリ 技術的な信頼性
  15. 15. 第41回IBISML研究会 原聡 「類似データの提示」におけるPlausibility ◼ 例 • 手法Bはユーザが見て「何だこれ?」となりそうな説明。 - 手法AのPlausibility > 手法BのPlausibility 15 訓練データ frog 手法 A 訓練データ truck 手法 B frog 入力 予測 技術的な信頼性
  16. 16. 第41回IBISML研究会 原聡 問題:全人類がPlausibleだと思う説明は存在しない ◼ ユーザによって「何だこれ?」となる基準は異なる。 • 全人類一致でPlausibleだと思う説明は存在しない。 ◼ 代替案 「必要条件を評価する」 • 必要条件を満たさない説明はアウト。 ◼ Q. Plausibleな「類似データの提示」が満たすべき 必要条件は何か? • 予測と同じクラスの訓練データを返すこと。 16 は猫。なぜなら類似した は猫だから。 は猫。なぜなら類似した は犬だから。 Plausibleな説明 Not Plausibleな説明 技術的な信頼性
  17. 17. 第41回IBISML研究会 原聡 「類似データの提示」におけるIdentical Class Testの例 17 入力 内積 最終層 全ての層 入力 Cos 最終層 全ての層 入力 L2距離 最終層 全ての層 影響関数 相対影響関数 フィッシャーカーネル 内積 Cos パラメータ微分の テストデータ中で同じクラスが提示された割合 0 0.5 1.0 0 0.5 1.0 (画像分類) CIFAR10 + CNN (テキスト分類) AGNews + Bi-LSTM パラメータ微分のCos類似度が 100%近い割合で同じクラスの データを提示できた。 技術的な信頼性
  18. 18. 第41回IBISML研究会 原聡 「技術的な信頼性」と「社会的な信頼性」 技術的な信頼性 「説明として妥当か?」 【気になること】 • 説明法は“妥当な説明”を返してくれるのか? 【研究項目例】 • 説明の妥当性をどのように評価するか? 社会的な信頼性 「社会に導入しても問題ないか?」 【気になること】 • 社会に導入した場合に何が起こるか? 【研究項目例】 • 説明法が悪用される可能性は? 18 社会的な信頼性
  19. 19. 第41回IBISML研究会 原聡 社会的な信頼「社会に導入しても問題ないか?」 ◼ Q. 説明が悪用される可能性は? A. ある。説明法を使って嘘をつく人・組織があらわれるかも。 ◼ Q. なぜ嘘をつくのか? A. 嘘をつくと得することがあるから。 ◼ Q. どんなときに嘘をつくと得するのか? A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデルを過剰によく見せて売り込みたい、など。 19 社会的な信頼性
  20. 20. 第41回IBISML研究会 原聡 嘘をついて得する代表例:公平性 ◼ 性別や人種で差別する不公平なモデルは悪いモデル。 • 男性と女性とで基準が異なる学力評価モデル。 • 黒人と白人とで基準が異なるローン審査モデル。 ◼ 大前提:著しく不公平なモデルは使われるべきではない。 ◼ でも、もしも不公平なモデルを使ってるとバレなかったら? • 特定の性別の学生が高い評価を得やすくなる。 - 特定の性別の学生の士気が上がる(かもしれない)。 - 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。 • 特定の人種の人がローンを組みやすくなる。 - 人種間で収入格差がある場合、高収入の人種を優遇した方が 金融機関としてはリスクが下がる。 20 社会的な信頼性
  21. 21. 第41回IBISML研究会 原聡 モデルの公平性に対する嘘の説明 ◼ Fairwashing: the risk of rationalization, ICML’19. ◼ Faking Fairness via Stealthily Biased Sampling, AAAI’20. • 今回はこちらの話 21 社会的な信頼性
  22. 22. 第41回IBISML研究会 原聡 モデルの公平性を説明する方法:スコア化 ◼ モデルの判断の公平性の度合いを定量化 • 公平性の指標や、その計算ツール多数。 - FairML, AI Fairness 360 [Bellamy+’19], Aequitas [Saleiro+’18] 22 AI Fairness 360 社会的な信頼性
  23. 23. 第41回IBISML研究会 原聡 嘘の公平性スコア 23 悪の組織 不公平なモデル サービス の提供 嘘の公平性スコア の提示 このスコアは 嘘のスコア? スコアが適切なデータ・方法で 計算されたのかがわからない。 嘘が見抜けない。 公平性スコアだけの提示は嘘の可能性があるので信頼できない。 社会的な信頼性
  24. 24. 第41回IBISML研究会 原聡 嘘の公平性スコアを避けるために 24 悪の組織 不公平なモデル サービス の提供 ベンチマークデータ の提供 データを出してくれた。 公平そう。 ベンチマークデータ上で公平性 スコアが計算できる。 嘘をつかれる心配はない。 社会的な信頼性
  25. 25. 第41回IBISML研究会 原聡 嘘の公平性スコアを避けるために 25 悪の組織 不公平なモデル サービス の提供 ベンチマークデータ の提供 ベンチマークデータ上で公平性 スコアが計算できる。 嘘をつかれる心配はない。 実はまだ嘘をつく余地がある。 データを出してくれた。 公平そう。 社会的な信頼性
  26. 26. 第41回IBISML研究会 原聡 嘘のベンチマークデータ ◼ 元のデータセット𝐷からサンプリングしたベンチマークデータ𝑆を ユーザに提供する。 ◼ “理想的な”嘘のベンチマークデータ𝑆 • 公平性: 𝑆で計算した公平性スコアは十分に公平。 • ステルス性: 𝑆の分布は𝐷の分布に近い。 26 元のデータセット ベンチマークデータ 公平性 ステルス性 “公平”な分割表 社会的な信頼性
  27. 27. 第41回IBISML研究会 原聡 参照用 データ 適合度検定 嘘のベンチマークデータ ◼ 𝑆の作り方:最適化問題(最小費用流) min 𝑆 𝑊 𝑆, 𝐷 , s. t. 𝐶 𝑆 = 𝐶 𝑇 ◼ 𝑆の性質 • 統計的検定によりベンチマークデータ𝑆が嘘か見抜きたい。 → 分布間距離が小さいと見抜ける確率は小さい。 KS検定で𝑝 𝑆 ≠ 𝑝(𝐷′)が言える確率は 𝑂 𝑆 𝛼 × 27 ステルス性 (分布間距離の最小化) 公平性 (分割表上の制約) 分布間距離 社会的な信頼性
  28. 28. 第41回IBISML研究会 原聡 【実証実験】 嘘のベンチマークデータは見抜けない 28 分割表における正例の割合 分割表における正例の割合 公平性スコア(DP) 分布間距離 COMPAS (再犯予測が白人・黒人で差別的) 分割表における正例の割合 分割表における正例の割合 公平性スコア(DP) 分布間距離 Adult (年収予測が男女で差別的) ランダムサンプリング 嘘サンプリング(既存法) 嘘サンプリング(提案法) ランダムサンプリング 嘘サンプリング(既存法) 嘘サンプリング(提案法) 嘘サンプリングはランダムサンプリ ングよりも公平性スコアが小さい (= 公平なフリができている) 正例の割合を適切に調整すれば、嘘サン プリングはランダムサンプリングと同程度に 分布間距離が小さい(= 嘘がバレない) 社会的な信頼性
  29. 29. 第41回IBISML研究会 原聡 まとめ ◼ “機械学習の説明”の信頼性に注目が集まっている。 • 技術的な信頼性 「説明として妥当か?」 • 社会的な信頼性 「社会に導入して問題ないか?」 ◼ 技術的な信頼性 • 説明法の妥当性の評価をどのように行うか? • どの説明法がどのような評価軸に対して良いか? ◼ 社会的な信頼性 • どのような場合に悪用される恐れがあるか? • 悪用を見抜くことはできるのか? 29 まとめ

×