AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための 要求工学と安全性
•Download as PPTX, PDF•
0 likes•163 views
近年、さまざまなシステムに機械学習が活用されてきています。しかしながら、データから推論機能を構築する帰納的・発見的な機械学習の開発は、従来型プログラムの演繹的な開発とすり合わせることは容易ではありません。本講演では、機械学習を利用したAIシステムの開発する際に考慮すべき機械学習特有の要求と、その開発プロジェクトをマネジメントする際に留意すべき機械学習特有の課題やリスクについて解説します。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための 要求工学と安全性
Similar to AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための 要求工学と安全性 (20)
More from Nobukazu Yoshioka
More from Nobukazu Yoshioka (10)
AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための 要求工学と安全性
- 2. 機械学習工学 要求工学に関するトピック 機械学習応用システムのための要求工学 公平性、プライバシー 説明可能性、透明性 ドメインドリフト 安全性担保の難しさ セーフティとセキュリティ データセットの品質 2
- 3. 機械学習応用システムの要求分析、安全性 の難しさ 機械学習への期待が大きい どんな振る舞いでも自動導出できる？？ 訓練データセットが十分にないと正確な判断ができない そもそもどこまでできるのか、やりたいか、判断していいのかが不明 実現可能性の予測の難しさ 動作環境、対応範囲の不確実性がある難しさ AIシステムとしての新たな要求への対応 公平性、プライバシー、低い説明可能性の考慮 実現・保証可能な安全性を見極めるのが難しい 機械学習特有の脆弱性 ハザード分析の難しさ 品質がデータセットに大きく依存 データセットの品質担保の難しさ 3
- 4. 機械学習応用システムの要求工学 要求の抽出 要求の規定 妥当性の確認 （規定時の確認、実行時の確認） 実現したいこと （要求）の集合 コンピュータで実現 できることの集合 妥当な要求 の集合 実現できない要求 機械学習応用システムの特徴 • どこまでできるかが明確になっていない • できることが急速に多くなっている 無意味なシステム この領域を要求としてしまうリスクを できるだけ早期に軽減したい ⇒ 事前実験、ステージゲート 4 概念検証による 実現性の確認 と要求の修正
- 6. ソフトウェアの要求と 機械学習特有の要求 【要求を規定する目的】 構築すべきソフトウェアは何かを規定する 適切なソフトウェアを構築・運用するために必要な情報を明記する 【要求に含まれる項目】 開発プロジェクトに対する要求 プロジェクトの制約 目的、利害関係者、利用者 前提、辞書 システム上の制約 プロジェクト上の課題 プロジェクト推進の課題、リスクコストなど システムに対する要求 機能要求 スコープ 機能、データの要求 非機能要求 ユーザビリティ、パフォーマンス、運用要求、メンテナンス性、セキュリティ、文化・政治的な要求、法律上の要求 機械学習エンジニア、AI倫理・公平性の専門家、 ラベル付けする問題領域の専門家など 機械学習に関する制約:GPU/TPUの必要性など 倫理・公平性要求、説明可能性や頑健性の考慮、ド リフトへの考慮など 機械学習で用いるデータセットの要求など 6
- 7. AIシステムと 機械学習の要求 ビジネス 要求 AIシステムの 要求 機械学習機能 の要求仕様 • 推論機能の要求 • 推論機能のタスク • 入力の特徴・範囲 • 推論機能とデータの品質要求 • 外部品質： 正確性、 安全性、公平性 • 内部品質： • 推論機能：頑健性、性能維持性 • データセット：網羅性、均一性、 ラベルの正確性・妥当性 • サービスの機能要求、説明可能性 • 品質要求：安全性・リスク回避性、有効性、 プライバシー、公平性など • 問題領域の定義 • 品質のモニタリング要求 関連する品質 プログラムの信頼度 問題領域（入力）分析の十分性 と網羅性 実現 依存 機械学習品質マネジメントガイドライン 第2版[8]を参考に作成 実現可能な要求を規 定することが困難 十分性と網羅性の担保 が困難 目的・目標・KPI(重要業績評価指標,Key Performance Indicator) ソフト ウェア 人 デバ イス 他シス テム データ テストデータセット、訓練データ セットのあるべき特徴を規定する WHY? WHAT? WHO? 7
- 8. 品質に関する要求とその実現 AIサービスの要求 訓練済みモデルの 要求仕様 機械学習の開発 への要求仕様 8 機械学習品質マネジメントガイドライン 第３版 . 産業技術総合研究所 人工知能研 究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
- 9. AIシステムの要求例： 製品欠陥検知システム AIサービスの機能要求 欠陥製品の検知 検知したい欠陥の定義：深さが深いキズ、大きい残油 範囲・前提状況 特定の部品で想定するラインで起こり得る欠陥の発見 今後、他のライン・部品の欠陥検知に展開したい 説明可能性 正解率が低くなった場合の解析にあると望ましい 品質要求：安全性・リスク回避性、有効性、プライバシー、公平性など パフォーマンスの指標：検査コスト削減（２名体制から１名体制に削減） 、人の確認作業と同様の精度 安全性：特に考慮なし 有効性：ラインが動いている間 プライバシ・公平性： 特に考慮なし 機密性：欠陥データは機密情報、クラウドで処理できない 問題領域の定義 利用可能なデータ：工場で撮影されたカメラ映像（システムの一部） データ収集の制約・リスク： 状況の列挙（対応すべき範囲） 考慮すべき欠陥の種類：傷、残油 欠陥と紛らわしい状況：影 欠陥とわかりにくい状況：凹凸部分の傷 欠陥の数：3,000個に１個程度 考慮すべき外乱：照明が変化する バイアスの可能性 ラインにより欠陥の種類・数が異なる カメラの性能、工場の照明により見え方が異なる 状況の判断：正解の定義方法 検査員が発見した欠陥部品の写真を正解データとする 正解データを作る人：検査員（現場の人） 性能・前提条件のモニタリング要求 コンセプトドリフト： 製造機器・ラインが変わると新たな傷の種類が増え る データドリフト：製造機器・ラインが変わると傷の種類・分散が変化する 、半年に一回定期点検と機器の調整 モニタリング：データドリフト・コンセプトドリフトの検知 欠陥の発見率の低下 検知の正解率：検査員のチェック結果と比較 利用可能なリソース 開発時（訓練時）の計算リソース：GPU、ストレージ、パーソナル用途の GPU 運用時（推論時）の計算リソース：安価なカメラで撮影、ミリオーダーで 推論、工場のWGで推論 すべての要求がトップダウンに決まるわけではない！ ライフサイクルを通じた要求の詳細化・更新が必要 ドメイン知識が必要 運用時に変化 9
- 11. ＡＩシステムの要求に関する ベストプラクティス（１／２） 従来にない機械学習応用システム特有の要求 公平性、コンプライアンス、倫理への考慮が必要 差別やデータのバイアスについて考慮する 説明可能性の低さへの対応 利用者の観点で説明可能性の要求を抽出する データドリフト・コンセプトドリフトへの対応 リリース後の精度が想定ほどでない、時間がたつにつれ精度が低下することを考慮する必要あり データドリフト：入力データの分散・平均が変化する。例）スリ傷の不良品が多くなる コンセプトドリフト：入力の意味付けが変化する。例）不良品の判断基準が変わる 実現可能性の不確実性への対応 事前実験（概念実証：POC）が必要 ビジネス・システム要求との関係 推論時間・スループットの制約を明確にする ビジネス目標と推論・予測の性能の関係を明確にする 必ずしも性能と目標は比例しない 機械学習を使った場合の効果を測定する A/Bテストが行える場合 11
- 12. ＡＩシステムの要求に関する ベストプラクティス（２／２） データへの要求管理 データの可視化が重要 データの量と品質について検討する データを増やすために利用できるデータを検討する データの十分性（網羅性）、一貫性、正しさについて考慮する データの識別と要求が重要 データの収集、形式、値の範囲 データの出どころ・素性を理解することが重要 データ拡張の可能性を検討する データの収集・利用時に対する取り扱いに注意する 個人情報・GDPR・ライセンスなどへの考慮 その他 ドメイン知識が重要 要求エンジニア、データサイエンティスト、法律者の参加が必要 参考文献： 1. Bernardi, L., Mavridis, T., & Estevez, P. (2019). 150 successful machine learning models: 6 lessons learned at Booking.com. In Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1743–1751). 2. Vogelsang, A., & Borg, M. (2019). Requirements engineering for machine learning: Perspectives from data scientists. In Proceedings - 2019 IEEE 27th International Requirements Engineering Conference Workshops, REW 2019 (pp. 245–251). IEEE. 3. Wan, Z., Xia, X., Lo, D., & Murphy, G. C. (2019). How does Machine Learning Change Software Development Practices? IEEE Transactions on Software Engineering, 1–14. 4. Amershi, S., Begel, A., Bird, C., Deline, R., Gall, H., Kamar, E., … Zimmermann, T. (2019). Software Engineering for Machine Learning: A Case Study. 41st ACM/IEEE International Conference on Software Engineering (ICSE 2019). 12
- 15. 機械学習応用システム特有の要求 公平性とバイアス 人の判断をソフトウェアで置き換える際の問題 説明可能性、透明性 訓練済みモデルの説明性・透明性が低いことに起因する考慮 プライバシー データ収集に関するプライバシー要求 システムに関するプライバシー要求 データドリフト・コンセプトドリフトへの対応 安全性 訓練済みモデルの頑健性（ロバスト性） 理想とやや異なっていても同様に推論できる 外れ値・欠損値、外部環境の違い、センサー性能の違い どのような変化が起こりうるかの定義 推論性能の評価基準・誤認識に関するリスク ハザードが起こるまれな状況とその回避に必要な精度 機械学習のセキュリティ脆弱性への考慮 データに対する要求 安全性担保に必要なデータ 15
- 16. 公平性に関する要求 16 機械学習品質マネジメントガイドライン 第３版 . 産業技術総合研究所 人工知能研 究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
- 18. 雇用時の人種差別 アマゾンの採用AIツール、女性差別でシャットダウン アマゾンは、採用AIツールの開発に取り組んでいた。だが、AIツールは女性 に対する偏見を示したとロイターは伝えた。 エンジニアは、AIが女性に対して好意的ではない評価を行ったのは、採用す べき人材の学習に使用した履歴書の大半が男性の履歴書だったことが原因と 突き止めた。 だが、修正がうまくいかず、同社は2017年初めにこのプロジェクトを中止 したようだ。 https://www.businessinsider.jp/post-177193 18
- 19. 公平性が問題となる例 チャットボット・スマートスピーカが差別的な発言をする 女性が雇用・採用されくくなる 画像認識で、女性の医者が看護婦に分類されてしまう 自動翻訳で、男女の性別が自動判定される 医者は男性として、看護婦は女性として翻訳される 特定人種・地域・特定地域由来の名前の人が 累犯リスクが高く計算される 犯罪に関する情報・広告が表示される確率が高くなる ローンの与信が通りにくくなる 保険料が高く計算される 現在のgoogleの自動翻訳は、男性、女性の２パターンを出力 19
- 20. 機械学習における 公平性とは？ 推論結果により差別（不平等）を生む可能性を排除・軽減する要求 公平性の種類： 集団公平性：人種などのセンシティブ属性によるグループ間で判断に差異が ない 男性が採用されやすい、有色人種の再犯リスク予測が高い 個人公平性：人種などのセンシティブ属性以外が似ている個人間で差異がな い 性別・名前が異なるだけで採用されるかどうかが変化する 法的な要求 公平性の法的概念 機会の平等：手続きの公平性 結果の平等：配分の公正 人種，肌の色，宗教，性別，出身国による雇用差別の禁止 男女雇用機会均等法 職場における男女差別の禁止 GDPR: 20 留意点 雇用に関するサービス・個人情報を扱うサービスは、 公平性を考慮する必要がある 差別の原因となるセンシティブな情報から判断・予測 ・推薦するサービスも公平性がリスクにならないか分 析する必要がある • 肌の色などDNNが自動的に特徴量として抽出、 判断に利用する場合がある
- 21. AIシステム 公平性に関する要求 公平性の評価指標 集団公平性† Equalized Odds: P(𝑌=1∣A=0,Y=y)=P(𝑌 =1∣A=1,Y=y), 𝑌:推論結果, Y:真の値 センシティブ属性(A)によらず、True PositiveとFalse Positive率が等しい Demographic Parity: P(𝑌 ∣A=0)=P(𝑌 ∣A=1) センシティブ属性(A)によらず、同じ予測分布 Equal Opportunity: P(𝑌 =1∣A=0,Y=1)=P(𝑌 =1∣A=1,Y=1) センシティブ属性(A)によらず、True Positive率が等しい。（FP率は問わない） 個人公平性の評価指標： 認識を通した公平（Fairness Through Awareness）など ※公平性指標を考慮した訓練ライブラリ: Fairlearnがある。 公平性の観点で保護されるべき属性 個人・集団に関するセンシティブ情報 例）性別、年齢、国籍、人種、肌の色、マイノリティ、信仰、経歴（病歴、犯罪歴） 社会や時代によって考慮すべき範囲が異なる 法令・規則・社会的に合意されたセンシティブ情報 不公平・差別のリスク要因 バイアス センシティブ情報を持つ集団・個人のバイアス 不公平・差別的な推論・予測規則 † 公平性に配慮した機械学習, https://engineering.mercari.com/blog/entry/20211217-3286689d87/ 21
- 22. 法律で定められたセンシティブ情報の例 男女雇用機会均等法 性別、思想、信条および宗教、人種、民族、門地、本籍地、身体・精神障 害、犯罪歴など 米国の公正住宅法（FHA） 人種、肌の色、国籍、宗教、性別、家計の地位、障害の有無 米国のクレジットカード差別撤廃法（ECOA） 人種、肌の色、国籍、宗教、性別、既婚かどうか、公的補助の有無、年齢 22
- 23. 公平性が保てない原因（リスク要因）は バイアス 収集したデータに 偏り（バイアス）がある ラベルの付け方に 偏り（バイアス）がある 少数グループ（マイノリティ） を無視した学習アルゴリズム 差別を含んでいる データへの要求 訓練済みモデルへの要求 • センシティブ属性の考慮 • バイアスの考慮、排除 センシティブ属性を 特徴量とする センシティブ属性を 使った推論 • どのような公平性を満たすべきか？ • 公平性の評価指標 サンプリングバイアス 学習バイアス ラベリングバイアス 23
- 25. 参考情報 AI論理影響評価 手順書、富士通、2022年2月22日 システム図からAI倫理リスクの要因を分析 チャットボット、採用AI、再犯リスク予測など７つの適用事例 https://www.fujitsu.com/jp/about/research/technology/aiethics/ AIサービスとリスクコーディネーション研究会（東京大学） １１のケース事例 https://ifi.u-tokyo.ac.jp/projects/ai-service-and-risk- coordination/overview/ 機械学習工学研究会 AI倫理と公平性ＷＧ https://sites.google.com/view/sig-mlse/wg 25
- 26. 参考：公平性以外のAIシステムへの倫理的な要求 尊厳・自立の原則 他社の尊厳と自律の尊重 AIによる意思決定・感情の操作等への留意 AIと人間の脳・身体を連携する際の生命倫理等の議論の参照 AIを利用したプロファイリングを行う場合における不利益への配慮 透明性の原則 説明可能性の確保 倫理の専門家とともにAIシステムの要求を抽出 欧州では働き方を直接指導・評価するAIシステムはN.G. 管理者の指導を補助するAIシステムはOK！ 26
- 28. 想定と実際とのギャップを生むリスク要因 28 開発時 運用時 状況やシナリオ の規定 概念定義 センサーデータ センサーの チャネル 部分的な意味 （事例） 訓練とテスト データへの ラベリング 要因１ 要因 ２ 要因 ３ 要因 ４ 要因 ５ 状況やシナリオ の規定 概念定義 センサーデータ センサーの チャネル 認知結果 推論 推論結果 要因 １ 要因 ２ 要因 ３ 要因 ４ ドリフト 訓練済み モデル 要因 ７ 要因 ６ モデルの選択、 訓練とテスト Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445.
- 29. 実行環境に関する要求：ドメインの把握 コンセプトドリフト・データドリフトの例 自然言語、会話の変化 スパムメールの変化 人の好みの変化 需要の予測要因の変化 ドメイン分析 コンセプトドリフトの変化要因の整理 コンセプトドリフトの変化速度 変化に対する対応速度 ⇒ 運用時のモニタリング・対応に対する要求 機械学習による影響 29
- 30. コンセプトドリフト対策 1. Forgetting 定期的に学習し、訓練済みモデルをアップデート 2. Detectors ドメインドリフトを検出し、再学習 3. Dynamic Ensemble 複数のモデルを合成したアンサンブルモデルの重みを動的に調整 4. Contextual 複数の訓練済みモデルを状況により切り替え ⇒ ドメインの特徴によって適切な運用方法を選択 引用：https://recruit.gmo.jp/engineer/jisedai/blog/concept-drift-detection-and-handling/ 30
- 31. 安全性に関する要求 31
- 32. 安全性に関する要求 32 機械学習品質マネジメントガイドライン 第３版 . 産業技術総合研究所 人工知能研 究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
- 33. DNNだと何が難しいのか？（再掲） 対象世界の広がり：実行環境・状況の複雑さ、不確かさ 実現に関する難しさ： 1. DNNで訓練されたモデルの複雑さ、意味付けの難しさ 2. 訓練済みモデルの制御した変更の難しさ 3. DNN特有の脆弱性 複雑なルールの組み合わせを自動で導出 どのような対象世界か不明、可能性が膨大 やってほしいこと （仕様） 自動運転システム DNN DNNの脆弱性に 起因したリスク 実行環境・状況に 起因したリスク 33
- 34. 想定するユース ケース 現実世界 ① 現実世界からモデル化 対象データの検出 ユースケース やパターンの 網羅 （環境、地域 など） 入力データ ② 抽出データからモデル入 力用に加工・クレンジング 前処理 訓練 無数のユース ケース 観測対象の 母集団 機械学習 ドメイン知識 母集団はどのような特徴をもってい るか？バリエーションがあるか？ データの収集・加工のためにドメイン分析が必要 収集・加工 AIプロダクト品質保証コンソーシアム. (2022). AIプロダクト品質保証ガイドライン 2022.07版. をもと https://www.qa4ai.jp/download/ AIシステムの ドメイン分析と要求の抽出 34
- 35. 実行環境・状況の複雑さ、不確かさ （再掲） 35 開発時 運用時 状況やシナリオ の規定 概念定義 センサーデータ センサーの チャネル 部分的な意味 （事例） 訓練とテスト データへの ラベリング 要因１ 要因 ３ 要因 ４ 要因 ５ 状況やシナリオ の規定 概念定義 センサーデータ センサーの チャネル 認知結果 推論 推論結果 要因 １ 要因 ２ 要因 ３ 要因 ４ ドリフト 訓練済み モデル 要因 ７ 要因 ６ モデルの選択、 訓練とテスト Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 要因 ２
- 36. 実行環境・状況の複雑さ、不確かさ （再掲） 36 開発時 運用時 状況やシナリオ の規定 概念定義 センサーデータ センサーの チャネル 部分的な意味 （事例） 訓練とテスト データへの ラベリング 要因１ 要因 ３ 要因 ４ 要因 ５ 状況やシナリオ の規定 概念定義 センサーデータ センサーの チャネル 認知結果 推論 推論結果 要因 １ 要因 ２ 要因 ３ 要因 ４ ドリフト 訓練済み モデル 要因 ７ 要因 ６ モデルの選択、 訓練とテスト Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 要因 ２
- 37. AIソフトウェアの開発と セーフティの課題 訓練パイプラインの構築 AIシステ ムの要求 AIシステ ムの設計 AIシステ ムの実装 単体検査 結合検査 受け入れ 検査 運用 AIサービ スの企画 推論パイプラインの構築 とデプロイ 機械学習コンポーネントの構築 機械学習 の要求 データ収集・ 整理・加工 訓練 推論結果 分析 システムの改善 実現可能性検証 (PoC) ＡＩシステムのライフサイクル 機械学習のライフサイクル 機械学習の改善 組み込み 保証範囲が不明 確 要件 重要な場面での動作を担保できない 原因分析と対策ができない 修正時 学習データの妥当性が不 明 学習データが不 学習データの収集コストが 学習データ収集 時 モデルのアップ デート 不要動作を保証できな い 安全な停止を保証でき ない 製品確認時 テストの妥当性が不明 セキュリティを担保で きない 保証のコストが大き い 37
- 38. 機械学習システム（特に自動運転）における重要課題 保証範囲が不明確 要件定義 現状の難しさ ODD （運行設計領域）を明確にしたいが、扱う 環境のバリエーションが多すぎて条件を明確にで きない。 ① （DNNの複雑性）DNN （ディープニューラ ルネットワーク）でどこまで扱えるのかが明 確にならないため、保証できる範囲を決定で きない。 ② （環境の複雑性）まれなケースや入力のヴァ リエーションが多すぎて考慮すべき範囲を整 理できない。 実現したい機能 ① ディープラーニングを用いた場合の安全 性保証 ② どのような特徴を見て判断しているか、 意図しない特徴で判断していないかを明 確に説明できる ③ リスクが高くなることがあるかを検証す C：安全性保証範囲は現状、明確に できないのでこれを定義する技術が いる。 Q:明確にしたい範囲とは？ A：技術的に保証範囲にいるのかい ないのかをあらわすDNNの場合の 保証範囲の定義方法をだすべき。 Q: DNNを使わずに実現しようとし ているときは簡単か？コンベンショ ナルなソナーで距離を測る場合はで きると思うがなぜDNNではできな いのか？ A：DNN固有の問題ではない、外部 環境が複雑で高機能を実現するから。 ただアルゴリズム、ブラックボック スの課題があるのでDNNを使うと 難しいという問題もある。 夜間の暗 さで人を 認識しな い 38
- 40. 頑健性（ロバストネス）への要求 ロバストネスとは？ 入力が想定と少しぐらい変わっても想定と同様の判断をする 訓練済みモデルへのロバストネス要求 ノイズや外乱に対する影響が少ない推論 気象条件、照明条件、センサーノイズの多少の変化に対しても想定と同じ判断をさせて ほしい どのようなノイズ・外乱が起こりうるべきかを整理する ロバストネスを高めるための訓練データ ロバストネスを確認するためのテストデータ 40
- 41. 機械学習システム（特に自動運転）における重要課題 訓練データ・テストデータの 妥当性が不明 具体的には？ 訓練データ 収集 現状の難しさ ①訓練データの妥当性がわからない ・安全性を担保できる訓練ができるかわからない ←事故がつながるシーンの学習 ・信頼性を担保できる訓練ができるかわからない ←起こりうるバリエーションへの対応 ②テストデータの妥当性がわからない ・事故につながるシーンをテストできているのか、 起こりうるバリエーションをテストできているの かわからない。 C:安全性観点での訓練データがないと いけない。 • どういうデータをくわせれば意図し たことになるのかわからない。 • 不具合データもバリエーションがな い、数も集められないので困ってい る。 • シュミレーションはトライとしては やっているが微妙なところ。 実現したい機能 ① 訓練データ・テストデータの必要十分性を 把握する ② 訓練データ・テストデータと実際の運用 データとの整合性を把握する ③ テストデータと訓練データのバイアスを把 握する 自転車を 認識せず →学習デー タが起こり うるバリ エーション に対処でき ていない？ 41
- 42. 訓練データの妥当性の具体的観点 ・ 製品のユースケースを反映したデー タになっているか？ 例）夜間での歩行者認識 ・ 歩行者や自動車など狙った認識対象 に対するラベルの量は十分か？ ・収集因子は十分に網羅的か？ 例）天候、時間、地域、歩行者の特徴、車両との距離など ・ データ分布の致命的な偏りはない か？ 例）大人は十分収集したが子供がほとんど収集されていない等 ・ バウンディングボックスやセグメン テーションなどラベルの精度は十分か？ 例）雨天時の傘をさした歩行者に対するバウンディングボック 42
- 43. 機械学習システム（特に自動運転）における重要課題 原因分析と対策ができない 具体的コメント 修正・ 対策時 現状の難しさ DNNはどのような特徴量を捉えているかわから ないので分析できない ① 以下のような状況の課題が発見できてもその 理由や対策方針が定まらない。 • 影を歩行者だと誤認識する • 逆光で認識率が下がる • 交差点での対向車等の認識が不完全 実現したい機能 ① 原因分析のガイドライン ② 対策のガイドライン ③ 自動原因分析 ④ 自動対策 Q:不具合対策用のデータを増やすのは 難しいか？ A:無理なシーンもあり、結構難しい。 例えばデータのために子供をひくこと は絶対にできないので、ダミー人形を つくる映像、画像をつくるなどで対処 している。 Q:5年後のセンサーに新しいセンサーを 足すなどセンサーの後付け対策は検討 しているか？ A：カメラ以外を足すが、コストの問題 あり。 〇 ✗ 原因不明の未認識 43
- 44. 原因不明の未認識 44
- 46. 機械学習システム（特に自動運転）における重要課題４． 重要な場面での動作を 担保できない 具体的には？ 現状の難しさ クリティカルな（重要な）シーンの認識を保証できな い。新たな訓練データで（うまくいっていたシーン の） 認識率が下がり事故につながる可能性がある。 ① 以下のような状況の課題が発見できてもそれら一度 に修正できない。 • 影を歩行者だと誤認識する • 逆光で認識率が下がり、人を未認識する • 交差点での対向車等の認識が不完全 実現したい機能 ① ハザードが起こる重要なシーン（ラベル）の認識率 を保証する学習 ② 特定のラベルの認識率と全体性能をバランスさせる 学習 ③ リスクが高くなるシーンを見つけ出すリスク分析 Q:制御の部分でもIＦ文を重ね認識するよう にするのはどうか？ Ａ：認識系はこれからどんどんふえていくの で機械学習に頼らざるを得ない。 ハイブリッドで使ってはいる。課題設定とし ては、安易にルールベースに頼ると、機械学 習の流れと逆行する。 Ｃ：ＩＦ文を使わない部分はルールベース。 ＤＮＮを訓練させるというのが重要になる。 データに関して、シュミレーションとか、Ｃ Ｇではまだ研究開発段階。 修正・ 対策時 46 目の前の歩行者を 認識できない 46
- 47. 赤いスカートの女性の認識 47
- 49. 機械学習システム（特に自動運転）における重要課題 不要作動を保証できない 具体的には？ 製品確認 現状の難しさ 不要作動（動いてはいけないときに動いてしま う）を回避できることを保証できない 例）前に障害物がない状況でブレーキをか けてしまうなど ① 製品保証の範囲で仕様通りの作動をするかを 確認できない 実現したい機能 ① 不要作動しないことを保証する設計検証 ② 不要作動するかどうか確認するハザード分析 Ｃ：デｨープラーニングの特徴的なと ころだが、部分的テストができないの で制御のディープトレーニングテスト に工数がかかる。バックボーンを共有 している限り、全部評価するのは変わ らないのでいかに低コストで評価する かは課題である。不要作動しないこと を保証したい。 Ｃ：ルールベースで従来のソナーだけ を使って動かすこともできるはず。 Ｃ：モデル修正したいが、識別改善し てくれない。 1台の車をCARとTruckと認識してい て不要作動の可能性あり。（Truckは 車間距離をとるため急ブレーキをかけ る） 49
- 52. 機械学習システム（特に自動運転）におけるその他の課題 セキュリティを担保できない 製品確認 現状の難しさ （セキュリティへの対応）悪意を持ったユーザへの 対応（セキュリティ攻撃による制御のっとり、画像 の誤認識、学習データの改ざん等） 実現したい機能 １．攻撃に対する対処の作りこみ ２．脅威分析 ３．非安全な制御の洗い出し ４．データの安全性検証 保証のコストが大きい 製品確認 現状の難しさ 安全性・信頼性の検証・テストのコストが大きい ・非常に多くのケースを考慮する必要がある システムを変更したときの安全性・信頼性の再検 証・再テストのコストが大きい（システムを変更し たら何万キロものテストをやり直す必要がある） 実現したい機能 1. 効率の良い検証・テスト方法 2. 効率の良い再検証・回帰テスト方法 3. 差分学習の品質確保ができる 安全な停止を保証できない 製品確認 現状の難しさ ・保証範囲内でシステムが安全に停止させられるこ とを保証できない例）・危険な状況になりそうに なった場合：物体に衝突しそうになったとき ・保証範囲外に入った時：突然の大雨で自動運転機 能の動作を継続できなくなった場合 実現したい機能 １．安全側に倒した動作保証 （安全な場所への自動退避） →自動退避アプリが必ず成功することを保 証？ ２．特定の状況下での安全性の担保 52
- 53. 機械学習システム（特に自動運転）におけるその他の課題 学習データが不足 学習データ収集 現状の難しさ (学習のためのデータ量が不十分) 訓練データを収集ができない ・ＧＤＰＲ等：プライバシー保護法の厳格化により 訓練データをEUから持ち出せない（訓練済みモデルで あればOK） 実現したい機能 プライバシー保護や規制（ＧＤＰＲ等） で保護されたデータを，保護や規制を守 りながらモデル構築に利用する． 学習データの収集コストが大きい 学習データ収集 現状の難しさ 信頼性を保証するために大量の訓練データ・テスト データを必要とする ・事故につながる稀な状況のテストデータのバリ エーションを収集できない。（リアルでは再現しに くい。シミュレーションではテストの有用性が不明 確） 実現したい機能 1. 効率の良い学習 2. 効率的なアノテーション・訓練デー タ生成 3. 少ない訓練データでの学習 4. 学習済みモデルの再利用 5. 知識を組み合わせた訓練アルゴリズ ム モデルのアップデート 運用時 現状の難しさ 学習モデルを運用時に変更する際に、変更のタイム ラグの発生時に旧モデル・システム全体の保証が難 しい 実現したい機能 安全・ロバストに学習モデルをアップ デートできる。 53
- 54. 重要性と短期/長期的課題一覧表 工程 課題 重要度 短期/中期 要件定義 １．保証範囲が不明確 ５ 短期 学習データ収 集 ２．テスト/学習データの妥当性が不明 ５ 短期 修正・対策時 ３．原因分析と対策ができない ５ 短期 修正・対策時 ４．重要な場面での動作を担保できない ５ 短期 製品確認 ５．不要作動を保証できない ５ 短期 製品確認 ６．セキュリティを担保できない ２ 中期 製品確認 ７．保証のコストが大きい ３ 中期 製品確認 ８．安全な停止を保証できない ３ 中期 学習データ収 集 ９．学習データが不足 ３ 中期 学習データ収 集 １０．学習データの収集コストが大きい ３ 中期 運用時 １１．モデルのアップデート ２ 中期 54
- 55. センサーハードウェアとの違い センサーは物理現象を利用した単機能なものが多く、性能に影響する要素（光・ 電波などの物理現象）を特定可能（分析しやすい） ハードウェアの性能限界はその要素と線形な関数モデルによって表現可能 性能限界を見極めやすい DNNは、膨大な特徴から複雑な場合分けにより判断しており、性能限界は単純に 求まらない 55
- 56. 機械学習に関するセキュリティ 敵対的標本（Adversarial Example、Evasion） 入力にノイズを入れ、意図的に誤判断 データ有毒化（Poisoning） 特定の入力時に誤動作させるバックドア 訓練データ推測（Inversion） プライバシー情報、個人情報を推測 訓練済みモデル奪取（Extraction） パラメータを盗み、モデルを不当に再利用 56
- 57. 機械学習の脆弱性： Adversarial Examples (敵対的標本) Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 Carlini, N., & Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. Proceedings - IEEE Symposium on Security and Privacy, 39–57. 57
- 58. 特定の特徴をもたせた敵対的標本 Sharif, M., Bhagavatula, S., Bauer, L., & Reiter, M. K. (2019). A general framework for adversarial examples with objectives. ACM Transactions on Privacy and Security, 22(3). https://doi.org/10.1145/3317611 Xu, K., Zhang, G., Liu, S., Fan, Q., Sun, M., Chen, H., … Lin, X. (2020). Adversarial T- Shirt! Evading Person Detectors in a Physical World. arXiv. https://doi.org/10.1007/978-3-030- 58558-7_39 58
- 59. 敵対的標本（攻撃）の発見 オリジナル画像 STOPの標識と判断する入力領域 速度制限の標識と判断する入力領域 少しの書き換えで判断が 変わる変更を探索 Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 59
- 61. セキュリティ担保の難しさ 対象世界の広がり： ビックデータの活用、膨大なデータのバリエーション（実行環境・状況の複雑さ、不確 かさ） データ管理が困難 書き換えのバリエーションが豊富 妥当な訓練データセットの把握が困難 故意の書き換えを検知しにくい DNNで訓練されたモデルの複雑さ： 容易に判断を変更する入力（敵対的標本）を作ることができる 判断の境界が不明：脆弱性を容易に発見できない、容易に取り除けない 61
- 62. 機械学習システムセキュリティガイドライン, 機械学習工学研究会, https://sites.google.com/view/sig-mlse/発行文献 影響分析 脅威分析 リスク評価 対策 保護資産の種類 脅威の種類 機械学習への 攻撃の種類 機械学習システム が扱う資産 機械学習 モデル 訓練データ 訓練データの 搾取 モデルの搾取 モデル・シス テムの誤動作 回避攻撃 対策の種類 ポイズニン グ攻撃 モデル抽出 攻撃 モデルインバ ージョン攻撃 メンバー シップ攻撃 検知 調査 応急対策 （制限・停止、 緩和など） 恒久対策 （敵対的訓練、デ ータ除去など） 受け入れない大 きさのリスク 受け入れられる 程度のリスク 機械学習システムの セキュリティリスク分析 62
- 63. 攻撃者が知り得る情報・可能な操作と攻撃 推論パイプライン 推論結果の入出力・信頼度 正解の信頼度を下げ、意図したラベルの信頼度を上げる入力を発見する 訓練済みモデルのアーキテクチャ 同じアーキテクチャの敵対的標本を利用 訓練済みモデルのパラメータ オフラインで敵対的標本を検索 オフラインで訓練データを推測 訓練パイプライン 訓練データの追加、書き換え 特定の入力に対して誤動作させるバックドアを埋め込む 攻撃 敵対的標本 63
- 64. 様々な種類の脅威が研究されている 特定のラベルに推論させる データセット全体に有効な書き換え 複数のDNNに有効な書き換え 十分小さい書き換えを計算 人間にとって同じに見える書き換え Yuan, X., He, P., Zhu, Q., & Li, X. (2019). Adversarial Examples: Attacks and Defenses for Deep Learning. IEEE Transactions on Neural Networks and Learning Systems, 30(9), 2805–2824. 検知させなくする 間違った検知 64
- 65. 敵対的標本への対策 訓練の工夫 敵対的標本で訓練 さまざまな敵対的標本を生成 起こりうる敵対的標本を優先的に発見 ロバストネスを担保した訓練済みモデルの構築 入力が想定と少しぐらい変わっても想定と同様の判断をする 訓練済みモデルの弱点を発見する研究 訓練済みモデルを蒸留や書き換えによって軽量化 ロバストネスに関する論理的保証 特定の大きさ以下のノイズに対して予測が不変であることを証明 システム上の工夫 入力データを書き換えて誤判断しないようにする ノイズを加える。 訓練データと同じ特徴（分散）をもつデータに書き換える。 アタックの検知 通常とは異なる入力、振る舞いを検知 （出力の信頼度など） 不要な情報を公開しない システムへのセキュリティ要求 データセットの要求 訓練に関する要求 65
- 66. データに対する要求と品質 66
- 67. 機械学習品質マネジメントガイドライン 第３版 . 産業技術総合研究所 人工知能研 究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月 データに関する品質と要求 データ品質 訓練済みモデルの品質 67
- 68. データの品質の重要性 訓練済みモデルの品質 ＝ 学習プログラムの品質 前処理方法 アルゴリズム・アーキテクチャ選択 プログラムの品質 データセットの品質 訓練済みモデル 訓練プログラム 訓練用データセット ハイパーパラメータ テスト用データセット テスト 訓練プログラムの 品質・選択も重要 データの品質が訓練済みモデ ルの精度に大きく影響 68
- 69. データに関する要求の分析（再掲） 動作範囲の規定 ⇒ どのような入力がありえるか？ 対応すべき（レアな）状況 ⇒ テストデータに含める リバランスパターンの適用 69 機械学習品質マネジメントガイドライン 第３版 . 産業技術総合研究所 人工知能研 究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2023 年1月
- 70. データセットへの要求 機械学習への品質要求 推論精度（パフォーマンス）の担保 公平性の担保 安全性の担保 要求を満たすためのデータセットへの要求 データセットの被覆性（網羅性） 対応すべき状況をすべて網羅している データセットの均一性 実際の発生頻度に一致している 品質要求を満たすためのデータセットの特徴を規定 稀だけど重要なケース 例)異常検知、誤認識が事故に直結 品質要求を考慮し、 リバランスパターンの検討 70 機械学習品質マネジメントガイドライン 第２版 . 産業技術総合研究所 人工知能研 究センター, https://www.cpsec.aist.go.jp/achievements/aiqm/ , 2021
- 71. 訓練/テストデータに対する要求 訓練データ量に対する要求 想定する学習手法・アルゴリズムで学習させるために必要な訓練データ量 システムが取り扱う入力の種類からみた統計的観点から必要な訓練データ量 想定する要求・適用環境において，希少な状況や分類クラスの偏りがある場合であっても，必要とする精度を実現するために必要となる訓練データ量 訓練データの内容に対する要求 データが満たすべき不変条件や整合性条件 データの集合（分散など）に対する条件 前提とする入力データ集合の特徴 公平性：不適切なバイアスの定義 含むべきデータの種類 処理対象となるデータの種類 安全性の確認のために必要となるデータの種類 頑健性を確認するために必要となるデータ データ拡張（Data Augmentation ）に関する要求：人工的に作成・可能なデータの定義 妥当なデータの領域、外れ値と欠損値に対する扱い ラベルに関する要求 データの収集に対する制約 プライバシーに関する法律・ポリシーの考慮 利用ライセンス（知的財産）の扱い テスト用データの要求 訓練データとの区別の方法 AIプロダクト品質保証コンソーシアム. (2022). AIプロダクト品質保証ガイドライン 2022.07版. をも https://www.qa4ai.jp/download/ 71
- 72. データ拡張に関する要求 学習できるデータを人工的に増やす バリデーションを増やすことで過学習を防ぐ、ロバスト性を向上させる 考慮すべきまれな状況を作り出す まれな状況で精度を担保する 安全性の担保のためハザードを軽減する 拡張手法： 単純な画像操作 輝度、色合いの変更 画像の回転・反転 複数の画像の合成 機械学習を使った自動生成 オートエンコーダ、GANの利用 シミュレータの利用 データ拡張に関する要求： データ拡張が必要か？ バリエーションが存在するか？ まれな状況に対してデータを収集困難か？ どのようなバリエーション、状況がありうるか？ 実際の実行環境に即したデータ拡張を規定する 72
- 73. 訓練済みモデルの正確性に関する要求 実際は正 (Positive) 実際は負 (Negative) 予測が正 (Positive) TP(真陽性) True Positive FP(偽陽性) False Positive 第1種の誤り 予測が負 (Negative) FN(偽陰性) False Negative 第2種の誤り TN(真陰性) True Negative 混合行列(Confusion Matrix) 正解率(Accuracy) 全予測正答率 TP+TN TP+FP+FN+ TN 適合率(Precision) 正予測の正答率 TP TP+FP 再現率(Recall) 正に対する正答率 TP TP+FN 特異率(Specificity) 負に対する正答率 TN FP+TN F値(F-measure) 適合率と再現率の調 和平均 2PrecisionR ecall Precision+Re call 評価基準 どのような評価基準を重視するかは機械学習をどのように利用するかに依存（判断に人が介在するかなど） 不正検知の場合、 この精度が重要 評価目標を設定できない場合は、経験的ベンチマーク（人との比較、単純ルールとの比較など）を検討 AIシステムの価値と安全性の観点から目標を設定 人が判断するならFNが 多少あっても大丈夫 73
- 74. (工程Ａ)問題領域のベンチマーキング (工程Ｂ)データセットを使って問題領域を解釈 重要な特徴量や値 を識別する 収集した知識の概 念整理 要求として規定する対 象領域の概念辞書に関 して合意する データセットの 収集 Vision API を利用 特徴量のラベリング 概念辞書に基づいて データセットを理解 (工程Ｃ) 機械学習モデルによって問題領域を 解釈する 訓練済み モデル ルールマイニング の利用 モデルからの抽出技術 （XAI技術）の利用） 概念辞書に基づ いて構築したモ デルを理解 特徴量の抽出 特徴量の抽出 得られた知識の 整理 要求として記述で きていない概念の 発見 品質に関するリス ク要因の特定 データセットの 品質確認 曖昧な要求仕様 の認識 要求とデータ、 訓練済みモデル のギャップ認識 機械学習コンポ ーネントの検証 (工程Ｄ)ギャップを埋める 研究：機械学習システムのための要求工学 Rahimi, M., & Chechik, M. (2019). Toward Requirements Specification for Machine-Learned Components. In 27th International Requirements Engineering Conference (pp. 241–244). をもとに作図 74
- 75. 参考文献： AI/MLの要求工学に関する研究動向 Ahmad, K., Bano, M., Abdelrazek, M., Arora, C., & Grundy, J. (2021). What’s up with Requirements Engineering for Artificial Intelligence Systems? In IEEE 29th International Requirements Engineering Conference (RE 2021) (pp. 1–12). IEEE. Villamizar, H., Escovedo, T., & Kalinowski, M. (2021). Requirements Engineering for Machine Learning: A Systematic Mapping Study. 47th Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2021), 29–36. Vogelsang, A., & Borg, M. (2019). Requirements engineering for machine learning: Perspectives from data scientists. In Proceedings - 2019 IEEE 27th International Requirements Engineering Conference Workshops, REW 2019 (pp. 245–251). IEEE. 75
- 76. まとめ 機械学習応用システムのための要求工学 機械学習・AI特有の要求： 公平性、プライバシー 説明可能性、透明性 ドメインドリフト 安全性担保の難しさ セーフティとセキュリティ データセットの品質 データセットの被覆性（網羅性）と均一性を考慮した訓練データセット、テストデータ セットの規定 76 AIプロジェクトマネージャのための機械学習工学, 吉岡信和,鷲崎弘宜, 内平直志,竹内広宜,科学情報出版株式会社, 2023年1月
- 77. お断り 推論に使った訓練済みモデルは、Yolo v3をCOCOで訓練させたモデルです。 そのため、現実的でない訓練モデル・訓練データの可能性があります 例に出した写真は以下のオープンデータセットに含まれているものです。研究目 的以外には使えません。利用制限に関しては各オープンデータのサイトを御覧く ださい。 BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ 77
Editor's Notes
- 参考文献: [入門]公平性（Fairness）とは, TDSEマガジン, 2020, https://www.tdse.jp/blog/tech/3273/
- ODDを明確にしたいが、扱う環境のバリエーションが多すぎて条件を明確にできない。 DNNでどこまで扱えるのかが明確にならないため、保証できる範囲を決定できない。 DNNを使わなかった場合、実装で保証できる範囲をODDにしていたが、DNNだとどこまで保証できるのかが分からない 運行設計領域」のことで、言い換えれば「能力値」
- 他分野でもこのような観点はあるか？妥当性を確認するにはどれが一番難しいか？このような課題にどうやって対処しているか？軸がたくさんあるこれについて、思うことか自分がやっていること、議論したいネタをかいてもらう。
- 皆さんの分野で困っていることはおきているか？何か対策はとっているか？上がってきたものに対して広げる
- 別なシーンを直せば、他がダメになる。実際的には2つモデルを用意？認識率をあげることがそもそも難しい 1番目の部分集合、影が認識できない 影で認識する