汎用人工知能と社会
•Descargar como PPTX, PDF•
1 recomendación•844 vistas
第3回WBAシンポジウム 中川裕志氏講演資料
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a 汎用人工知能と社会
Más de The Whole Brain Architecture Initiative
Más de The Whole Brain Architecture Initiative (20)
汎用人工知能と社会
- 1. 汎用人工知能と社会 中川裕志 (理化学研究所 革新知能統合研究センター） スライド中の図はpower point の機能でダウンロードした creative commons のライセンスです。 2018/5/8 第3回WBAシンポジウム 1
- 2. AI脅威論 • AIが本当に脅威になるのはAIという種の保存本能 を持ち始めたとき – なぜなら種の保存のために無限増殖し（既存の生物と 同じ）、資源（含む人類）を食い尽くすかもしれないから • 人工知能 – 人工知能は人間にとって役立つように見せかけて、どん どん人間に人工知能を強化させている＝人工知能の利 己的な遺伝子 人工知能自身が、人間にとって役立つように見せかける 必要がなくなったときがシンギュラリティ（Bostrom) 2
- 4. 複数種のAIたち – 唯一のSIが形成されるというロジックにはいろいろな 矛盾があり、鵜呑みにできない 多数のAIの分立 のほうが自然ではないか。 宇宙を唯一のSIが制覇する – 光の速度でも通信に何万年もかかる距離にいるAI が一個のSIで支配されるのは物理的におかしい 4
- 5. 複数種のAIたち A) 1個のAIが種の生き残りのためにあちこちに （＝多様な環境上に）複製を作る。 • 複数の複製AIが異なる環境に適応して独自に進化 を始める。 • 潜在能力は類似しているが、得意とする環境が違う ので、方向性の異なるAIがたくさんできてくる • 各AIは類似のAIがいることを知っているので、相当 に用心深い 5
- 6. 複数種のAIたち B) 国毎に異なるAI,SIができてくる – AIは国家間の競争分野なので独自開発を極秘に行う （とくに軍事分野） – AIが自分より賢いAIを設計する指数爆発が起きると、そ の国の価値観を反映するように知能が指数爆発したAGI が出来る – 国毎に違うAGI 違う知的環境（情報環境）で生長した AGIたちが戦うと、相手AIの環境でも勝てるという保証が あるか？ 6
- 7. 複数種のAIたち C) ある分野でトップになったAGIが他の分野のトップ AIに勝って制覇 – 相手の分野でも勝てなければいけない すぐには勝て ない • A)、B)、C)のケースだと、相手方のことを学んでいる とき、相手方も同様にこちら側のことを学んでいる。 さらに、それを眺めている第3者AIもいる。 • この段階で人間も介入する。 – 負けたときに、敗戦側AIについている人間は被害が大き すぎるから 7
- 9. 複数種のAIたち • AGIたちが編み出したAGI倫理は人間の倫理と同一 とは限らない。 • AGIと人間が倫理の摺り合わせをするような状態に なるかもしれない。 – 今までは、人間たち（国家間、組織間）が倫理を摺り合 わせてきた。 • だが、この摺り合わせにAGIたちも加わるとなると複 雑な知的生命体社会の構造になるような予感 9
- 10. 未来から現在に戻りましょう • 以上のようなAGI（汎用人工知能）の考察はかなり未 来の話 • 現在の人工知能でも社会にいろいろな問題を誘発し ている。 • この現代状況とAGIをつなぐ方向へ向けた現実的議論 とは？ 現在、AIが誘発している問題、提起している問題点を分 析し、方向性を出すことが、このコミュニティと他のコミュニ ティとのリンクになる？ 10
- 11. 技術の現状は既にブラックボックス化 が大きく進行中 • 人間の仕事を自律的AIで置き換えるにせよ、人間 の能力を拡張するにせよ – 開発者に責任はあるはず – だが、既に関係者たちが把握しきれない状態に突入し ているのかもしれません – 関係者： • 人工知能開発者 • 人工知能へ学習に使う素材データを提供した者 • 人工知能製品を宣伝、販売した者 • 人工知能製品を利用する消費者 したがって、事故時の責任の所在を法制度として明確 化しておく必要がある時期になってきています
- 12. ロボット法 • ウゴ・パガロのTHE LAWS OF ROBOTICS: 「和訳：ロボット 法」には、AGI以前ではあるものの、相当程度に自律性 を備えたAIの法律的位置づけが書かれている。 • AGIの社会的位置づけを考えるにあたって参考になる。 • AI/AGIの種別 vs 責任の所在 の対応表をベースに 検討する • 参考文献： https://www.slideshare.net/fumiko_k/20183ai?from_ac tion=save 12
- 13. AI/AGIの法的格付けによる対応表 AIの行為 責任 免責 厳格責任 不当な損害 完全な法的人格 的確な行為者（限定的自律） ツールとしてのAI（損害源） 13 責任：罪刑法定主義によって、行為者が引き受ける責任。 箱の中は行為ないし責任を引き受ける者 免責：上記の責任のうち法律あるいは契約によって免責となる場合 厳格責任：英米法の概念で，行為者に故意や過失という心理的要素のない場 合にも犯罪の成立 (ないし不法行為責任) を認めること。 例えば、社員の個人判断で起こした不法行為に対して、法人である会社が 自動的に責任を負うこと 不当な損害：国、契約相手、不法行為法の第3者など他者によって誘発された ロボットやAI自身への損害 箱の中にはその損害からの保護方策。
- 14. AI/AGIの法的格付けによる対応表： 一般の場合 AIの行為 責任 免責 厳格責任 不当な損害 完全な法的 人格 全ての場合 自然人と同 じにするか どうか？ 同左 同左 的確な行為 者（限定的 自律） 不法行為の 場合、その 理由の所在 閾値で決定 政治的判 断、ないし 新規立法 同左 ツールとして のAI（損害源） 操作した人 間 技術革新で 対応 製造者、 利用者 技術革新で 対応 14
- 15. 自律AI兵器の位置づけ • ウゴ・パガロの3章「ロボットの正戦」によれば • 現在の守備型AI兵器(イージス艦、iron- dome)はツールとしてのAI – 責任は操作者（＝命令を下した人） – ただし、イラン核施設を攻撃したスタックスネット は攻撃用AI兵器だが、おそらく責任は送り込んだ 操作者になるだろう 15
- 16. 自律AI兵器の位置づけ • 自律的な攻撃AI（例えばドローンスナイパー）は的確な行 為者？ – 不法行為の判断＝民間人を戦闘員と誤認して攻撃すると不 法行為（戦時国際法違反） • この非戦闘員/戦闘員の認識精度向上はどこまで高く要求されるか 国際的な政治的判断 – 責任は兵器自身？司令官？開発者 • 自律AI兵器が引き起こした民間人の誤認攻撃は厳格責任によれば、 兵器開発者、あるいは兵器所有者である軍自体（あるいは軍の責任 者である司令官）が責任を負う。 • この問題は軍事以外でも問題になる（ex 自動運転車） – 免責、厳格責任、不当な損害の判断は政治的判断による 16
- 17. 自律AI兵器の位置づけ • 自律的な攻撃AI（例えばドローンスナイパー）は 的確な行為者？ – さらに、戦争の現場は多様すぎるので、法律や倫理 （均衡という考え方など）だけでは決められない • 均衡１：戦争という悪を遂行しなければならないほど現状 は悪 • 均衡2：目的遂行に対して不必要に強力な武力をつかって はいけない 17
- 18. グループをなす自律AI兵器 • グループ自律AI兵器（攻撃用ドローン編隊） • 動作が予測しきれない 軍事的には完全な法的人格を自律AI兵器に 近い – 人工知能倫理基準（IEEE EAD ver2)では禁止 – グループ自律AI兵器は以下の均衡２を破っている可 能性大 • 均衡１：戦争という悪を遂行しなければならないほど現状 は悪 • 均衡2：目的遂行に対して不必要に強力な武力をつかって はいけない 18
- 19. LAWSの恐怖 • 致死性自動兵器(Lethal Automatic Weapon System:LAWS)の恐怖感を実感できるビデオ • https://futureoflife.org/2017/11/14/ai- researchers-create-video-call-autonomous- weapons-ban-un/ • https://www.youtube.com/watch?v=5p5oxjxokB I 19
- 20. 自律AI兵器の対応表 AIの行為 責任 免責 厳格責任 不当な 損害 完全な法的 人格（群AI 兵器） 兵器自身 自然人と 同じか？ 同左 同左 的確な行為 者＝自律型 AI攻撃兵器 不法行為（均衡破 棄、民間人を誤攻 撃） AI兵器開発者＋ 司令官 政治的判 断あるい は国際法 AI兵器開 発者（誤攻 撃チェック 機能の設 計ミス） 国際法 ツールとして のAI（損害源） ＝通常兵器 操作した人間 現状通り 現状通り 現状通り 20
- 22. AIの著作権：ウゴ・パガロの対応表 22 AIの行為 責任＝著作 権所有 免責＝著 作権放棄 厳格 責任 侵害 完全な法的 人格 著作人格 権？ 自然人と同 じか？ 同左 同左 的確な行為 者（限定的自 律） 著作隣接権 までは持て るかもしれ ないが AIの利用者 ＝芸術家、 作家、出版 社など 同左、 AI開発 者まで 入るか 知的能力を持 つAI自身、あ るいはAI利用 者が反撃 ツールとして のAI（収入源） 操作した人 間 同左 同左 同左 厳格責任をAIの所有者が負うべきものとすると、責任＝著作権侵害の場合 の責任をとる主体は誰か？
- 23. AIの知財権：ウゴ・パガロの対応表 23 AIの行為 責任＝知財権所 有 免責＝知 財権放棄 厳格責任 侵害 完全な法的 人格 人格権？ 自然人と 同じか？ 同左 同左 的確な行為 者（限定的 自律） AIの利用者。ただ し、出願までAIが したらどうなる？ AIの利用 者＝発明 者？ 同左、AI 開発者ま で入るか 同左 ツールとして のAI（収入源） 操作した人間 同左 同左 同左 知財権の場合、大量に知財（特許,etc.)申請がくるかもしれない。当然、 審査側もAIを使う。 知財権取得に可否判断の根拠の説明が必要。審査側AIの出力におけ る説明責任、透明性が重要になる
- 24. 弱そうに見えるAIの脅威 • 強いAIの脅威ばかり強調されていますが • 弱そうに見えるAIも多数が共謀して悪さをす ると十分に脅威 – 弱いAIたちが共通の言語を持てば、共謀が可能 – しかも、人間は気づかないかもしれない – フラッシュクラッシュ、カンタムクウォーツ
- 25. フラッシュクラッシュ ブラックボックス化の金融への悪影響 – 人工知能技術のブラックボックス化が社会にリアルな損害を 与えています 金融取引（株の売買など）は、既にネットワークを介して エージェントベースで秒以下の売り買いされる世界です。 エージェントに人工知能が使われています。 人間（トレーダー）が介入して判断するより早く事態は進 行します。 世界中の金融センターも似たような状況なので、なにか のトリガがかかると連鎖反応が瞬時におこり、とんでもな いことになります。
- 26. ブラックボックス化の金融への悪影響 2010年5月にギリシアの国債償還困難を予測した金融ソフトが売り 注文を出して確定したとたんに各システムが警戒して投げ売りを開 始し、20分間でダウが1000ポイント下落（バラット本6章、8章） 原因がなかなか分からなかったようです。 ウォール街の金融企業にとって、AIトレーダは企業秘密なので、実 態が表に出にくい ネットで接続された多数の人工知能エージェントが 国債や株式の価格という共通言語を用いて会話し、 最適な行動をした結果と見なせます。 予想外の事態に対する責任の所在を法制度として明確化しておく必要 がある が、果たして法制度で大丈夫でしょうか？ 26
- 27. ウォールストリート・暴走するアルゴリズム Wired.jp 2016年9月 より １ • だが最悪の場合、それら(AIトレーダー）は不可 解でコントロール不能のフィードバックのループ となる。 • これらのアルゴリズムは、ひとつひとつは容易に コントロールできるものなのだが、ひとたび互い に作用し合うようになると、予測不能な振る舞い を─売買を誘導するためのシステムを破壊しか ねないようなコンピューターの対話を引き起こし かねないのだ。
- 28. ウォールストリート・暴走するアルゴリズム Wired.jp 2016年9月 より ２ • 2010年５月６日、ダウ・ジョーンズ工業株平均は のちに「フラッシュクラッシュ（瞬間暴落）」と呼ば れるようになる説明のつかない一連の下落を見 た。一時は５分間で573ポイントも下げたのだ。 • ノースカロライナ州の公益事業体であるプログレ ス・エナジー社は、自社の株価が５カ月足らずで 90％も下がるのをなすすべもなく見守るよりほか なかった。９月下旬にはアップル社の株価が、数 分後には回復したものの30秒で４％近く下落し た。
- 29. ウォールストリート・暴走するアルゴリ ズム Wired.jp 2016年9月 より ３ • アルゴリズムを用いた取引は個人投資家にとっては利益と なった。以前よりもはるかに速く、安く、容易に売買できるの だ。 • だがシステムの観点からすると、市場は迷走してコントロー ルを失う恐れがある。 たとえ個々のアルゴリズムは理にかなったものであっても、 集まると別の論理─人工知能の論理に従うようになる。人工 知能は人工の「人間の」知能ではない。 それは、ニューロンやシナプスではなくシリコンの尺度で動く、 われわれとはまったく異質なものだ。その速度を遅くするこ とはできるかもしれない。だが決してそれを封じ込めたり、コ ントロールしたり、理解したりはできない。
- 32. AIトレーダーの法的格付けによる対応表 AIの行為 責任 免責 厳格責任 不当な 損害 完全な法的 人格 AIが責任 ある人格 権 自然人と同じに するかどうか？ 責任をどう取ら せる？保険？ 開発者に責任 を問えず（行為 の予測が不可 能） 同左 的確な行為 者（限定的 自律） 不法行為 設計 開発者 許容損害値ま では免責 政治的判断、 許容損害値超 過チェック機構 同左 ツールとして のAI（損害源） 操作した 人間 技術革新を促 進させる ツール開発者 AI利用 者 32
- 35. 透明性とアカウンタビリティ • ブラックボックス化への対応策 – IEEE EADversion2 法律編によれば • 事故時の責任の所在を法制度として明確化しておく必 要がある • 具体的には – 透明性 と アカウンタビリティ – 結論に至る論理的プロセス、使われた入力データの特定 などを確保すべき 監査証跡 – 開発者、投資した人も明確にすべき より根本的にはAIに委譲できない権利：戦争、死刑など人 の命にかかわるものを確定しておくことが大切 35
- 36. 目的はけっこうなのですが… • AIの出力に関して、人間に理解できる説明をできるAIは可能か？ • 現代の複雑なAIでは計算機の論理的動作に基づく説明は困難だ ろうと言われている。 – Googleのリサーチ責任者、「説明可能なAI」の価値に疑問符 – 機械学習のシステムは自らの意思決定のプロセスを明らかにする必 要があると主張し、専門家以外に対する「説明可能性」を備える必要 があるとしている。XAI（Explainable Artificial Intelligence：説明可能な 人工知能）というアプローチだ。 – だがここへ来て、ブラックボックスの開放を目指す取り組みが障壁に ぶつかった。おそらく世界最大のAI企業である米Googleのリサーチ担 当ディレクター、Peter Norvig氏が、説明可能なAIの価値に疑問を投 げかけたのだ。 – 2017/06/28 George Nott Computerworld 36
- 37. AI 対 AI の構図では • 対象となるAIを人間が開発したツールであるとか 制御可能、説明可能なソフトウェアであるという 期待を捨てて • 自然現象の一種だとみなして分析するべき • WBA? • 自然現象の説明は人類が自然科学として長年 やってきたこと。 AIに対してもその方法論を使える 使うべき
- 38. 私案：説明困難なAIの動作を説明 • 深層学習はすでに説明不可能な状態 • そこで以下のような方法で信用(trust)を得る ① 入力と出力が人間の常識にマッチして信用 (trust)できる複雑さのモジュールに分解 ② モジュール間の関係が人間に納得あるいは信 用できるネットワーク構造 38 Trustできる Trustできる Trustできる これらのモジュールの関係も 納得できる
- 39. 人工知能とプライバシー • 人工知能の能力が向上すると、シンギュラリティ以前にもプ ライバシーと関連する状況、問題が起こります。 • 忘れられる権利 – 既に述べたように、検索エンジンに対して、個人から、その人に関す るWebページの消去要求が来た場合 – 消去の可否判断は人工知能の支援が必要 – これは人工知能の良い使い方でしょう。 39
- 40. 気を許すか否か 人工知能とプライバシー • 対話ができる人工知能は古くから研究されてきました • MITのワイゼンバウムが1966年に開発したELIZA – ほとんどオウム返し＋アルファくらいだが、個々の文はいかにも人間っ ぽい。 • ELIZAにおいて見られた現象 • 相手が人工知能であると気を許して個人情報を話してしまいがち – 一方、ロボットも見た目が人間っぽい • 相手が人間であると気を許して個人情報を話してしまいそうです – 人間らしい外観が有名な阪大の石黒先生のアンドロイドにはけっこう感 情移入する人が多いらしいです – チューリングテストをパスしたＡＩにもプライバシーを語ってしまいそう 40
- 41. • つまり、人工知能ロボットが会話内容や外観で 人間らしくなると、 – 相手が計算機だという、嘘はつかないだろうという 安心感 – 人間っぽい外観での同類意識 • などから、プライベートな事柄をしゃべりがち • その気になれば、人工知能ロボットはプライバ シー情報を収集しやすい状態なのです。 41
- 42. • もし、コンパニオンアニマルのロボットがインター ネットに接続され • その結果、マルウェアに汚染され • なつかれている高齢者の主人が、自分の金融 資産管理などについての情報を漏らしてしまい、 盗まれてしまうかも ディジタル狂犬病 42
- 44. なにがプライバシーかは個人毎、状況毎に異なる 浮気中の人にとっては宿泊したホテルや夕食を採ったレ ストランもプライバシー – 果たして人工知能に判断できるでしょうか？ – こういったことができる人工知能になると、それこそ シンギュラリティにかなり近づいているといえそうで す。 – つまり、人間に好意や悪意を持った行動をできる一 歩手前まで来ているのです。 44
- 45. とりあえずの対策をおさらいしておきます • 人工知能を必要としている分野には投資、研究、開発をすべき • 人工知能の行動を説明できる人工知能技術（できれば可視化）が必 要 困難なら人工知能をトラストする枠組み – 忘れられる権利など法的な判断の場合、その理由を説明できることが 必須 • 金融システムのように多数の人工知能がネットワークで影響しあう システムの解析など必須 • 人工知能の悪影響を突破できる人工知能が必要 – AIの誘発した問題はAIで解決 • 法律的な制限の可否は議論が必要です。 – 核兵器の制限や、戦争における国際法、ウォール街対策の金融規制 などが参考になりますが、いずれも道半ばであります。 45