セミナーURL： https://wba-initiative.org/12148/ 開催趣旨： 生命における進化という戦略の基本要素は自律分散・多様化・局所的な競争の３つであるように見えます。つまり、多様性を高めた分散エージェントが自律的に活動し、局所的に競争することでて発展してきたと捉えられるでしょう。そして人類は生物学的進化を超えて、言語・社会・文明・技術などを加速度的に発展させてきました。 この進化戦略は、相対的に広い環境に置かれた個体やその集団が、環境からの脅威や圧力に抗して発展する際に有効に機能してきました。しかし、人類がその力を増すほどに、その副産物として、核戦争や気候変動を始めとする、人為的なリスクを増大させています。この不都合な事態の原因は、進化戦略の前提であった競争の「局所性」が破壊されることにありそうです。シンギュラリティ（技術的特異点）の本性は、むしろ進化戦略の限界であったのかもしれません。そうであれば、このリスクは、同様の戦略をとる、人以外の知的生命体やいずれ実現しうる高度AIにおいてすら不可避です。 そこで本セミナーでは、本当に局所性は破壊されることで進化戦略には限界が生ずるのか、そうであれば「自律分散」もしくは「多様化」という価値観を見直す必要があるのか、現状の進化戦略を超えた新たな発展の形が生まれるのかなどについて講演を行います。 さらに、今後ますます、グローバル化・複雑化・高速化が進む人類社会を維持してゆくために、より自律性を高めたAIシステムによる支援は不可避な前提となるでしょう。ですから高度AIとその知能爆発をリスク要因として捉えるよりも、大局的なリスクを乗り越えるために活用するという視点が求められます。そこで、セミナーの後半では開場の皆さんとともに、どのような能力を備え、いかなる価値基準観をもつ高度AIとともに、私達は未来に向かって歩みうるのかなどを含む議論を行いたく思います。

1. 進化の終焉とシンギュラリティ・セミナー1
山川宏
2020年3月19日(木)
趣旨説明

2. 進化の終焉とシンギュラリティ・セミナー2
Evolution

3. 局所性を失なった地球
• パンで
進化の終焉とシンギュラリティ・セミナー3
https://en.wikipedia.org/wiki/Commercial_aviation
https://www.youtube.com/watch?v=6uu1MGyGjvI&feature=youtu.be

4. シンギュラリティの本質は進化戦略の限界では
進化の終焉とシンギュラリティ・セミナー4
進化戦略の限界とは
– 進化が推し進める軍拡競争の結果として
「局所性」が失われる
– 進化の産物である(人工的な)技術が、それ
自身のグローバルな破壊(存在論的リスク)
をもたらす (山川、2019年12月12日)
自律分散 多様化 局所的な競争
自律分散 多様化 大域的な競争
技術進展により、容易に
広域かつ大きな力を得られるように

5. Global catastrophic risk
進化の終焉とシンギュラリティ・セミナー5
規模と強さにおいて、人類福祉に大き
な影響を与える可能性のあるリスク
出典：
https://en.wikipedia.org/wiki/
Global_catastrophic_risk
規模
強さ
最悪ケース
では
人類絶滅
生物種
の大量
絶滅
オゾン
層の
破壊

6. 非人為的要因による大量絶滅の歴史
進化の終焉とシンギュラリティ・セミナー6
時期 生存し続けた生物種
0.7億年前(白亜紀) 約25%
2億年前(三畳紀) 約20%
2.5億年前(ペルム紀) 約5%
3.7億年前(デボン紀) 約25%
4.4億年前(オルドビス紀) 約15%
20億年前 約0.5%
数億年に一度程度の発生頻度→おそらく急務でない

7. 課題は新興技術による人為的なリクスの増大
• 化石燃料： 気候変動
• 核エネルギー： 大量破壊、核の冬
• 合成生物学： 致死性の細菌によるパンデ
ミック
• ナノテクノロジ： グレイ・グー
• AGI： 技術開発の加速、 主導権を奪われる
進化の終焉とシンギュラリティ・セミナー7
人為的リスクはAI/AGIだけではない

8. 進化の終焉とシンギュラリティ・セミナー8
局所的な競争に基づく進化が知能を生み出し、知能が技術を発展させ、技
術によるグローバル化により局所性を奪うことで、進化が終焉する。
Intelligence
Technology
Globalization
Locality
Evolution

9. 正常性バイアスを克服する
進化の終焉とシンギュラリティ・セミナー9
正常性バイアス
– 自分にとって都合の悪い情報を無視したり、過小
評価したりしてしまう人のもつ特性(認知バイアス)
– 準備不足や、逃げ遅れの原因となる
安易に、いままで大丈夫だったからといって、
これからも大丈夫と考えるべきではないだろう。
進化戦略は、数億年単位で生ずる環境変化を乗り越
えて成功してきたが、運がよかっただけかもしれず、
今日の技術がもたらす急速な変化に対しては、生物
学的な進化は追随できないかもしれない。

10. プリエンプションの原則:
進化の終焉とシンギュラリティ・セミナー10
失敗にまなべる
最初から首尾よく
対処する必要がある
(Max Tegmark, 2019)より改変
不可逆的なExistential Riskを未然に防ぐため
に、社会は先制的に回避策を講ずる必要がある。
Fire Car
Nuclear
power
AGI
Synthetic
biology

11. オンライン議論から
• この時代にどういう社会や文化を形成するかで、
次の時代のデザインはまったく変わってくる
• 暴走させてしまったら、それこそAI-ELSIの敗北
• 現役世代である我々が働くところではないかと
長谷敏司
進化の終焉とシンギュラリティ・セミナー11

12. 本セミナの狙い
• 安易に安心を得ることではない
• 正常性バイアスを克服して、
リスクの存在を受け入れること
• この時代に生きる我々ができることを、
考える切っ掛けとする
進化の終焉とシンギュラリティ・セミナー12

13. Agenda
進化の終焉とシンギュラリティ・セミナー13
Time Contents Speaker
14:30 開会の辞／会場説明 岡ノ谷一夫
14:35 趣旨説明 山川 宏
14:45 AI脅威論 中川裕志
15:00 技術進展がもたらす進化戦略の終焉 山川宏
15:30 言語の発生と進化の終わり 岡ノ谷 一夫
15:45 休憩（15分）
16:00 環境は創発する 長谷敏司 （SF作家）
16:15 パネルディスカッション
モデレータ 中川裕志、パネリス
ト： 長谷敏司、山川宏、岡ノ谷
一夫
17:15 閉会の辞 中川裕志
17:20 終了