Invited Talk 3: D-Agree: Crowd-scale Consensus Support System based on Automated Facilitation Agent Prof. Takayuki Ito Kyoto University

1. AIによる大規模合意形成支援システムの創成
京都大学大学院
社会情報学専攻
伊藤孝行

2. コレクティブインテリジェンス

4. コレクティブインテリジェンス
「３人寄れば文殊の知恵」= Two heads are better
than one.
Groups of individuals doing things collectively that
seems intelligent. (MIT CCI, Prof. Thomas W. Malone)
Each of them by himself may not be of good quality;
but when they all come together it is possible that they
may surpass - collectively and as a body, although not
individually - the quality of the few best (Aristotle on
Collective Intelligence, Politics, 334-23 BC)

6. Crowd Intelligence
エージェント技術によって促進

7. 研究のねらい
7
• 社会実装：社会の複雑な課題に対するソルーションを大規模な
オンライン議論と合意を通して発見・創造する
• システム開発：エージェント技術による合意や議論の支援のしく
み
• 理論・モデル：合意形成に関するモデルや理論の確立

8. 人間ファシ
リテータ
参加者
参加者
参加者 参加者
参加者
参加者
Collagreeのアーキテクチャ
人間ファシリテータが合意形成を
支援
エージェント
ファシリテータ
参加者
参加者 参加者
参加者
D-agreeのアーキテクチャ
エージェントファシリテータが合
意形成を支援
参加者 参加者
参加者
参加者 参加者
参加者
参加者 参加者
ハイパーデモクラシーのアーキテクチャ
人間のソーシャルネットワークにエージェン
トが入り込んで合意形成を支援
仲介エージェント
2010-2015年頃
Collagree
2015-2020年頃
D-Agree
2020年〜
分散型アーキテチャへ
寄り添い
エージェント
寄り添い
エージェント
寄り添い
エージェント
寄り添い
エージェント
寄り添い
エージェント
研究の背景と経緯

9. 大規模意見集約システムCOLLAGREE

10. 大規模議論における 活性化 と マネジメント の必要性
Web上の議論の課題と解決に向けた機能実装
11
炎上
閲覧コスト消極性
活性化 ﾏﾈｼﾞﾒﾝﾄ
‘13 名古屋市総合計画
‘14 オフィス家具の商品開発
ファシリテータと支援機能
ファシリテーショングラフィック
市民264名
社員20名
‘14 名古屋市総合計画2018
‘15 研究室内機能実験
施策情報閲覧およびリンク機能
[試作] 議論インセンティブ機能
309名
20名
’15 愛知県自治体課題共有 議論インセンティブ機能 県内職員73名

11. システムデモ
12

12. アーキテクチャ
13
Webサーバ(Nginx)
データベース(mongoDB)
テーマ別投稿データ
キーワードデータ
ブラウザ
データ管理
投稿データ
ユーザデータ
キーワードデータ
CoffeeScript
JavaScript
Spine.js
Ruby on Rails
キーワード抽出
賛成/反対判定
キーワード
賛成/反対
投稿データ
投稿
Ubuntu
OS Ubuntu12.04
言語 Ruby,
JavaScript CoffeeScript
データベース mongoDB
Webサーバ Ngnix
フレームワーク Ruby on Rails3, Spine.js
使用環境
投稿内容

13. 名古屋市と共催して市民参加型の社会実験を実施
社会実験｜名古屋市でのタウンミーティング
14
11/18 市長定例記者会見 11/13, 11/30 中日新聞市民版
2013/11/19 ~ 12/3 (15日間)期間
▶ 一般市民を募った社会実験によりシステムを評価
告知
テーマ 名古屋市次期総合計画についての4テーマ
概要
264名 1,151件 18,446ビュー
(+ 日本ファシリテーション協会 専門家9名)

14. ito@nitech.ac.jp

15. ito@nitech.ac.jp
He was born in Nagoya. Currently, he is living in
Yokohama, but he has much interest on Nagoya.
Thus, he has been watching events in Nagoya
from Yokohama, and found our project. He
decided to participate in our project.

16. 名古屋市対面式タウンミーティングとの比較
結果｜参加者年代の割合
17
20代
26%
30代
15%
50代
17%
40代
27%
60代以上
57%
無回答
名古屋市タウンミーティング COLLAGREE
全12区
678人
市民公募
264人
10代
1%
60代以上
7%
▶ 通常のタウンミーティングと異なる幅広い参加者による議論
河村市長「サイトでは若い人が
圧倒的に多くタウンミーティングとは
また違う意見が参考になる」

17. ito@nitech.ac.jp
Nagoya Next Generation Total Planning
Nagoya-city published a booklet about the planning, which includes opinions
gathered by COLLAGREE.

19. 名古屋の魅力大討論

20. Collagreeによって、本当の
市民の意見を、市役所がと
りあげ、検討を深め、本当
の施策に取り込むことがで
きた。
実現！
2020年に実現2013年のアイデアスケッチ

21. エージェント技術に基づく
大規模合意形成支援システムD-Agree

23. 24
24

24. エージェント技術に基づく大規模合意形成支援システムの創成
これからの合意形成
• 面とむかって議論するだけでなく、SNSやメールなどICTも活用
• 合意最適化エージェントの振る舞い、合意形成（知識）データベースの
社会受容性はELSI委員会でチェック
• 公的合意形成、共創的合意形成、対立的合意形成、継続的合意形成という４フィールドにわけて、支援策を構築
• 最終目標は、公的・対立的な合意形成という場での合意形成の問題を解決
最終目標
最終目標（１）
合意最適化エージェント
の実現
・従来にはなかった、動的
な議論から構造を精度
80%以上で抽出しながら、
創造的に構造を構築する
方式で、問いかけを生成
するエージェントを実現す
る。
最終目標（２）
それを用いた大規模合意
形成支援システムの社会
実装
・従来、数ヶ月を要してい
た1000人の合意形成案
を、本支援システムを用
いることで、１週間以内で
実現できる大規模合意形
成支援システムを実現す
る。
問い合わせに対する群衆
のアイデアや課題
問題とその解決案に関す
るアイデアを明確化
議論の合意構造
問いかけ
介入
アイデア
の抽出
名古屋市を良くする課題とし
て、都市の渋滞問題があります
ね。渋滞問題を解決するにはど
うすれば良いでしょうか（課
題）
栄地区などに入る際の通行税を課
金するような仕組みはどうでしょ
う。（アイデア）
それは、中心地の交通量が減っ
て、良いですね。（長所）
お金がある人だけが得する仕組
みになりますね（短所）
議論
大規模なオンライン議論
課題の
抽出 課題（総合テーマ）
アイデア
長所短所
長所／短所
アイデア
・・・
合
意
最
適
化
エ
｜
ジ
ェ
ン
ト
ELSI委員会で
知識DBチェック合意データベース
(ナレッジグラフ)
SNS, Twitter, FB, etc.
課題
課金するというアイデアに関
する長所はありますか？
（エージェントの問いかけ）

25. 深層学習を利用した議論構造の抽出
議論構造
– IBISによるノードとリンク
ノード抽出モデルの進展
– RNN、Doc2Vec、BiLSTM、ELMo、
BERTを利用
リンク抽出モデルの進展
– BiLSTMに基づく回帰モデル
アノテーション精度の進展
– 議論データアノテーション(50議論,
5363投稿, 7159タグ、カッパー値
66%(一致率9割))
26

26. AGREEBIT株式会社 27
IBIS(Issue—Based
Information System)とは
・Wicked problemに関する議論の構造化の方法として使われる
・「課題（Issue）」をベースに構造を構築する
・課題・解決アイデア・意見の見える化が促進され
・議論の構造化の方法の元祖・様々な拡張が考えられる

27. Jul. Aug. Sep. Oct. Nov. Dec.
8/6 次期総合計画中間案 公表
8/24 名古屋市ご担当者様 打合
せ
9/10 名古屋市ご担当者様 打合せ 11/1 HAMAgree 意見聴取開始
11/1 名古屋市 記者クラブ広報
11/1 名古屋工業大学プレスリリース
11/7-10 メッセナゴヤ2018 紹介
11/5 統制実験（第1回）
11/6 統制実験（第2回）
11/8 統制実験（第3回）
11/8-19 統制実験データ分析
11/12- 統制実験被験者謝金処理
11/15-17 KICSS2018 HAMAgree紹介
11/16 コアタイム（第1回）
11/21 コアタイム（第2回）
11/22 名古屋市意見要約作業開始
7/11(2回), 8/2, 8/8, 8/9, 8/17, 8/24, 8/28 (5回), 9/3, 9/7(2回), 9/11, 9/13 (2回),
7/12 8/29 (3回), 8/30 (2回), 8/31, 9/14(2回), 9/18, 9/19(2回), 9/20, 9/21,
7/25 9/25(2回), 9/28
7/31
・システム開発(UI, API, AI連携)
・AI開発(ノード抽出, リンク抽出, 自動ファシリテーション, 炎上検出, 見える化)
議論設計考察及びプログラム開発用議論データ収集のための議論実験（全38回）
10/1 名古屋市ご担当者様 打合せ
10/8 ファシリテーション協会打診
10/11 名古屋工業大学
生命倫理審査委員確認
10/15 統制実験被験者募集開始
10/16 名古屋市ご担当者様 打合せ
10/22 ファシリテーション協会打合せ
10/29 名古屋市 覚書締結
10/29 システム設定
10/30 ファシリテーション協会謝金手配
10/31 名古屋市有識者懇談会
・議論データアノテーション(AI開発:38議論, 3571投稿, 5058タグ 統制実験:12議論, 1792投稿, 2101タグ, カッパー値66%)
オンライン議論支援システム社会実験・統制実験に係る環境設定の経緯
データの整理とアノテーション
28

28. アーキテクチャ
Webサーバ(Apache)
データベース
(Amazon RDS)
テーマ別投稿データ
キーワードデータ
ブラウザ
投稿データ
ユーザデータ
キーワードデータ
CoffeeScript
JavaScript
Spine.js
PHP
キーワード抽出
ポイント計算
キーワード
賛成/反対
投稿データ
投稿
AWS
使用環境
投稿内容
OS Ubuntu 16 (on AWS)
言語 PHP, Python
データベース MySQL, AWS RDS
Webサーバ Ngnix
フレームワーク Ruby on Rails3, Spine.js
AWS LB
発言投稿
監視
データ
入力
データ獲得
監視／投稿発言機構
構造抽出／見える化機構
データ獲得
見える化 構造化データ
合意知識DB
データ
出力
構造抽出
命令
合意最適化エージェント
Python
Python
文抽出 形態素抽出 関係抽出
黒板モデルによるデータ共有
29

29. Commercial version

30. 名古屋市時期総合計画中間案に対する
市民からの意見集約のための社会実験
31

31. 人工知能と人間のファシリテータが参加
名古屋市次期総合計画中間案のめざす５つの都市像について議論
社会実験 概要

32. 延べ1,089人の閲覧者、10,888件のページビュー数
アカウント登録149人、投稿数373件
社会実験 参加者について
図 登録人数と投稿数図 延べ閲覧者数とページビュー数
0
2000
4000
6000
8000
10000
12000
0
200
400
600
800
1000
1200
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
ビュー数
人数
日付
延べ閲覧者人数 延べページビュー
0
50
100
150
200
250
300
350
400
0
20
40
60
80
100
120
140
160
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
件数
人数
日付
累計登録人数 累計投稿数
33

33. Theme
Postings
All Human FA Auto FA Participants
1: Human FA 81 43 0 38
2: Human FA 56 21 0 35
3: Auto FA 88 0 24 64
4: Auto FA 70 0 18 52
5: A & H FA 137 17 21 99
Sum 432 81 63 288
• Human FA is Human Facilitator. Auto FA is Automated Facilitation Agent.
• Auto FA (red numbers) successfully extracted more posts from participants than
Human FA (blue numbers).
Results: the number of postings

34. 3.4 3.4
3.6
3.2
3.7
0
1
2
3
4
5
Theme 1
Human FA
Theme 2
Human Fa
Theme 3
Auto FA
Theme 4
Auto FA
Theme 5
A & H FA
Averagescore
“Are you satisfied with the discussion of city plan?”
• Questionnaire (N=20) results of “are you satisfied with the
discussion of the city plan?”.
• Satisfaction scores on discussion by Auto FA were satisfied at
same level as discussion by Human FA.
Results: satisfaction scores

35. 社会実験 AIFaのセンシティブな投稿への反応
36

36. Usage & Application of AI-based Facilitation
Discussion Support System
Nagoya Institute of Technology
Afghanistan Societal Experimental
Connect Discussion Dots to
an Agreement Port

37. 了解覚書、Collaboration
Collaborators
https://km.gov.af/
https://km.gov.af/
https://www.jica.go.jp
http://sdgs.gov.af
https://moec.gov.af
1.
2.
3.
4.
5.
I. Introduction III. KM Districts
Experiments
IV. Discussion &
future Work V. Conclusion
II. KM
Administrative
Meeting
Experiments
6.
7.
カブール市長
Zaki Sarferaz

38. I. Introduction
II. KM
Administrative
Meetng
IV. Discussion &
future Work
III. KM Districts
Experiments V. Conclusion
Outline of Kabul Municipal Districts
Experiments (District 1 – District 17)

39. What is difference
Between there
Two pictures?
40

40. AgreeBit, inc.
平成31年3月5日 法人設立
平成31年3月～5月 マーケットフィットのための企業担当者ヒアリング 20社
令和元年8月 イノベーションジャパン出展
未来2020応募
令和元年9月 未来2020一次審査通過
令和元年10月 名古屋２大学発！ベンチャー企業ミートアップ ピッチ参加
ILS2019（スタートアップマッチングイベント）参加：大企業6社とのマッチング
令和元年11月 クラウド・ITビジネスメッセ2019出展
令和元年12月 未来2020二次審査会参加
令和2年1月 インデペンデンツクラブ新春交流会＠名古屋証券取引所 起業家ピッチ参加
令和2年2月 VC3社にプレゼンテーション

41. 分散型マルチエージェントによる
信頼できる合意形成支援へ

42. 現状のソーシャルネットワークでは
様々な社会的問題が指摘されている
参加者
参加者
参加者 参加者
現状のソーシャルネットワーク
社会的問題がたくさん
フェイクニュース
デジタルゲリマンダー
フィルターバブル
エコーチェンバー
同調圧力
参加者
参加者 参加者
参加者
参加者 参加者
Trusted Democracyプラットフォーム
人間のソーシャルネットワークにエージェントが入
り込んで諸課題を解決
仲介エージェント
Trusted Democracyプラットフォーム
エージェント
エージェント
エージェント
エージェント
エージェント
解決！
フェイク？
フェイク？ フェイク？
フェイク？
フェイク？

43. まとめ
• エージェント技術によるコレクティブインテリジェ
ンスの促進
• 大規模合意形成支援システムCollagree
• エージェント技術による大規模合意形成システムD-
agree
• 分散型マルチエージェントによる信頼できる合意形
成支援へ