1.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空気を読む家 Final シナリオ
『人を見守る安心安全な空気を読む家』
Unity + AIPlannerで快適な朝を
シミュレーション
2021年2月3日
先端IT活用推進コンソーシアム
ビジネスAR研究部会 リーダー
TIS株式会社 井出 将弘

2.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ビジネスAR部会について
2
• 活動目的 ：
最先端のAR技術の把握と習得、及び今後の社会やビジネスの変
化を踏まえたARの活用（ビジネスAR）について、研究することを活
動目的とする。さらに活動成果を発信していく。
• 活動内容 ：
１） ビジネスARを創出、普及・展開するための考察・議論・グルー
プ活動
２） AR技術への理解を深めるためのプロトタイプ開発・試行実験
３） 上記活動を成果物としてまとめ、外部発信の活性化

3.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
Unity + AIPlannerで快適な朝を
シミュレーション

4.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回のお題
• 家主が出発の時間までに玄関に到達する
• 最低限の身支度は必ず実施する
• 出発の時間までできるだけ家で快適な行動をで
きるようにする
4

5.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
朝の行動の知識構造
5

6.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の目標
今年度のBizAR部会の目標は空間OSのコンテキ
ストの活用とエージェントの協調
• お題を（ある程度）クリアするためのエージェント
を実装する
• 空間OSとは接続したイメージで実装する。
• 実装するエージェントは階層を意識する
• 完璧を求めず、現実解でチャレンジ
6

7.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OS
7
一般知識・データ
オントロジー、ルール、
気象情報、サービス、…
エージェントメタデータ
クラス定義、機能定義…
空間OS：動的RDFストア （非公開）
LOD (公開）
ローカルナレッジ
家族構成、間取り、契約…
人間API
会話、外部連絡、忖度…
管理エージェント
安全、空調、電力…
認識・解釈エージェント
人・ペット・環境…
センサー・アクチュエータ
温度計、マイク、カメラ、エアコ
ン、掃除ロボット…
プロトコルコンバータ
エージェント
＝Web Servcie
他の空間OS
知
識
共
有
黒
板
モ
デ
ル
High
Low

8.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
エージェントの役割階層（案）
• ハイレベルエージェント
– 全体調整
– コンテキストに基づいた判断
– 判断に基づいたミドルレベルエージェントへの指示
→今回はOntimeエージェントがこの役割
• ミドルレベルエージェント
– 下位層のデータの解釈、コンテキストの更新
– ハイレベルからの指示とコンテキストからローレベルに作業依頼
• ローレベルエージェント
– センシングしたデータの通知（ただのデータ、解釈はない）
– ミドルレベルから依頼された作業の遂行
8

9.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の主役 On Time Agent
• On Time Agentの責務
– 家主が会社に間に合うように家をでること
– 家主が家を出るまでに快適な朝をすごせるようにする
こと
• On Time Agentの責務でないこと
– 家主の起床時間の管理
– 家の外でのトラブルの対処
9

10.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
エージェントの配置イメージ
10
朝の行動の知識を家の空間に当てはめてみる

11.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実装すること
• 朝の行動の知識を活用して最適なルーティンを
シミュレーション
• 寝坊や早起きに対応
• 朝の行動中の変化にも対応できるようにする
• シミュレーションした結果をわかりやすく可視化
• シミュレーションした結果を家主にフィードバック
11

12.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実験環境
Unityのアセットでいい感じの部屋を購入(30ドル)
12

13.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実装
3DゲームエンジンUnityとAI Plannerというフレーム
ワークを使って実装してみる。
AI Plannerとは？
• ゲームAIを作成するためのUnity製フレームワーク
• 非反射型のゴール指向プランニングでエージェント
の行動を指示することができる
• プランニングはフォワードプランニング
• DOTベース(Unityの処理高速化の仕組み)
• まだver0.3のプレビュー版
13

14.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実装
UnityのAI Plannerというフレームワークを使ってみる
AI Plannerとは？
• ゲームAIを作成するためのフレームワーク
• 非反射型のゴール指向プランニングでエージェント
の行動を指示することができる
• プランニングはフォワードプランニング
• DOTベース(Unityの処理高速化の仕組み)
• まだver0.3のプレビュー版
14
なるほどAI Plannerは非反射型のゴール思考プランニング
でフォワードプランニングするゲームAIね。

15.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI Plannerのプランニング
• AI Plannerのプランニングには以下が必要
– 空間に関する知識
• 出発まで残り時間
• 身支度の状況
• 家の構造 等
– 実行できるアクションと報酬
• ひげをそる（身支度できてエライ！+10点）
• 朝食を食べる等（いい朝食だと報酬が高いとか）
– 目標・ゴールとその報酬
• 時間内になんとか玄関に到達（髭あり）10点
• しっかり朝食をとって玄関に到達 100点
15

16.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI Plannerのプランニング
• AI Plannerに知識、アクション、目標を与えると
16
知識
アクション
目標

17.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI Plannerのプランニング
AI Plannerがあとはプランを総当たりで考えて、ゴー
ルへ！
17
着替える
朝食を食べる
アクション ××
アクション 〇〇
アクション ××
アクション 〇〇
アクション ××
アクション 〇〇
省略
ゴール

18.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI Plannerのプランニング
実際のプランはこんな感じ
18
現在の状態からゴールに向かうのでフォワードプランニング
かなりの力技

19.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI Plannerのプランニング
AI Plannerのプランニングは実行中も更新されつづ
けるので、シミュレーション中の状況の変更にも対応
イメージとしてはカーナビの再経路探索
19

20.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の問題のモデル化
• AI Plannerの公式サンプルにある
EscapeRoomを参考に
• EscapeRoom：３つの駒が協力して部屋を脱
出するシミュレーション
20
鍵
鍵で開く扉
赤と青の
スイッチで
開くゲート
エージェント
ゴール
エージェントが
移動できる点
=Waypoint

21.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
EscapeRoom
EscapeRoomを動かすとこんな感じ
21

22.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実験環境にあてはめる
部屋の俯瞰図
22

23.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実験環境にあてはめる
部屋の俯瞰図とWaypoint
23
トイレ
玄関
浴室
洗面台
キッチン
ダイニング
リビング
寝室
ドレッサー
廊下

24.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実験環境にあてはめる
部屋の俯瞰図とタスク
24
排泄
ゴール
シャワー
入浴
洗面
髭剃り
朝食準備
コーヒー準備
朝食
コーヒー
着替え
廊下
スタート

25.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ここから細かい実装の話

26.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI PlannerとDecision Controller
• AI Plannerはフレームワーク自体を指しているが、
実際にUnityのシーン（仮想空間）上でエージェ
ントを動かすしくみはDecision Controllerと呼ば
れるコンポーネント
Decision Controller
= ハイレベルエージェント
= On Time Agent
26

27.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
Decision Controllerの構成
Decision Controllerを動かすために以下
の情報を実装
① Trait Definition
② Action Definition
③ Action Callback Method
④ Termination Definition
⑤ Problem Definition
27

28.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
①Trait Definition
エージェントがアクセスするコンテキスト情報・知識を
定義する。
• OnTime：出発まで残り時間
• 生理：トイレの状態
• 身だしなみ：入浴状態、着衣の状態、洗顔状態、
髭剃り状態
• 食事：食事の状態
• 口腔ケア：歯磨きの状態
• 家全体：部屋の定義
28

29.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
①Trait Definition
定義例：
家主Trait
29

30.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
①Trait Definition
定義したTraitをUnityのシーン上のオブジェクトにコン
ポーネントとして付加し、 AI Plannerが認識できるよ
うにする。
30

31.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
②Action Definition
• 実行できるアクションを定義
31
アクションに必要な情報
アクション実行の前提条件
アクションを実行した効果
アクションの報酬

32.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
②Action Definition
今回のアクション
• 移動（Waypointの上下左右移動）
• タスク
– 着替え
– 朝食
• ゼリー
• 軽食
• しっかりした朝食
– 排泄
– 歯磨き・マウスウォッシュ
– 入浴
• シャワー
• お風呂
– 髭剃り
– 洗顔
32

33.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
③Action Callback Method
• 実行されたアクションに紐づくC#スクリプトを実行
33
Unityの仮想空間
AI Planner
Action
Action Callback Method
C# Script

34.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
③ Action Callback Method
今回作成したスクリプトは２つだけ
• 仮想家主オブジェクトをWaypointで動かす
• アクションを起こしたときにアクション名を表示する
34

35.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
④Termination Definition
エージェントが達成すべきゴール条件を定義する
• BadGoal条件（－300点）
– 家主が出発の時間までに玄関に到達できない。
• Good条件（200点）
– 家主が出発の時間までに玄関に到達する。
– 着替え、朝食を一通り済ませた
– 残り時間が10分以内
• Best条件（400点）
– Good条件 + コーヒーを飲んだ、しっかりした朝食
35

36.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
⑤ Problem Definition
• 今回のお題を解決するためのアクションとゴール条件をまとめたもの。
このProblem DefinitionをDecision Controllerに設定する。
36
使用するアクション
ゴール条件

37.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
動かしてみよう！
デモタイム！

38.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AI Plannerの良さと課題
• 良さ
– 問題と知識の定義をし、それをTraitとActionと報酬に落とし込
むだけで割とよしなに動いてくれる。（シミュレーション部分の実
装は1日もかかってない）
• 課題
– 定義ファイルを作成するのが大変（空間OSの知識から作成し
たい）
• Actionとかは上位の概念から継承とかできるとよさそう
• GUIでの操作はパターンが増えてくると面倒なのでスクリプトで直接操作し
たい
– 報酬を定義するのは大変
• 実行順の厳密なコントロールは不向き
• スクリプトを作成すれば動的に報酬も制御可能
• 複雑になればなるほど、おそらく人間がやるべき作業ではない
• 将来的には実際のユーザのふるまいから報酬を調整するようになる？
38

39.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
まとめ
• OnTimeエージェントによる行動シミュレーションを
UnityのゲームAIフレームワーク AI Plannerを活用
して簡単に構築できた
• AI Plannerはまだベータ版であるが、シミュレーショ
ンや自動テストでの活用に可能性を感じる
39

40.
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
FutureWork
• OnTimeエージェントの行動シミュレーションに変動
を与える要素の追加（バスの時間がかわるとか）
• 操作できるアバターを追加し、シミュレーションと実
際のユーザの行動状況の差分の検出
• 状況に応じた通知表現の追加
• 空間OSとの接続し、空間OSを経由した知識の
獲得、実際のセンサー情報との連携を実現する
これからも空間OSを中心としてワクワクする拡張現
実の未来を議論、実装していきます！
40

41.
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター