竹村孟の公聴会で使った資料

1. 携帯端末を用いたポインティングによる
室内空間でのアドホックな
情報アクセス手法に関する研究
関西大学大学院 知識情報学専攻
竹村孟

2. 目的
1
室内空間のモノの情報をポインティングによって
アクセスし操作可能とするシステムの開発

3. 背景
身の回りには多く「モノ」が混在している
これらの「モノ」はそれぞれ情報を保持している
温度，風量，風向
チャンネル，音量
明るさ，色合い
2

4. 背景
IoTの登場により，ネットワーク上で管理可能に
「モノ」の情報が単一のデバイスで操作可能に
それぞれのリモコンが必要なくなる
スマートフォンや音声入力よって操作可能
モノの名称を指定することで操作
例）テレビの電源を付けて，エアコンの温度下げて
3

5. 問題
機器が増えるほど操作対象の選択は複雑化する
全ての「モノ」に名称を付ける必要がある
同一の「モノ」はさらにそれを識別する名称が必要
4
真ん中の照明を
つけたかったのに…

6. 問題
人間同士のコミュニケーションでは指示語が使われる
「ここの電気を消して」「昨日のあのドラマ面白かったね」
共通認識がある前提で使われる
身体を使って共通認識を補完することがある
指をさしながら「あの本取って」「これ捨てて」
5

7. 問題
IoTデバイスは空間認識を共有しない
ユーザと共通認識を持たない
指示語が理解ができない
「あの照明」がどの照明かわからない
ユーザが把握している環境での使用が前提
どの「モノ」がどんな名称で管理されているか把握
6

8. 問題
IoTの利用はユーザが把握している環境での使用が前提
自室などの居住空間
把握していない環境(宿泊施設，イベントスペース，etc…)での
利用は難しい
モノがどのような名称で管理されているかの把握が必要
どのような環境においても直観的に利用できることが望ましい
リモコン操作は直観的であるといえる
操作方法の共通認識がある
モノに向ける(ポインティングする)ことで操作対象を選択
7

9. 目的/提案手法
8
室内空間のモノの情報をポインティングによって
アクセスし操作可能とするシステムの開発
<要件>
特殊なデバイスやセンサ類を使用しない
単一のデバイスによる操作
屋内でのユーザ位置とポインティング方向の取得
ポインティングによるモノの認識
モノの個々の情報の取得
操作内容の反映

10. 提案手法
9
室内空間のモノの情報をポインティングによって
アクセスし操作可能とするシステムの開発
<要件>
特殊なデバイスやセンサ類を使用しない
単一のデバイスによる操作
屋内でのユーザ位置とポインティング方向の取得
ポインティングによるモノの認識
モノの個々の情報の取得
操作内容の反映

11. 提案手法/先行研究
佐藤らの手法よりユーザ位置とポインティング方向を算出[1]
スマートフォンのジャイロセンサのみで動作
3つの基準点のセンサの値を基にユーザの位置と方向を出力
10
[1]佐藤光起, 竹村孟, 松下光範: 室内空間におけるスマートフォンを用いたユーザ位置・方向の推定,
情報処理学会論文誌, Vol. 63,No. 9, pp. 1537–1546 (2022)

12. 提案手法
11
室内空間のモノの情報をポインティングによって
アクセスし操作可能とするシステムの開発
<要件>
特殊なデバイスやセンサ類を使用しない
単一のデバイスによる操作
屋内でのユーザ位置とポインティング方向の取得
ポインティングによるモノの認識
モノの個々の情報の取得
操作内容の反映

13. 提案手法
12
モノの寸法と空間座標のからポインティング判定領域を生成
判定領域の内側に対となる対角線を生成
ユーザ位置とポインティング方向を結ぶ直線がいずれかの
対角線と交わる時に対象を認識

14. 提案手法
13
UI取得前 UI取得後
 画面上部をスワイプすることでUIを取得
 一度取得したらポインティング不要
 上にスワイプでUIを削除

15. 提案手法
14
2つのユーザ位置からモノをポインティング
2つのポインティング方向に延びる直線の交点を求める
交点座標をモノの位置として登録

16. ユーザビリティ実験
実験対象者
20代の男女16名
実験概要
提案システム，スマートスピーカー，モバイルアプリを
用いた比較実験
実験環境に配置された3つのスマート電球を操作するタスクを行う
ユーザ観察と使用感に関する5段階評価，自由記述の
アンケートを基に評価
15

17. ユーザビリティ実験
タスク概要
電球の色を変更するタスク3個，明るさを変更するタスク5個
例）左の電球を緑色にしてください
例）右の電球の明るさを最大の４分の３にしてください
スマートスピーカーのみ音声が3回連続認識されない場合，
タスク遂行が困難である場合はタスク失敗
16

18. ユーザビリティ実験
実験環境
各電球は「スマート電球A」「スマート電球B」
「スマート電球C」の名称で管理
各操作手法で全タスク完了後電球の位置の入れ替えを行う
17

19. ユーザビリティ実験
実験結果
全ての質問項目において提案手法がスマートスピーカーを上回る
色変更タスクで3件，明るさ変更タスクで16件のタスク失敗
最初のタスクで指定された電球とは別の電球を操作する様子が
スマートスピーカーで9件，モバイルアプリで2件
18

20. ユーザビリティ実験
スマートスピーカーにおいて電球の名称と位置関係の
把握が困難な傾向を確認
操作対象選択ミス，アンケート結果から
自由記述にて
「電球の名前と位置関係を記憶しなければならなかった」
「3つが限界，4つ5つになってくると名前を覚えられない」
19
• ユーザの把握していない環境での名称指定の操作は適さない
• ポインティングでの操作はユーザにとって理解が容易で直観的である

21. モノの位置登録精度の検証
20
実験概要
U1～U3までの各ユーザ地点からA1～A6をポインティング
2地点からのポインティングを基にモノの座標を登録
実際の座標との誤差を，部屋を上から見た場合(α面)と
横から見た場合(β面)で算出

22. モノの位置登録精度の検証
21
実験結果
α面(x座標,z座標)
平均：15cm,20cm
最大：40cm,47cm
最小：1cm,5cm
β面(y座標,z座標)
平均：420cm,86cm
最大：2990cm,512cm
最小：29cm,1cm

23. モノの位置登録精度の検証
22
実験結果
α面(x座標,z座標)
平均：15cm,20cm
最大：40cm,47cm
最小：1cm,5cm
β面(y座標,z座標)
平均：420cm,86cm
最大：2990cm,512cm
最小：29cm,1cm

24. まとめ
23
背景
把握していない環境でのIoTデバイスの操作は困難
目的
モノの名称指定に依存しない操作方法の実現
提案手法
ポインティングによるモノの情報取得と操作
実験
提案手法のユーザビリティの検証
モノの位置登録精度の検証
結果
把握していない環境での提案手法の有用性を確認
モノの位置登録精度はβ面については精度不十分