加藤花歩，家永直人，杉浦裕太 人工現実感および一般(SIG-DeMO-06)，第158回ヒューマンインタフェース学会研究会，北海道，札幌，2018年10月25-26日．

1. 着脱可能な加速度センサモジュールによる
ぬいぐるみの動作推定
慶應義塾大学 理工学部
情報工学科 杉浦研究室
〇加藤花歩，家永直人，杉浦裕太
2 0 1 8 年 1 0 月 2 6 日 第 1 5 8 回 ヒ ュ ー マ ン イ ン タ フ ェ ー ス学 会 研 究 会

2. • ぬいぐるみは様々な年代の人にとって身近な存在
• インテリアや対話の相手として生活空間に存在
2
[1] DIY Branch Swing Shelves，garden therapy，https://gardentherapy.ca/branch-swing-shelves/(閲覧日2018/10/13)
ぬいぐるみ
インテリアとしての利用例[1] 対話の相手としての利用例

3. 3
ピノキオ©Disney

4. 4
TED© 2015 Universal Studios and MRC II Distribution Company LP.

5. 5
[2] 池田彩乃, 千葉祐貴, 羽田久一，パソコン操作を助けるぬいぐるみ型デバイスの開発，情報処理学会研究報告ユビキタスコンピューティングシステム（UBI），2013-UBI-
40(16)，pp.1-5，2013．
関連研究：パソコン操作を助けるぬいぐるみ型デバイス
ぬいぐるみに触れることでSNSやメールの操作をするシス
テム
ぬいぐるみの動作例[2]
ぬいぐるみにあらかじめセンサが組み込まれていなけれ
ばならない．
システム設計[2]

6. 6
[3] 森悠紀，五十嵐健夫，ぬいぐるみゅーじっく:画像認識技術による日用品の個別認識を利用した音楽操作インタフェース，2006．
関連研究：ぬいぐるみゅーじっく
ぬいぐるみを画像認識で識別することで，ぬいぐるみに応
じた音楽を流すシステム
アプリケーション[3]
カメラに遮蔽されるため，ぬいぐるみとの自然なインタ
ラクションが妨げられる．
画像取得の様[3]

7. 7
[4]安部武宏，MagneTrack:磁力線分離に基づくぬいぐるみの動作トラッキング手法，第26回インタラクティブシステムとソフトウェアに関するワークショップ
（WISS2017）
関連研究：磁力線分離を用いた動作トラッキング
ぬいぐるみの各部位に磁石を装着し，混合した磁力線を
分離することで，部位の推定を行うシステム
磁力線分離の概要[4]
スマートフォンでは，磁力線は3軸までしか観測できない．

8. • ぬいぐるみに着脱可能な加速度センサデバイスで，
ぬいぐるみの動作をセンシング
• 動作に応じた効果音を任意に登録できるシステム
8
本研究の目的と実現方法
センサ
音の登録
音の
フィードバック
①
②
③ ④
システムの概要

9. 9
リアルタイム動作推定までの流れ
センサ値の正規化
ぬいぐるみへのセン
サ装着と動作入力
CNNで識別器を
生成
推定
二次元画像化
学習フェーズ
動作推定
音の提示
音データラベル
を与える
参照
センサ値のフィルタリング

10. 10
バンド
スカート リボン
リュックサック
中身
• 加速度センサが縫い付けられたバンド型，スカート型，
リボン型の3種類のデバイスを作成
• 基板とバッテリーはリュックサック型ケースに収納
加速度デバイス 基板・バッテリー
3軸加速度センサ
デバイス

11. デバイスの装着事例
それぞれのぬいぐるみに適したセンサの装着
a）小型ぬいぐるみの場合
(14cm×9cm×12cm)
b）大型ぬいぐるみの場合
(26cm×18cm×36cm)
11

12. • 各加速度センサはマルチプレクサ経由でマイコンと接続
• PCへセンサデータを無線で送信
12
センサ値の取得と転送
システムの構成

13. 13
センサ値の画像化
• 前後フレーム間のセンサ
値の差分(絶対値)を取得し，
閾値判定
• 立ち上がり後，55フレー
ム（おおよそ1秒）分の
データを取得
• ローパスフィルタ(LPF)の
適用
• センサ値を正規化
• 256段階の数値を画素値と
するグレースケール画像
の生成
加速度センサ値
x,
y,
z,
x,
y,
z,
…
z
時系列データ
グレースケール画像
時系列データ
センサ1
センサ2
x,
y,
z,
x,
y,
z,
…
z
センサ1
センサ2
ＬＰＦ
正規化

14. 14
センサ値を画像化している様子
x,y,z軸の順に
縦に表示

15. 15
動作に応じて生成された画像データの例
x,
y,
z,
x,
y,
z
x,
y,
z,
x,
y,
z
x,
y,
z,
x,
y,
z

16. 16
CNN(畳み込みニューラルネットワーク)の構造
畳み込み層のフィルタサイズ 32，64，128
畳み込み層の活性化関数 ReLU
プーリング層のカーネルサイズ 2
全結合層の結合数 1024，動作種類数
全結合層の活性化関数 ReLU，softmax
CNNのネットワーク構造

17. 学習モードとプレイモード
学習モード：動作や音の登録
17
プレイモード：動作識別と音再生

18. 学習モードとプレイモード
学習モード：動作や音の登録
18
プレイモード：動作識別と音再生

19. 19
ケーススタディ
• 動作推定精度の検証
• 取り付けから登録までの一連の流れの体験調査
実験に用いたぬいぐるみ
(以後，番号でぬいぐるみを指定する)
①
②
③
④ ⑤
⑥
⑦
実験参加者
3名
(男性1名，女性2名)
実験で用意し
たぬいぐるみ
の個数
7個
学習データ 各動き15個
テストデータ 各動き5個
データの取得
方法
テストデータと学習
データをランダムに
取得

20. 1. 実験者から一連の体験プロセスの説明を受ける
2. 実験参加者は複数用意された大小異なるぬいぐるみの中
から1種類を選択
3. 用意されたデバイスをぬいぐるみに装着
4. ぬいぐるみにさせる5種類の動作を用紙に記載
5. 動作に応じた学習データを20回収集
6. 5種類の動作と同様の動作をさせることでインタラク
ションを体験
同様の流れを各人2回繰り返す．
20
実験手順

21. 1回目 2回目
ぬいぐるみ
の種類
② ⑦
センサパラ
メータ数
3個 × 3軸 = 9パラメータ 2個× 3軸 = 6パラメータ
装着時の
様子
登録した
動作
推定精度 80％ 88％ 21
ケース1

22. 1回目 2回目
ぬいぐるみ
の種類
⑤ ⑦
センサパラ
メータ数
2個 × 3軸 = 6パラメータ 2個× 3軸 = 6パラメータ
装着時の
様子
登録した
動作
推定精度 92％ 100％ 22
ケース2

23. 1回目 2回目
ぬいぐるみ
の種類
④ ①
センサパラ
メータ数
4個 × 3軸 = 12パラメータ 3個× 3軸 = 9パラメータ
装着時の
様子
登録した
動作
推定精度 84％ 96％ 23
ケース3

24. • 異なるユーザ間では，同じぬいぐるみに対して登録する
動作やセンサを装着する位置は異なった．
• 多くのユーザは，ぬいぐるみのモデルである動物本来の
動きをぬいぐるみにさせようとした．
• リボン型やバンド型などアクセサリのように装着できる
デバイスと異なり，衣服のように装着するスカート型デ
バイスは敬遠されていた．
• 期待通りの音のフィードバックを得られなかった場合も
ユーザは楽しんでいた．
24
観察と議論

25. 25
ユーザビリティ評価と結果
• システムユーザビリティス
ケール（System Usability Scale
Facts：SUS） を参考に，11の
項目についてアンケートを実
施
• 7段階のLikert Scaleで評価
スコア6以上のもの
• 楽しさ
• 音のフィードバックの意義
スコア3以下のもの
• 使いにくさ

26. 26
インタビューの回答
① このデバイスを用いて，どのようにぬいぐるみと遊んでみ
たいと思いましたか．
→ ぬいぐるみの感情を音で表現することによる会話
→ 2つ以上のぬいぐるみ同士での会話
② ぬいぐるみからフィードバックが得られることは，どのよ
うなことに役立つと思いますか．
→ ぬいぐるみ遊びの拡張
→ 子供の発想力や道徳心の向上
→ 精神的疲労回復効果
③ ぬいぐるみにデバイスを取り付けることに対して，どのよ
うに感じますか．
→ 着せ替え遊びのようで楽しい．
→ スカートのような衣服を装着することには抵抗がある．

27. • 加速度センサは重力加速度の影響を受けるため，体
験時には学習時のぬいぐるみの姿勢を正確に再現し
なければならない．
• 小さいぬいぐるみの場合，基板部分を背負うことが
できず移動範囲が制限される．
• 遅い動作は加速度センサ値の変化が少ないため，推
定が困難．
27
システムの制約

28. まとめ
• 加速度センサを用いたぬいぐるみの動作推定手法の開発
• アクセサリ感覚で着脱可能なデバイス
• 動作推定精度は80%～100％
• 動作推定をもとに音のフィードバックが得られるアプリ
ケーションを作成
28
まとめと今後の展望
今後の展望
• 重力加速度の考慮
• デバイスの簡易化
• 入力インタフェースとしての活用