1. ヒアラブルデバイスにおける
音漏れ信号を用いた空中ジェスチャ認識
鈴木 俊汰１，雨坂 宇宙１ ，杉浦 裕太１ ，渡邉 拓貴２
１慶應義塾大学，２北海道大学
01
02 実装
ハードウェア
・Apple Earpods[1]に，外部マイクを実装
・超音波信号を安定して録音
・ヒアラブルデバイスの普及
・操作にはスマートフォンのタッチやデバイスのタッチが必要
・ユーザビリティの低下
・タッチによる物理的負担
背景
アプローチ
04 結果
・8状態の精度：81.2%
・7ジェスチャの精度：78.5%
・複数人での調査
・データ拡張の採用
・画像引き延ばし 1.0倍 1.1倍
・ドップラーシフトの大きさの差異を吸収するデータ拡張
・カラーバーの調整
・最適なスペクトログラム表示の探索
問い合わせ先 info-lcl-group@keio.jp
経緯
・市販のヒアラブルデバイスから20kHzの超音波信号を再生し，
その音漏れ信号を録音
・空中ジェスチャを行う手に音漏れ信号が反射し，ドップラー効果
が発生
・ジェスチャによってドップラー効果に差異が発生し，機械学習
モデルを用いて認識
03 ジェスチャとスペクトログラム
赤：録音，青：20kHz信号の再生
解析
・20kHz信号のバンドストップフィルタ
・フーリエ解析によるスペクトログラム画像生成
実験と検証
・被験者1人に7つのジェスチャ＋ニュートラルの
計8状態を各20回取得
・20分割交差検証を実施
・Trainは16回分，Valは3回分，Testは1回分
05 今後の展望