The Mobile Frontier
Chapter 8.
Awakening the Senses
Touch, Gesture, Voice, and Sound
@chachaki

• アジェンダ
–Touch
–Gesture
–Voice and Sound

• Touch

• Touch
– 生まれつき(innate) かつ 親しんでいる
(intimate)
– 乳幼児でも持っている感覚
– 老いるまで持っている感覚
– 学び、害から身を守る、他者と繋がる、喜び
を体験するためにつかう

• Optimize for Generous Touch Targets
– 指はデカい
– マウスのポインタよりでかい
– PCの画面上のリンクを指でクリックするには
殺意が芽生えるほど小さすぎる
– かと言って大きすぎても画面が
無駄になる
– じゃぁどのくらいがいいの？
– 10mm (iPhoneだと8mm、
Windows Phoneだと推奨9mm
(最小7mm))

• タッチのスクリーン上の配置
SmartPhoneの場合
Thumb Zoneを考える
Tabletの場合
ソファ
カルテ
マルチタスク

• Lead with the Content, Not Interface Elements
• コンテンツで導く
– 現実のメタファ
– 潜在的なUIエレメントで表記する
– 文字で書く
– UIエレメントが必要になるまで隠す
– ビジュアルの手がかりにたよる

• Gesture

• Gesture (身体性を手に入れろ！)
– WiiやKinect
– 生まれながらのものを持っている
– 自転車乗りやシュート練習のたぐい
– モデリング
– 小さく失敗して覚える
– 現実世界の体験がベース

• Introduce New Gesture
– visual affordanceが尐ない/ない
– spring to refresh ( pull to refresh )
– rollover -> tap

• Provide Feedback with an Additional Sence
– キーボードは拡大と音で (Fig8.32)
– プレスジェスチャは虫眼鏡で (Fig8.33)

• Be Creative and Patient
– GUIは40年に渡り調査などなどしてきた
– が、ジェスチャUIはまだ形成段階
– Tap / Drag/Slide / Flick
– Pinch / Spread / Press
– Press and Tap / Rotate /Shake
– Bump / Reorient

• Voice and Sound

• Voice and Sound
– invisibility

• When to Use Voice

• Flattening Menus

• Mobile UX Sense Case Study
– iPhone’s SIRI

• 参考
– boundio

• Some VUI Fundamentals
– シングルモード。（マルチモードよりも効果
的なコミュニケーションが難しい
– タスク指向だが枝分かれのワークフローとな
る
– ユーザーの注意と認知が必要

• Swing for the Fences When Thinking about the
Senses
– 全力で。
– (例) オカリナアプリ

• ・人間には様々な知覚があり（触感、味覚、
視覚、嗅覚）、特に視覚を通じてテクノロ
ジーエクスペリエンスをナビゲートしている
• その結果として、強欲なモバイルインター
フェースが出来上がる、タッチインター
フェースはより直感的でダイレクトな情報の
操作を可能にする
• モバイルのタッチUIを作る際に十分に考慮し
なければいけない点は3つある
– 一般的なタッチターゲットのために最適化するこ
と
– スクリーンをマッピングすること
– インターフェースではなくコンテンツでリードす
ること

• ジェスチャーを用いるインターフェースはデ
ジタルなシステムによってインタラクション
をもたらすユーザーインターフェスである。
そしてマウスやキーボードによって干渉され
ない。
• あなたが作ろうとしているモバイルエクスペ
リエンスにジェスチャーを統合したいなら次
の3つの戦略を適用するべきである
– 新しいジェスチャーについてヘルプと共に紹介す
ること
– 追加された感覚についてフィードバックを含める
こと

• 音声UIはもっとも控えめなタイプのイン
ターフェースである。なぜならそれはほ
とんど見えないからだ。
• スピーチによる入力はユーザーが見るこ
とも触ることもできない状況に合ったも
のであり、声による入力と音によるレス
ポンスは制約が多い。
• 知覚について考える際は全力を傾けるよ
うにしよう。それが視覚によるインター
フェースの支配を破る最善の方法だから
だ。