2015 CHI@NTU Workshop - User-Defined Gesture for Flying Object Wei-Hsuan Huang, Pu-Chin Chen, Chiuan Wang, Jacky Chen

1. User-Defined Gesture !
for!
Flying Object
Wei-Hsuan Huang !
!
!

2. Motivation
• UAV is becoming more prevalent
• Interaction is always for mobile but gesture
• Not surface gesture, it’s in-air

3. Target
• Our results will help designers create better
gesture sets informed by user behavior.
• Better gesture means the learning curve of gesture
will obviously lower than mobile’s or other
controllers’
• Users prefer gesture to using controller

4. Related Work
• User-Defined Gestures for Surface Computing
• Taxonomy of Gesture in Human Computer
Interaction
• Exploring 3D Gesture Metaphors for Interaction
with Unmanned Aerial Vehicles

5. User Study
• User Study 1 (User-Defined)
• User Study 2 (User-Selected)

6. User Study 1
Done

7. Introducing User Study 1

8. Introducing User Study 1
• Questionnaire group
• Displacement
• Application
• Combination

9. Displacement
• 起飛＆降落
• 上＆下＆左＆右＆前＆後
• 左旋轉＆右旋轉
• 定點到定點

10. Application
• 對⾃自⼰己照相
• 對⾃自⼰己錄影
• 對⾃自⼰己連拍
• 選取＆跟隨

11. Combination
• 調整移動速度
• 邊移動邊旋轉
• 跟隨他⼈人拍照錄影

12. Introducing User Study 1
• Gesture & Mobile
control experience
comparison

13. Counter Balance
Gesture
first
Mobile first
Displacement
first
Function first

14. Result of User Study 1
慣⽤用⼿手⻝⾷食指指頭⽅方向(無擺動)
慣⽤用⼿手開掌掌⼼心朝向⽅方向(無擺動)
雙⼿手看似拿著飛⾏行器駕著往上
雙⼿手握拳，雙⼿手往上
慣⽤用⼿手⻝⾷食指伸直，⼿手臂的⽅方向為上下左右
慣⽤用⼿手⼿手開掌掌⼼心向前，⼿手臂伸直，⼿手臂往上下左右

15. Result of User Study 1
慣⽤用⼿手⻝⾷食指指頭⽅方向(無擺動)
慣⽤用⼿手開掌掌⼼心朝向⽅方向(無擺動)
雙⼿手看似拿著飛⾏行器駕著往上
雙⼿手握拳，雙⼿手往上
慣⽤用⼿手⻝⾷食指伸直，⼿手臂的⽅方向為上下左右
慣⽤用⼿手⼿手開掌掌⼼心向前，⼿手臂伸直，⼿手臂往上下左右
雙⼿手握拳，向左（右）轉⾝身

16. Result of User Study 1
慣⽤用⼿手四指頭⽐比⽅方向(無擺動)
慣⽤用⼿手開掌掌⼼心朝向⽅方向(無擺動)
雙⼿手推出樣（向⾃自⼰己遠離)
雙⼿手握拳，雙⼿手往前
慣⽤用⼿手⻝⾷食指指向⽅方向

17. Result of User Study 1
慣⽤用⼿手四指頭⽐比⽅方向(無擺動)
慣⽤用⼿手開掌掌⼼心朝向⽅方向+轉⾝身(無擺動)
雙⼿手擁抱樣（向⾃自⼰己靠近）
慣⽤用⼿手⼿手掌⽅方向，⼿手臂靠近⾃自⼰己
雙⼿手握拳，雙⼿手靠近⾝身體
慣⽤用⼿手拇指指向
左⼿手開掌掌⼼心向前，⼿手肘會折起表⽰示往後

18. Result of User Study 1
慣⽤用⼿手⼿手掌開、朝下
慣⽤用⼿手⻝⾷食指朝上，⼿手腕旋轉
⻝⾷食指向上指，⼿手肘旋轉
慣⽤用⼿手指向下利⽤用⼿手腕畫⼩小圓弧
慣⽤用⼿手拿球樣旋轉
慣⽤用⼿手握拳⼿手腕旋轉
兩⼿手⼿手掌相向，類似旋轉球體
慣⽤用⼿手開掌⼿手肘旋轉
慣⽤用⼿手開掌⼿手指向上，⼿手腕旋轉
左⼿手往左撥動（像是撥動⼀一顆球體）
雙⼿手開掌相向，⼀一⼿手較⾼高⼀一⼿手較低

19. Result of User Study 1
左⼿手指尖垂直接觸右⼿手掌⼼心
拍⼿手
握拳
開掌向前
右⼿手拳頭，左⼿手開掌掌⼼心朝上，右⼿手打向左⼿手
⼈人不動就停⽌止
右⼿手拇指彎曲，另外四指朝上，⼿手軸由⽔水平往上變鉛直

20. Result & Insight
• 10 males, 6 females
• Age range from 19 to 25
• Interesting findings
• absolute position
• people prefer gesture to
mobile control

21. Next Step
User Study 2

22. Introducing User Study 2
• Watch video of Gesture set
• Let users select their preferred gestures
• Let users experience gesture & mobile control
• Use Kinect v2 to implement system
• Calculate completion time and learning curve

23. Q&A

24. 可能碰到的Q&A
• 為什麼要⽤用Kinect？
• 因為使⽤用Kinect最無拘無束，不需要額外加裝sensor，若是⼿手上裝了東⻄西便會感到不是那麼舒適，若使⽤用
Leap Motion範圍⼜又太⼩小，反⽽而會影響使⽤用者⾃自定義的⼿手勢
• 為什麼要有拍照的功能？
• 因為現在⼤大部分的飛⾏行器都會搭配Camera，常⽤用的功能也都是攝影，⽽而這篇重點是如何跟Flying Object
互動，⽽而不是Flying Object可以做什麼，關於這個問題，未來可以⽤用另⼀一個題⺫⽬目來⼀一併討論打燈光，放⾳音
樂甚⾄至其他更潮的功能
• 為什麼要有定點到定點這個⼿手勢？
• 我們認為這是未來⼀一定會使⽤用到的功能，⼈人們⼀一定會希望直接指定某個絕對位置讓飛⾏行器移過去，⽽而不是⾃自
⼰己慢慢的微調到某個位置，也因為之前沒有⼈人探討過3D空間⽤用⼿手勢指定絕對位置過

25. 可能碰到的Q&A
• 為什麼會有選取？
• 我們認為上述功能預設都屬於對控制者本⾝身，但如果應⽤用上需要對其他物體做應⽤用的話，會需要這種功能，
故放進Task看受試者的反應
• 為什麼要討論in-air的⼿手勢？
• 因為我們認為in-air的⼿手勢是always available的，我們很容易可以伸出⼿手來操作，無需其他物件
• 為什麼要分Study1 & 2？
• 就像Steve Jobs講的，使⽤用者⾃自⼰己常常不知道什麼是最好的，直到你拿給他們看，所以我們讓Study1的使⽤用
者發想，Study2的使⽤用者選擇，兩群使⽤用者不重複