Poitou Charentes JUG - Traçabilité dans une architecture distribuée avec Node...
Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision interactive
1. Conception et évaluation de nouvelles
techniques d’interaction gestuelle pour la
télévision interactive
Thèse encadrée par Eric Lecolinet et Yves Guiard
Dong-Bach Vo - 24 Septembre 2013
1
7. Approche
• Surface des télécommandes
limité
• Services interactifs de plus en
plus nombreux
• Eviter d’accaparer l’attention
visuelle des téléspectateurs
7
7
8. Approche
• Surface des télécommandes
limité
• Services interactifs de plus en
plus nombreux
• Eviter d’accaparer l’attention
visuelle des téléspectateurs
• Augmenter la bande passante
interactionnelle
• Utiliser l’espace 3D disponible
autour de la télécommande?
• Utiliser la surface du corps?
8
8
9. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
9
9
10. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
10
10
11. 1. Espace de caractérisation de la télécommande
• De nombreux travaux ont tenté d’améliorer la
télécommande
11
11
12. 1. 1. Type des télécommandes
12
Dédiée
Non
Dédiée
12
13. 1. 1. Type des télécommandes
13
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
13
14. 1. 1. Type des télécommandes
14
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée GesText [Jones et al., 2010]
14
15. 1. 1. Type des télécommandes
15
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
[Block et al., 2004]
[Kimman et al., 2011]
15
16. 1. 1. Type des télécommandes
16
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
[Bailly et al., 2011]
[Goto et al., 2003]
16
17. 1. 1. Type des télécommandes
17
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
17
18. 1. 1. Type des télécommandes
18
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
[Berglund et al., 2005]
18
19. 1. 1. Type des télécommandes
19
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
Gestes
19
20. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
20
?
20
21. 2. Espace de classification du geste
21
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
21
22. 2. Espace de classification du geste
22
Type d’interaction Surface
Geste en l’air
Non instrumenté Instrumenté
22
23. 2. Espace de classification du geste
23
Type d’interaction Surface
Geste en l’air
Non instrumenté Instrumenté
23
24. 2. Espace de classification du geste
24
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Casiez et al., 2011]
24
25. 2. Espace de classification du geste
25
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Baglioni et al., 2011]
25
26. 2. Espace de classification du geste
26
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Bailly et al., 2011]
[Wilson et Shafer, 2003]
26
27. 2. Espace de classification du geste
27
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Délimiteur
Trajectoire / Forme
Orientation
Vitesse
Accélération
27
28. 2. Espace de classification du geste
28
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Séquentielle
[Ruiz and Li, CHI’2011]
Parallèle
28
29. 2. Espace de classification du geste
29
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Mécanique
Perceptif
Social
29
30. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
30
30
32. 32
3.1. Six degrés de liberté
Lacet
Tangage
Z
Roulis
X
Y
32
33. • 1 degré de rotation
• Motion Marking Menus [Oakley et al., 2003]
33
Lacet
X
3.2. Quels degrés de liberté ?
33
34. 3.2. Quels degrés de liberté ?
• 1 degré de liberté
• Motion Marking Menus [Oakley et al., 2003]
• 2 degrés de libertés
• TiltText [Wigdor, 2003]
• GesText [Jones et al., 2010]
34
GesText
Z
X
TiltText
Roulis
Tangage
34
35. • Quels gestes les utilisateurs réalisent spontanément
pour atteindre une cible sur un écran ?
35
3.2. Quels degrés de liberté ?
35
36. 36
0 1 2 3 4 5 6 7 8 9
Smartphone Télécommande
Nombre de participants
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
3.2. Quels degrés de liberté ?
36
37. 37
0 1 2 3 4 5 6 7 8 9
Smartphone Télécommande
Nombre de participants
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
3.2. Quels degrés de liberté ?
Tangage
Roulis
Z
X
37
38. 38
0 1 2 3 4 5 6 7 8 9
Smartphone Télécommande
Nombre de participants
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
Lacet
Tangage
X
Y
3.2. Quels degrés de liberté ?
Tangage
Roulis
Z
X
38
39. Lacet
• Optimiser l’espace 3D ?
39
Tangage
X
Y
3.2. Quels degrés de liberté ?
39
40. Lacet
• Optimiser l’espace 3D ?
40
3.2. Quels degrés de liberté ?
Roulis
Z
Tangage
X
Y
40
41. 3.3. Exploration de la dimension de roulis
• Discrétisation de l’amplitude absolue de mouvement
du poignet avec retour visuel [Rahman et al. ’09]
41
Z
Roulis
16 niveaux
41
42. 3.3. Exploration de la dimension de roulis
• Combien d’éléments peuvent contrôler les utilisateurs
sans retour visuel et sans regarder la télécommande ?
• But : collecter des mesures d’amplitudes angulaires
42
? Gauche Droite
42
43. • Combien d’éléments peuvent contrôler les utilisateurs
sans retour visuel et sans regarder la télécommande ?
5
7
9
43
3.3. Exploration de la dimension de roulis
Gauche Milieu Droite
11
Facteur : nombre d’éléments à discriminer
43
44. • Résultats
• L’amplitude angulaire totale utilisée dépend des participants
162° 326°
44
3.3. Exploration de la dimension de roulis
7 éléments
Minimum Maximum
44
45. • Résultats
• L’amplitude angulaire totale utilisée dépend des participants
• L’amplitude angulaire totale dépend du nombre d’éléments à
discriminer
45
3.3. Exploration de la dimension de roulis
Amplitude angulaire moyenne en degrés
371
318
265
212
159
106
53
0
371
343
306
159
5 élts 7 élts 9 élts 11 élts
45
46. • Reconnaissance des éléments
• Algorithme des k-PPV
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
46
3.3. Exploration de la dimension de roulis
46
47. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
47
3.3. Exploration de la dimension de roulis
47
48. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
48
3.3. Exploration de la dimension de roulis
48
49. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
• 7 éléments à approfondir
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
49
3.3. Exploration de la dimension de roulis
49
50. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
• Taux satisfaisant pour 7 élém. avec
reco. intra-utilisateur
100
80
60
40
20
0
96
87,7
7 élem. inter-u 7 élem intra-u
Taux de précision (en %)
Taux de précision moyen
50
3.3. Exploration de la dimension de roulis
50
51. 3.3. Menu hiérarchique gestuel à deux niveaux
• Accès aux commandes
• Accès à un nombre de commandes suffisant
• Mode novice et mode expert
51
51
53. 53
3.4. Conception de nouvelles techniques
2nd Niveau
1er Niveau
Nombre d’actions
trop important
Difficile à réaliser
mécaniquement
Résultats décevants
Nombre d’actions
trop important
53
54. 54
3.4. Conception de nouvelles techniques
2nd Niveau
1er Niveau
Nombre d’actions
trop important
Difficile à réaliser
mécaniquement
Résultats décevants
Nombre d’actions
trop important
54
55. • Réaliser le couple de gestes qui correspond au stimulus
55
3.4. Conception de nouvelles techniques
55
56. 56
3.4. Conception de nouvelles techniques
100,0
80,0
60,0
40,0
20,0
0
Taux moyen de précision par technique
89,5 86,8
94,2
97,4 98,4
Taux en %
56
57. 57
3.4. Conception de nouvelles techniques
100,0
80,0
60,0
40,0
20,0
0
Taux moyen de précision par technique
89,5 86,8
94,2
97,4 98,4
Taux en %
57
58. 3.4. Conception de nouvelles techniques
• Résultats
58
2100
1575
1050
525
0
Temps de sélection moyen par technique
2020
1653 1680
1401 1388
Temps en ms
58
59. 3.4. Conception de nouvelles techniques
• Résultats
59
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
59
60. 3.4. Conception de nouvelles techniques
• Résultats
60
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
60
61. 3.4. Conception de nouvelles techniques
• Résultats
61
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
61
62. 3. Rappel des résultats
• Expérience 1
• Rotations avec un dispositif dans la main
• Télécommande : le tangage et le lacet pour interagir avec un
écran distant
• Roulis : 7 éléments sans regarder l’écran et la télécommande
• Expérience 2
• Combinaison boutons directionnels et geste 3D performante
62
62
63. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
63
63
65. 4.1. Travaux antérieurs
• Essentiellement bras et mains
65
[Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al., 2011]
[Holz et al., 2012]
65
66. • Essentiellement bras et mains
• Problèmes
• Parties du corps mobiles
• Souvent impliquées dans une tâche
66
4.1. Travaux antérieurs
66
67. 4.1. Travaux antérieurs
• Essentiellement bras et mains
• Problèmes
• Parties du corps mobiles
• Souvent impliquées dans une tâche
67
«Un endroit approprié pour l’informatique portée devrait
être un endroit dont le mouvement et la flexibilité est
minime et qui maximise la surface d’interaction.»
[Gemperle et al., ISWC’98]
67
68. 68
4.1. Travaux antérieurs
«Le sternum pourrait être un
endroit approprié pour contrôler
du textile intelligent pendant des
activités sportives...»
[Karrer et al., CHI’11]
68
69. 69
4.1. Travaux antérieurs
«Le sternum pourrait être un
endroit approprié pour contrôler
du textile intelligent pendant des
activités sportives...»
[Karrer et al., CHI’11]
«Les cibles sur la partie supérieure
du corps étaient préférées [...] et
celles sur le torse plus que sur le
bras dominant...»
[Wagner et al., CHI’13]
69
70. 4.2. Avantages de la surface de l’abdomen
• Proprioception
• Relativement large
• Relativement stable
• Facilement accessible
• Repère physique
• Intime
70
Thorax
Abdomen
Tronc
70
72. • La perception spatiale sur la peau [Parson et al., 1987]:
• Orientation et la position de la surface
• Représentation interne de la gravité
• Informations collectées par la surface
• Pas de référentiel privilégié pour les parties verticales sous le
thorax
72
4.3. Interaction sur l’abdomen
72
73. • Dessiner le chiffre «deux» sur votre abdomen
73
4.3. Interaction sur l’abdomen
73
74. • Dessiner le chiffre «deux» sur votre abdomen
74
4.3. Interaction sur l’abdomen
74
75. 4.3. Expérimentation : Principe
• Faire dessiner sur l’abdomen le stimulus affiché sur un
écran distant
75
75
78. 4.3. Expérimentation : Facteurs
• Stimuli de l’expérimentation
78
Haut Haut
Droite
Droite Bas
Droite
Bas Bas
Gauche
Gauche Haut
Gauche
Un Deux Trois Quatre Cinq Six Sept Huit Neuf Zéro
Textuel Graphique Textuel Graphique
Matériel Directionnel
Matériel Numéral
78
79. 4.4. Etude 1 : Catégorisation de la représentation
79
Inversion gauche-droite
Inversion haut-bas 79
82. 82
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Inversion
Haut-Bas Gauche-Droite
Graphique Textuel
«It might strongly be possible that I write
on my belly as if I was looking at it.»
«I performed the gesture if I was in front
of a mirror without thinking too much.»
Reproduction des chiffres
82
83. • Peu d’inversions haut-bas
Inversion
Haut-Bas Gauche-Droite
83
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Graphique Textuel
Reproduction des directions
Inv. gauche-droite
Inv. haut-bas
83
84. • Peu d’inversions haut-bas
• Pratiquement pas
d’inversions gauche-droite
Inversion
Haut-Bas Gauche-Droite
84
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Graphique Textuel
Reproduction des directions
Inv. gauche-droite
Inv. haut-bas
84
85. • Peu d’inversions haut-bas
• Pratiquement pas
d’inversions gauche-droite
• Représentation stable
Inversion
Haut-Bas Gauche-Droite
85
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Graphique Textuel
Reproduction des directions
Inv. gauche-droite
Inv. haut-bas
85
86. 4.4. Etude 1 : Catégorisation de la représentation
• Préférences subjectives
86
5
4
3
2
1
Facile
Rapide
Précis
Agréable
Fatigant
Direction Chiffre
86
87. 4.4. Etude 1 : Catégorisation de la représentation
• Préférences subjectives
87
5
4
3
2
1
Facile
Rapide
Précis
Agréable
Fatigant
Direction Chiffre
87
88. 4.4. Etude 1 : Catégorisation de la représentation
• Préférences subjectives
88
5
4
3
2
1
Facile
Rapide
Précis
Agréable
Fatigant
Direction Chiffre
88
89. • Caractérisation des gestes linéaires
• Temps d’exécution
• Amplitude
• Linéarité
• Biais directionnel
89
4.4. Etude 2 : Catégorisation des gestes directionnels
89
90. • Caractérisation des gestes linéaires
• De 1 à 1.2 seconde en moyenne
• De 15 à 20 cm environ en moyenne
90
4.4. Etude 2 : Catégorisation des gestes directionnels
90
91. 4.4. Etude 2 : Catégorisation des gestes directionnels
• Linéarité
• Tracés presque
linéaires
• Ouest plus linéaires
91
0,99
0,97
0,95
0,93
0,91
EST
N-E
NORD
S-O
SUD
N-O
OUEST
S-E
Linéarité (max r²)
N
O E
S
91
92. !
"#
$!
%&#
%'!
((#
()!
&%#
*+,-
,./-01*+,-
,./-0
,./-012*,-
2*,-
3.4-012*,-
3.4-0
3.4-01*+,-
Angle moyen des gestes en degrés
• Biais directionnel
• EST difficile à atteindre
• Extension du bras plus facile
à réaliser
92
4.4. Etude 2 : Catégorisation des gestes directionnels
N
O E
S
92
93. Rappel des résultats
• Représentation spatiale instable pour les chiffres
• Représentation spatiale stable pour les gestes
directionnels
• Les gestes qui permettent d’étendre le bras sont plus
faciles à réaliser
• Les gestes sur l’abdomen sont pratiques pour
• Les actions qui requièrent un minimum de temps
• Effectuer des actions sans accaparer l’attention visuelle
93
93
94. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
94
94
95. 5. Conclusion et perspectives
• Contributions
• Espace de caractérisation de la
télécommande (IHM 2011)
• Espace de caractérisation du geste
• Techniques d’interaction pour
télécommande augmentée (ICMI 2011)
• Identification des degrés de liberté
utilisées
• Combinaison boutons-gestes 3D
performante
95
95
96. 5. Conclusion et perspectives
• Contributions
• Techniques d’interaction sur l’abdomen
(soumis à CHI 2014)
• Représentation spatiale différente selon
les utilisateurs
• Instable pour les chiffres
• Stable pour les directions
• Directions plus performantes avec des
mouvements d’extension du bras
96
2?
96
97. 5. Conclusion et perspectives
• Perspectives
• Amélioration des techniques d’interaction avec un meilleur
algorithme
97
97
98. • Interaction sur l’abdomen : mobilité
• Micro-interaction [Ashbrook,2010]
• Interaction qui demande peu d’attention [Hudson et al, 2010]
98
5. Conclusion et perspectives
98
99. 5. Conclusion et perspectives
• Méthodes d’évaluation ?
99
100,0
80,0
60,0
40,0
20,0
0
97,4 98,4
Taux de précision en %
1410
1057,5
705
352,5
0
1401 1388
Temps de sélection en ms
99
100. 5. Conclusion et perspectives
• Méthodes d’évaluation ?
100
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y
100