Support de présentation utilisée lors de de la soutenance de thèse.

1. Conception et évaluation de nouvelles
techniques d’interaction gestuelle pour la
télévision interactive
Thèse encadrée par Eric Lecolinet et Yves Guiard
Dong-Bach Vo - 24 Septembre 2013
1

2. Qu’est-ce que la télévision interactive ?
2
2

3. Qu’est-ce que la télévision interactive ?
3
3

4. Qu’est-ce que la télévision interactive ?
4
4

5. La télécommande du futur ?
5
5

6. Des menus complexes
6
6

7. Approche
• Surface des télécommandes
limité
• Services interactifs de plus en
plus nombreux
• Eviter d’accaparer l’attention
visuelle des téléspectateurs
7
7

8. Approche
• Surface des télécommandes
limité
• Services interactifs de plus en
plus nombreux
• Eviter d’accaparer l’attention
visuelle des téléspectateurs
• Augmenter la bande passante
interactionnelle
• Utiliser l’espace 3D disponible
autour de la télécommande?
• Utiliser la surface du corps?
8
8

9. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
9
9

10. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
10
10

11. 1. Espace de caractérisation de la télécommande
• De nombreux travaux ont tenté d’améliorer la
télécommande
11
11

12. 1. 1. Type des télécommandes
12
Dédiée
Non
Dédiée
12

13. 1. 1. Type des télécommandes
13
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
13

14. 1. 1. Type des télécommandes
14
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée GesText [Jones et al., 2010]
14

15. 1. 1. Type des télécommandes
15
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
[Block et al., 2004]
[Kimman et al., 2011]
15

16. 1. 1. Type des télécommandes
16
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
[Bailly et al., 2011]
[Goto et al., 2003]
16

17. 1. 1. Type des télécommandes
17
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
17

18. 1. 1. Type des télécommandes
18
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
[Berglund et al., 2005]
18

19. 1. 1. Type des télécommandes
19
Dédiée
Non
Dédiée
Traditionnelle
Augmentée
Tangible
Dématérialisée
Compagnon
Objet du quotidien
Gestes
19

20. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
20
?
20

21. 2. Espace de classification du geste
21
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
21

22. 2. Espace de classification du geste
22
Type d’interaction Surface
Geste en l’air
Non instrumenté Instrumenté
22

23. 2. Espace de classification du geste
23
Type d’interaction Surface
Geste en l’air
Non instrumenté Instrumenté
23

24. 2. Espace de classification du geste
24
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Casiez et al., 2011]
24

25. 2. Espace de classification du geste
25
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Baglioni et al., 2011]
25

26. 2. Espace de classification du geste
26
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Epistémique
Ergotique
Sémiotique
[Bailly et al., 2011]
[Wilson et Shafer, 2003]
26

27. 2. Espace de classification du geste
27
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Délimiteur
Trajectoire / Forme
Orientation
Vitesse
Accélération
27

28. 2. Espace de classification du geste
28
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Séquentielle
[Ruiz and Li, CHI’2011]
Parallèle
28

29. 2. Espace de classification du geste
29
Type d’interaction
Fonction
Anatomie
Combinaison
Contexte
Mécanique
Perceptif
Social
29

30. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
30
30

31. 3. Interaction gestuelle avec télécommande
31
?
31

32. 32
3.1. Six degrés de liberté
Lacet
Tangage
Z
Roulis
X
Y
32

33. • 1 degré de rotation
• Motion Marking Menus [Oakley et al., 2003]
33
Lacet
X
3.2. Quels degrés de liberté ?
33

34. 3.2. Quels degrés de liberté ?
• 1 degré de liberté
• Motion Marking Menus [Oakley et al., 2003]
• 2 degrés de libertés
• TiltText [Wigdor, 2003]
• GesText [Jones et al., 2010]
34
GesText
Z
X
TiltText
Roulis
Tangage
34

35. • Quels gestes les utilisateurs réalisent spontanément
pour atteindre une cible sur un écran ?
35
3.2. Quels degrés de liberté ?
35

36. 36
0 1 2 3 4 5 6 7 8 9
Smartphone Télécommande
Nombre de participants
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
3.2. Quels degrés de liberté ?
36

37. 37
0 1 2 3 4 5 6 7 8 9
Smartphone Télécommande
Nombre de participants
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
3.2. Quels degrés de liberté ?
Tangage
Roulis
Z
X
37

38. 38
0 1 2 3 4 5 6 7 8 9
Smartphone Télécommande
Nombre de participants
Tangage & Roulis
Tangage & Lacet
Translation selon l’axe X & Y
Lacet
Tangage
X
Y
3.2. Quels degrés de liberté ?
Tangage
Roulis
Z
X
38

39. Lacet
• Optimiser l’espace 3D ?
39
Tangage
X
Y
3.2. Quels degrés de liberté ?
39

40. Lacet
• Optimiser l’espace 3D ?
40
3.2. Quels degrés de liberté ?
Roulis
Z
Tangage
X
Y
40

41. 3.3. Exploration de la dimension de roulis
• Discrétisation de l’amplitude absolue de mouvement
du poignet avec retour visuel [Rahman et al. ’09]
41
Z
Roulis
16 niveaux
41

42. 3.3. Exploration de la dimension de roulis
• Combien d’éléments peuvent contrôler les utilisateurs
sans retour visuel et sans regarder la télécommande ?
• But : collecter des mesures d’amplitudes angulaires
42
? Gauche Droite
42

43. • Combien d’éléments peuvent contrôler les utilisateurs
sans retour visuel et sans regarder la télécommande ?
5
7
9
43
3.3. Exploration de la dimension de roulis
Gauche Milieu Droite
11
Facteur : nombre d’éléments à discriminer
43

44. • Résultats
• L’amplitude angulaire totale utilisée dépend des participants
162° 326°
44
3.3. Exploration de la dimension de roulis
7 éléments
Minimum Maximum
44

45. • Résultats
• L’amplitude angulaire totale utilisée dépend des participants
• L’amplitude angulaire totale dépend du nombre d’éléments à
discriminer
45
3.3. Exploration de la dimension de roulis
Amplitude angulaire moyenne en degrés
371
318
265
212
159
106
53
0
371
343
306
159
5 élts 7 élts 9 élts 11 élts
45

46. • Reconnaissance des éléments
• Algorithme des k-PPV
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
46
3.3. Exploration de la dimension de roulis
46

47. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
47
3.3. Exploration de la dimension de roulis
47

48. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
48
3.3. Exploration de la dimension de roulis
48

49. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
• 7 éléments à approfondir
100
75
50
25
0
63,1
77,1
87,7
96,3
5 élts 7 élts 9 élts 11 élts
Taux de précision (en %)
Taux de précision moyen
49
3.3. Exploration de la dimension de roulis
49

50. • Reconnaissance des éléments
• Algorithme des k-PPV
• Taux très satisfaisant pour 5 élem.
• Taux insuffisant pour 9 & 11 élem.
• Taux satisfaisant pour 7 élém. avec
reco. intra-utilisateur
100
80
60
40
20
0
96
87,7
7 élem. inter-u 7 élem intra-u
Taux de précision (en %)
Taux de précision moyen
50
3.3. Exploration de la dimension de roulis
50

51. 3.3. Menu hiérarchique gestuel à deux niveaux
• Accès aux commandes
• Accès à un nombre de commandes suffisant
• Mode novice et mode expert
51
51

52. 3.4. Conception de nouvelles techniques
52
2nd Niveau
1er Niveau
52

53. 53
3.4. Conception de nouvelles techniques
2nd Niveau
1er Niveau
Nombre d’actions
trop important
Difficile à réaliser
mécaniquement
Résultats décevants
Nombre d’actions
trop important
53

54. 54
3.4. Conception de nouvelles techniques
2nd Niveau
1er Niveau
Nombre d’actions
trop important
Difficile à réaliser
mécaniquement
Résultats décevants
Nombre d’actions
trop important
54

55. • Réaliser le couple de gestes qui correspond au stimulus
55
3.4. Conception de nouvelles techniques
55

56. 56
3.4. Conception de nouvelles techniques
100,0
80,0
60,0
40,0
20,0
0
Taux moyen de précision par technique
89,5 86,8
94,2
97,4 98,4
Taux en %
56

57. 57
3.4. Conception de nouvelles techniques
100,0
80,0
60,0
40,0
20,0
0
Taux moyen de précision par technique
89,5 86,8
94,2
97,4 98,4
Taux en %
57

58. 3.4. Conception de nouvelles techniques
• Résultats
58
2100
1575
1050
525
0
Temps de sélection moyen par technique
2020
1653 1680
1401 1388
Temps en ms
58

59. 3.4. Conception de nouvelles techniques
• Résultats
59
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
59

60. 3.4. Conception de nouvelles techniques
• Résultats
60
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
60

61. 3.4. Conception de nouvelles techniques
• Résultats
61
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll
61

62. 3. Rappel des résultats
• Expérience 1
• Rotations avec un dispositif dans la main
• Télécommande : le tangage et le lacet pour interagir avec un
écran distant
• Roulis : 7 éléments sans regarder l’écran et la télécommande
• Expérience 2
• Combinaison boutons directionnels et geste 3D performante
62
62

63. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste de la main
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
63
63

64. 4. Interaction gestuelle sur le corps
64
64

65. 4.1. Travaux antérieurs
• Essentiellement bras et mains
65
[Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al., 2011]
[Holz et al., 2012]
65

66. • Essentiellement bras et mains
• Problèmes
• Parties du corps mobiles
• Souvent impliquées dans une tâche
66
4.1. Travaux antérieurs
66

67. 4.1. Travaux antérieurs
• Essentiellement bras et mains
• Problèmes
• Parties du corps mobiles
• Souvent impliquées dans une tâche
67
«Un endroit approprié pour l’informatique portée devrait
être un endroit dont le mouvement et la flexibilité est
minime et qui maximise la surface d’interaction.»
[Gemperle et al., ISWC’98]
67

68. 68
4.1. Travaux antérieurs
«Le sternum pourrait être un
endroit approprié pour contrôler
du textile intelligent pendant des
activités sportives...»
[Karrer et al., CHI’11]
68

69. 69
4.1. Travaux antérieurs
«Le sternum pourrait être un
endroit approprié pour contrôler
du textile intelligent pendant des
activités sportives...»
[Karrer et al., CHI’11]
«Les cibles sur la partie supérieure
du corps étaient préférées [...] et
celles sur le torse plus que sur le
bras dominant...»
[Wagner et al., CHI’13]
69

70. 4.2. Avantages de la surface de l’abdomen
• Proprioception
• Relativement large
• Relativement stable
• Facilement accessible
• Repère physique
• Intime
70
Thorax
Abdomen
Tronc
70

71. Interaction avec l’abdomen ?
• Comment interagir avec l’abdomen lorsqu’on
regarde la télévision ?
71
71

72. • La perception spatiale sur la peau [Parson et al., 1987]:
• Orientation et la position de la surface
• Représentation interne de la gravité
• Informations collectées par la surface
• Pas de référentiel privilégié pour les parties verticales sous le
thorax
72
4.3. Interaction sur l’abdomen
72

73. • Dessiner le chiffre «deux» sur votre abdomen
73
4.3. Interaction sur l’abdomen
73

74. • Dessiner le chiffre «deux» sur votre abdomen
74
4.3. Interaction sur l’abdomen
74

75. 4.3. Expérimentation : Principe
• Faire dessiner sur l’abdomen le stimulus affiché sur un
écran distant
75
75

76. 4.3. Expérimentation : Facteurs
• Lignes directionnelles
• Chiffres
76
76

77. • Présentation graphique
• Présentation textuelle
77
4.3. Expérimentation : Facteurs
Facteurs Graphique Textuel
Simple «Droite»
Complexe «Deux»
77

78. 4.3. Expérimentation : Facteurs
• Stimuli de l’expérimentation
78
Haut Haut
Droite
Droite Bas
Droite
Bas Bas
Gauche
Gauche Haut
Gauche
Un Deux Trois Quatre Cinq Six Sept Huit Neuf Zéro
Textuel Graphique Textuel Graphique
Matériel Directionnel
Matériel Numéral
78

79. 4.4. Etude 1 : Catégorisation de la représentation
79
Inversion gauche-droite
Inversion haut-bas 79

80. 4.4. Etude 1 : Catégorisation de la représentation
• Inversion haut-bas
quasi-constante
80
50 %
40 %
30 %
20 %
10 %
0 %
Inversion
Haut-Bas Gauche-Droite
Graphique Textuel
Reproduction des chiffres
Inv. gauche-droite
Inv. haut-bas
80

81. 4.4. Etude 1 : Catégorisation de la représentation
• Inversion haut-bas
quasi-constante
• condition textuelle:
inversions gauche-droite
81
50 %
40 %
30 %
20 %
10 %
0 %
Inversion
Haut-Bas Gauche-Droite
Graphique Textuel
Reproduction des chiffres
Inv. gauche-droite
Inv. haut-bas
81

82. 82
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Inversion
Haut-Bas Gauche-Droite
Graphique Textuel
«It might strongly be possible that I write
on my belly as if I was looking at it.»
«I performed the gesture if I was in front
of a mirror without thinking too much.»
Reproduction des chiffres
82

83. • Peu d’inversions haut-bas
Inversion
Haut-Bas Gauche-Droite
83
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Graphique Textuel
Reproduction des directions
Inv. gauche-droite
Inv. haut-bas
83

84. • Peu d’inversions haut-bas
• Pratiquement pas
d’inversions gauche-droite
Inversion
Haut-Bas Gauche-Droite
84
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Graphique Textuel
Reproduction des directions
Inv. gauche-droite
Inv. haut-bas
84

85. • Peu d’inversions haut-bas
• Pratiquement pas
d’inversions gauche-droite
• Représentation stable
Inversion
Haut-Bas Gauche-Droite
85
4.4. Etude 1 : Catégorisation de la représentation
50 %
40 %
30 %
20 %
10 %
0 %
Graphique Textuel
Reproduction des directions
Inv. gauche-droite
Inv. haut-bas
85

86. 4.4. Etude 1 : Catégorisation de la représentation
• Préférences subjectives
86
5
4
3
2
1
Facile
Rapide
Précis
Agréable
Fatigant
Direction Chiffre
86

87. 4.4. Etude 1 : Catégorisation de la représentation
• Préférences subjectives
87
5
4
3
2
1
Facile
Rapide
Précis
Agréable
Fatigant
Direction Chiffre
87

88. 4.4. Etude 1 : Catégorisation de la représentation
• Préférences subjectives
88
5
4
3
2
1
Facile
Rapide
Précis
Agréable
Fatigant
Direction Chiffre
88

89. • Caractérisation des gestes linéaires
• Temps d’exécution
• Amplitude
• Linéarité
• Biais directionnel
89
4.4. Etude 2 : Catégorisation des gestes directionnels
89

90. • Caractérisation des gestes linéaires
• De 1 à 1.2 seconde en moyenne
• De 15 à 20 cm environ en moyenne
90
4.4. Etude 2 : Catégorisation des gestes directionnels
90

91. 4.4. Etude 2 : Catégorisation des gestes directionnels
• Linéarité
• Tracés presque
linéaires
• Ouest plus linéaires
91
0,99
0,97
0,95
0,93
0,91
EST
N-E
NORD
S-O
SUD
N-O
OUEST
S-E
Linéarité (max r²)
N
O E
S
91

92. !
"#
$!
%&#
%'!
((#
()!
&%#
*+,-
,./-01*+,-
,./-0
,./-012*,-
2*,-
3.4-012*,-
3.4-0
3.4-01*+,-
Angle moyen des gestes en degrés
• Biais directionnel
• EST difficile à atteindre
• Extension du bras plus facile
à réaliser
92
4.4. Etude 2 : Catégorisation des gestes directionnels
N
O E
S
92

93. Rappel des résultats
• Représentation spatiale instable pour les chiffres
• Représentation spatiale stable pour les gestes
directionnels
• Les gestes qui permettent d’étendre le bras sont plus
faciles à réaliser
• Les gestes sur l’abdomen sont pratiques pour
• Les actions qui requièrent un minimum de temps
• Effectuer des actions sans accaparer l’attention visuelle
93
93

94. Plan de la présentation
1. Espace de classification des télécommandes
2. Espace de classification du geste
3. Interaction gestuelle avec télécommande
4. Interaction gestuelle sur le corps
5. Conclusion et perspectives
94
94

95. 5. Conclusion et perspectives
• Contributions
• Espace de caractérisation de la
télécommande (IHM 2011)
• Espace de caractérisation du geste
• Techniques d’interaction pour
télécommande augmentée (ICMI 2011)
• Identification des degrés de liberté
utilisées
• Combinaison boutons-gestes 3D
performante
95
95

96. 5. Conclusion et perspectives
• Contributions
• Techniques d’interaction sur l’abdomen
(soumis à CHI 2014)
• Représentation spatiale différente selon
les utilisateurs
• Instable pour les chiffres
• Stable pour les directions
• Directions plus performantes avec des
mouvements d’extension du bras
96
2?
96

97. 5. Conclusion et perspectives
• Perspectives
• Amélioration des techniques d’interaction avec un meilleur
algorithme
97
97

98. • Interaction sur l’abdomen : mobilité
• Micro-interaction [Ashbrook,2010]
• Interaction qui demande peu d’attention [Hudson et al, 2010]
98
5. Conclusion et perspectives
98

99. 5. Conclusion et perspectives
• Méthodes d’évaluation ?
99
100,0
80,0
60,0
40,0
20,0
0
97,4 98,4
Taux de précision en %
1410
1057,5
705
352,5
0
1401 1388
Temps de sélection en ms
99

100. 5. Conclusion et perspectives
• Méthodes d’évaluation ?
100
7
6
5
4
3
2
1
0
Rapide
Précis
Agréable
Fatigante
Simple
Divertissante
Préférences subjectives
Pad /Pad Pad/P&Y
100

101. Questions ?
101
?
101