Forum de l\'Interaction Gestuelle et Tactile, Lille 2011

1. 1

2. FITG11, 22/10/2011
Durée de vie d'un geste
Génération, Reconnaissance
&
Consommation
Mohamed­Ikbel Boulabiar
Telecom Bretagne – ubuntu
boulabiar@gmail.com
2

3. Introduction
Reconnaissance de gestes ?
Poursuite de l'interaction « Naturelle »
3

4. Introduction
Interaction à faible coût
PS3 Eye (<40€)
4

5. Détection des mains
● Transformation de l'espace de couleurs
BGR YCrCb
5

6. Détection des mains
● Extraction des couleurs de la main
Y
[Cr]
[Cb]
6

7. Détection des mains
●
Marquage des blobs
Linear­time component­labeling algorithm
[Chang et al. 2004]
●
Suivie des blobs
Appearance models for occlusion handling
[Senior et al. 2006]
Implementation dans « cvblob »
[CarneroLiñán 09]
7

8. Détection des mains
Blob
(id, centre, contour)
8

9. Sortie depuis le prétraitement
Fingertips Mouvement
(id, centre, contour) 9

10. Reconnaissance de postures
● Reconnaissance ?
● Réseaux de neuronnes ?
● HMM ?
● SVM
● Algorithmes géométriques
● [Rubine 1991]
● 1$ Gesture [Wobbrock 2007]
● Protractor [Li 2010]
10

11. Reconnaissance de tracés
●
[Rubine 1991]
●
1$ Gesture [Wobbrock 2007]
●
Protractor [Li 2010]
11

12. 1$ Gesture
12

13. Vidéo
(or it didn't happen)
13

14. Postures + Gestures
14

15. Reconnaissance
15

16. Travail principal
Génération Reconnaissance Routage
16

17. Génération du geste
17

18. Projet Rev­TV
●
Contrôle et animation d'un Avatar
●
Réalité augmentée pour Talk­Show
18

19. Étude Exploratoire
Étude des Talk­Shows
●
Extraction des gestes
●
Classification en familles
●
Évaluation des difficultés
19

20. Étude Exploratoire
20

21. Étude Bibliographique
Basé sur Gesture&Thought [McNeill 05]
●
Emblèmes
●
Gestes involontaires
●
Gestes co­verbaux
●
Pantomimes
21

22. Étude Bibliographique
Basée sur Gesture&Thought [McNeill 05]
●
Emblèmes (Commande)
●
Gestes involontaires (Animation)
●
Gestes co­verbaux
●
Pantomimes
22

23. Proposition
Proposition l'utilisation de « ishara » pour la
représentation graphique
CC­BY, https://github.com/boulabiar/ishara
23

24. Routage
24

25. Routage des événements
25

26. Routage des événements
26

27. Routage des événements
27

28. Routage des événements
« Ginn »
28

29. Résumé
« ishara » algorithme « Ginn »
géométrique
classification Contrôle
système
29

30. Conclusion
30