Soutenance de these d'Atman KENDIRA Le 27 janvier 2010 PhD presentation 27 january 2010

1. L’animation comportementale d’avatars comme
support à la communication dans les
environnements virtuels informés
Application au storytelling collaboratif
Soutenance de thèse
Atman KENDIRA
Directeur : Indira THOUVENIN
Encadrante Orange Labs : Laurence PERRON
Mercredi 27 janvier 2010
mardi 2 février 2010 1

2. 1) Le comportement non verbal
2) Modélisation
3) BAYBE
4) VIRSTORIA
5) Validation
6) Conclusion
Plan
atman.kendira@utc.fr 2
mardi 2 février 2010 2

3. Comportement non verbal Modélisation BAYBE VIRSTORIA Validation Conclusion
1910 1968
1982 1992
1877
1792 ...
1985
Les dispositifs de
Histoire communication
atman.kendira@utc.fr 3
mardi 2 février 2010 3

4. Comportement non verbal Modélisation BAYBE VIRSTORIA Validation Conclusion
Objectifs
atman.kendira@utc.fr 4
mardi 2 février 2010 4

5. Comportement non verbal Modélisation BAYBE VIRSTORIA Validation Conclusion
Découplage entre la collaboration face à face et la
collaboration distante
Problème de la double tâche
Respect du temps réel (EVC synchrone)
Éviter d’instrumenter les participants
Mise en oeuvre de modalités complexes
Problèmes
atman.kendira@utc.fr 5
mardi 2 février 2010 5

6. Modélisation BAYBE VIRSTORIA Validation Conclusion
Comportement non verbal
‟55% des messages échangés entre les interlocuteurs sont directement liés
au non verbal” [Mehrabian, 1968]
‟Les interlocuteurs sentent votre investissement à travers les expressions
faciales, les regards et les gestes” [Ekman, 1968]
Intonation de la voix
Parole (contenu)
comportement
Comportement non verbal
non verbal ?
atman.kendira@utc.fr 6
mardi 2 février 2010 6

7. Modélisation BAYBE VIRSTORIA Validation Conclusion
Comportement non verbal
‟55% des messages échangés entre les interlocuteurs sont directement liés
au non verbal” [Mehrabian, 1968]
‟Les interlocuteurs sentent votre investissement à travers les expressions
faciales, les regards et les gestes” [Ekman, 1968]
La règle de Mehrabian
!"#$
&&#$ %#$
Intonation de la voix
Parole (contenu)
comportement
Comportement non verbal
non verbal ?
atman.kendira@utc.fr 6
mardi 2 février 2010 6

8. Modélisation BAYBE VIRSTORIA Validation Conclusion
Comportement non verbal
‟55% des messages échangés entre les interlocuteurs sont directement liés
au non verbal” [Mehrabian, 1968]
‟Les interlocuteurs sentent votre investissement à travers les expressions
faciales, les regards et les gestes” [Ekman, 1968]
La règle de Mehrabian
!"#$
&&#$ %#$
Intonation de la voix
Parole (contenu)
comportement
Comportement non verbal
non verbal ?
atman.kendira@utc.fr 6
mardi 2 février 2010 6

9. Modélisation BAYBE VIRSTORIA Validation Conclusion
Comportement non verbal
‟55% des messages échangés entre les interlocuteurs sont directement liés
au non verbal” [Mehrabian, 1968]
‟Les interlocuteurs sentent votre investissement à travers les expressions
faciales, les regards et les gestes” [Ekman, 1968]
La règle de Mehrabian
!"#$
&&#$ %#$
Intonation de la voix
Parole (contenu)
comportement
Comportement non verbal
non verbal ?
atman.kendira@utc.fr 6
mardi 2 février 2010 6

10. Modélisation BAYBE VIRSTORIA Validation Conclusion
Comportement non verbal
McNeill Ekman Cosnier Argentin
Déictiques Déictiques Déictiques
Adaptateurs Adaptateurs
Iconiques Emblèmes
Métaphoriques Illustrateurs idéographiques Illustrateurs Métaphoriques
spatiographiques
Illustrateurs Illustrateurs pictomimiques
kinétographiques
Battements Bâtons rythmiques Connecteurs pragmatiques Ponctuateurs
Comportement Différentes
non verbal catégories
atman.kendira@utc.fr 7
mardi 2 février 2010 7

11. Modélisation BAYBE VIRSTORIA Validation Conclusion
Comportement non verbal
McNeill Ekman Cosnier Argentin
Déictiques Déictiques Déictiques
Adaptateurs Adaptateurs
Iconiques Emblèmes
Métaphoriques Illustrateurs idéographiques Illustrateurs Métaphoriques
spatiographiques
Illustrateurs Illustrateurs pictomimiques
kinétographiques
Battements Bâtons rythmiques Connecteurs pragmatiques Ponctuateurs
Comportement Différentes
non verbal catégories
atman.kendira@utc.fr 7
mardi 2 février 2010 7

12. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
!"#$%&$' (+,%,' ($)*%&$'
Voix Parole Gestes
Voix
Comportement
Interaction Interaction Voix
non verbal Gestes
Profil
Homme Machine Homme
Modèle du CNV Principe
atman.kendira@utc.fr 8
mardi 2 février 2010 8

13. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
!"#$%&$' (+,%,' ($)*%&$'
Contexte
Voix Parole Gestes
Voix
Comportement
Interaction Interaction Voix
non verbal Gestes
Profil
Homme Machine Homme
Modèle du CNV Principe
atman.kendira@utc.fr 8
mardi 2 février 2010 8

14. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Comportement
non verbal (CNV)
!"#$%&$' (+,%,' ($)*%&$'
Contexte
Voix Parole Collaboration Gestes
Voix
Interaction Interaction Utilisateur Voix
Gestes
Profil
Tâche
Homme Machine Homme
Modèle du CNV Principe
atman.kendira@utc.fr 8
mardi 2 février 2010 8

15. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Comportement
non verbal (CNV)
($)*%&$' (+,%,' !"#$%&$'
Contexte
Gestes Collaboration Parole
Voix
Voix
Voix Utilisateur Interaction
Gestes
Interaction
Tâche Profil
Homme Machine Homme
Modèle du CNV Principe
atman.kendira@utc.fr 9
mardi 2 février 2010 9

16. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
*+,-.+&/&012.3&
!"##$%& !"#$%&)
0341%$".
&(
!"
#$%
#$%
!"
&'
56
7-.1,$4%+%$".
&( 12.3&
*+ !
,- "#$
!" +&/&0
.+& %&'
/&0
#$%
.
,-
12.
*+
& 3
&& &&
!"##$%'
&
! " # $ %& ) &&&& && &&
Expérience Narration
Il était une fois ... collaborative
atman.kendira@utc.fr 10
mardi 2 février 2010 10

17. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
*+,-.+&/&012.3&
!"##$%& !"#$%&)
0341%$".
&(
!"
#$%
#$%
!"
&'
56
7-.1,$4%+%$".
&( 12.3&
*+ !
,- "#$
!" +&/&0
.+& %&'
/&0
#$%
.
,-
12.
*+
& 3
&& &&
!"##$%'
&
! " # $ %& ) &&&& && &&
Expérience Narration
Il était une fois ... collaborative
atman.kendira@utc.fr 10
mardi 2 février 2010 10

18. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Déictiques (D)
Comportements à
visée communicative Métaphoriques (M)
(co-verbaux)
Ponctuateurs (P)
Adaptateurs (A)
Comportements
extra-communicatifs
Gestes de
manipulation (Ma)
Catégorisation
Expérience Ma.DAMP
[Perron, 2002]
atman.kendira@utc.fr 11
mardi 2 février 2010 11

19. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Codage de l’activité ANVIL
atman.kendira@utc.fr 12
mardi 2 février 2010 12

20. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Codage de l’activité ANVIL
atman.kendira@utc.fr 12
mardi 2 février 2010 12

21. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Codage de l’activité ANVIL
atman.kendira@utc.fr 12
mardi 2 février 2010 12

22. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Codage de l’activité ANVIL
atman.kendira@utc.fr 12
mardi 2 février 2010 12

23. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Codage de l’activité ANVIL
atman.kendira@utc.fr 12
mardi 2 février 2010 12

24. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Manipulations Adaptateurs Déictiques Métaphoriques Ponctuateurs
100
75
50
25
0
Gr.1 Gr.2 Gr.3 Gr.4 Gr.5 Gr.6
Modèle de
collaboration
atman.kendira@utc.fr 13
mardi 2 février 2010 13

25. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Trois phases dans une session de jeu
1) Phase de préparation
Connaissance des règles, prise en main du jeu, élabore une stratégie
2) Phase de narration
Co-conception de l’histoire (modèle narratif)
3) Phase d’évaluation
Jugement de l’histoire, récapitulation
Modèle de Phases d’activités
collaboration
atman.kendira@utc.fr 14
mardi 2 février 2010 14

26. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Préparation Narration Evaluation
Déictiques 0!% 1,6!% 5,6!%
Adaptateurs 100!% 94!% 93,6!%
Auditeur
Métaphoriques 0!% 1,4!% 0,1!%
Ponctuateurs 0!% 2,9!% 0,7!%
Déictiques 8!% 10!% 39,9!%
Adaptateurs 92!% 65,4!% 46,2!%
Locuteur
Métaphoriques 0!% 15!% 1,9!%
Ponctuateurs 0!% 9,6!% 12,1!%
Modèle de Différentiation
collaboration locuteur/auditeur
atman.kendira@utc.fr 15
mardi 2 février 2010 15

27. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Préparation Narration Evaluation
Déictiques 0!% 1,6!% 5,6!%
Adaptateurs 100!% 94!% 93,6!%
Auditeur
Métaphoriques 0!% 1,4!% 0,1!%
Ponctuateurs 0!% 2,9!% 0,7!%
Déictiques 8!% 10!% 39,9!%
Adaptateurs 92!% 65,4!% 46,2!%
Locuteur
Métaphoriques 0!% 15!% 1,9!%
Ponctuateurs 0!% 9,6!% 12,1!%
Modèle de Différentiation
collaboration locuteur/auditeur
atman.kendira@utc.fr 15
mardi 2 février 2010 15

28. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Préparation Narration Evaluation
Déictiques 0!% 1,6!% 5,6!%
Adaptateurs 100!% 94!% 93,6!%
Auditeur
Métaphoriques 0!% 1,4!% 0,1!%
Ponctuateurs 0!% 2,9!% 0,7!%
Déictiques 8!% 10!% 39,9!%
Adaptateurs 92!% 65,4!% 46,2!%
Locuteur
Métaphoriques 0!% 15!% 1,9!%
Ponctuateurs 0!% 9,6!% 12,1!%
Modèle de Différentiation
collaboration locuteur/auditeur
atman.kendira@utc.fr 15
mardi 2 février 2010 15

29. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Préparation Narration Evaluation
Déictiques 0!% 1,6!% 5,6!%
Adaptateurs 100!% 94!% 93,6!%
Auditeur
Métaphoriques 0!% 1,4!% 0,1!%
Ponctuateurs 0!% 2,9!% 0,7!%
Déictiques 8!% 10!% 39,9!%
Adaptateurs 92!% 65,4!% 46,2!%
Locuteur
Métaphoriques 0!% 15!% 1,9!%
Ponctuateurs 0!% 9,6!% 12,1!%
Modèle de Différentiation
collaboration locuteur/auditeur
atman.kendira@utc.fr 15
mardi 2 février 2010 15

30. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Préparation Narration Evaluation
Déictiques 0!% 1,6!% 5,6!%
Adaptateurs 100!% 94!% 93,6!%
Auditeur
Métaphoriques 0!% 1,4!% 0,1!%
Ponctuateurs 0!% 2,9!% 0,7!%
Déictiques 8!% 10!% 39,9!%
Adaptateurs 92!% 65,4!% 46,2!%
Locuteur
Métaphoriques 0!% 15!% 1,9!%
Ponctuateurs 0!% 9,6!% 12,1!%
Modèle de Différentiation
collaboration locuteur/auditeur
atman.kendira@utc.fr 15
mardi 2 février 2010 15

31. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Préparation Narration Evaluation
Déictiques 0!% 1,6!% 5,6!%
Adaptateurs 100!% 94!% 93,6!%
Auditeur
Métaphoriques 0!% 1,4!% 0,1!%
Ponctuateurs 0!% 2,9!% 0,7!%
Déictiques 8!% 10!% 39,9!%
Adaptateurs 92!% 65,4!% 46,2!%
Locuteur
Métaphoriques 0!% 15!% 1,9!%
Ponctuateurs 0!% 9,6!% 12,1!%
Modèle de Différentiation
collaboration locuteur/auditeur
atman.kendira@utc.fr 15
mardi 2 février 2010 15

32. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Modèle utilisateur ACP
atman.kendira@utc.fr 16
mardi 2 février 2010 16

33. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Modèle utilisateur ACP
atman.kendira@utc.fr 16
mardi 2 février 2010 16

34. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Modèle utilisateur ACP
atman.kendira@utc.fr 16
mardi 2 février 2010 16

35. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Nombreux formalismes [Propp, 1928] ; [Greimas, 1966]
Formalisme de Bremond [Bremond, 1973 ]
Modèle de tâche Storytelling
atman.kendira@utc.fr 17
mardi 2 février 2010 17

36. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Nombreux formalismes [Propp, 1928] ; [Greimas, 1966]
Formalisme de Bremond [Bremond, 1973 ]
1) Phase initiale
Modèle de tâche Storytelling
atman.kendira@utc.fr 17
mardi 2 février 2010 17

37. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Nombreux formalismes [Propp, 1928] ; [Greimas, 1966]
Formalisme de Bremond [Bremond, 1973 ]
1) Phase initiale
2) Phase de perturbation
Modèle de tâche Storytelling
atman.kendira@utc.fr 17
mardi 2 février 2010 17

38. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Nombreux formalismes [Propp, 1928] ; [Greimas, 1966]
Formalisme de Bremond [Bremond, 1973 ]
1) Phase initiale
2) Phase de perturbation
3) Phase d’action
Modèle de tâche Storytelling
atman.kendira@utc.fr 17
mardi 2 février 2010 17

39. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Nombreux formalismes [Propp, 1928] ; [Greimas, 1966]
Formalisme de Bremond [Bremond, 1973 ]
1) Phase initiale
2) Phase de perturbation
3) Phase d’action
4) Phase de résolution
Modèle de tâche Storytelling
atman.kendira@utc.fr 17
mardi 2 février 2010 17

40. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Nombreux formalismes [Propp, 1928] ; [Greimas, 1966]
Formalisme de Bremond [Bremond, 1973 ]
1) Phase initiale
2) Phase de perturbation
3) Phase d’action
4) Phase de résolution
5) Phase finale
Modèle de tâche Storytelling
atman.kendira@utc.fr 17
mardi 2 février 2010 17

41. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
Répartition des
Modèle de tâche DAMP
atman.kendira@utc.fr 18
mardi 2 février 2010 18

42. Comportement non verbal BAYBE VIRSTORIA Validation Conclusion
Modélisation
70 %
60 %
Déictiques
Adaptateurs
Distribution DAMP
50 %
Métaphoriques
40 % Ponctuateurs
30 %
20 %
10 %
0%
Situation initiale Pertubation Action Résolution Finale
19 % 38 % 25 % 16 % 2%
Fil de l'histoire
Répartition des
Modèle de tâche DAMP
atman.kendira@utc.fr 18
mardi 2 février 2010 18

43. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
BayBe Principe
atman.kendira@utc.fr 19
mardi 2 février 2010 19

44. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
-&.'/0&1%,2"13.'"4,4*5*0%&
1 2
'()01234-./* '()*+,-./*
BayBe Principe
atman.kendira@utc.fr 19
mardi 2 février 2010 19

45. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
Transformer l’incomplétude des données expérimentales en incertitude
1
A partir des connaissances préalables et des données expérimentales
Par l’apprentissage : algorithme d’Espérance-Maximisation
2
? X2,1 ? X4,1
X1,2 X2,2 X3,2 X4,2
X1,3 X2,3 X3,3 X4,3
X1,4 ? X3,4 X4,4
? X1,1 X2,5 X2,1 X3,5 X3,1 X4,5 X4,1
XML Base de Algorithme ? X2,2 X3,2 X4,2
(ANVIL) données itératif EM X1,3 X2,3 X3,3 X4,3
3 partielles X1,4
?
?
X1,1 X2,5
X3,4
X2,1 X3,5
X4,4
X3,1 X4,5 X4,1
? X2,2 X3,2 X4,2
X1,3 X2,3 X3,3 ?
X1,4 ? X3,4 X4,4
? X2,5 X3,5 X4,5
4
BayBe Apprentissage
atman.kendira@utc.fr 20
mardi 2 février 2010 20

46. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
-&.'/0&1%,2"13.'"4,4*5*0%&
1 2
'()01234-./* '()*+,-./*
atman.kendira@utc.fr 21
mardi 2 février 2010 21

47. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
-&.'/0&1%,2"13.'"4,4*5*0%& -/0&,$36,7/0*&1
1 2 3
'()01234-./* '()*+,-./* 5678(09,)
atman.kendira@utc.fr 21
mardi 2 février 2010 21

48. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
Formalisme générique de description de modèles
probabilistes
Prend en compte l’incomplétude du modèle par la gestion de
l’incertitude
Les fréquences gestuelles observées sont assimilables à des
probabilités mathématiques
Le graphe de causalité est une représentation fidèle d’une loi
de probabilité sous-jacente
Les réseaux
BayBe bayésiens
atman.kendira@utc.fr 22
mardi 2 février 2010 22

49. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1 >*%$,2"13:><
2
=./',%&$'3:-<
3
8"1%'95&3:;<
4
BayBe Diagnostic
atman.kendira@utc.fr 23
mardi 2 février 2010 23

50. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1
2
3
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

51. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1 Mots Actions
Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
CNV
distant
3
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

52. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1 l
rofi
Mots Actions
P Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
CNV
distant
3
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

53. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
Etat
1 l
rofi
Mots Actions
P Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
CNV
distant
3
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

54. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
Etat
1 l Hi
rofi
Mots Actions
P sto
ire
Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
CNV
distant
3
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

55. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1 Mots Actions
Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
Etat
Joueur Etat CNV
Histoire distant
distant
3
Profil
Joueur
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

56. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1 Mots Actions
Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
Etat
Joueur Etat CNV
Histoire distant
distant
3
Profil
Joueur
Contexte
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

57. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1 Mots Actions
Parole Cartes
Connaiss
Temps
ance
2 Sexe Histoire
Etat
Joueur Etat CNV
Histoire distant
distant
3
Profil
Joueur
CNV
4
BayBe Diagnostic
atman.kendira@utc.fr 24
mardi 2 février 2010 24

58. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
1
>?@ >?A
2
R_0 -?A
3
4 ;3?3@ ;3?A
Evolution
BayBe temporelle
atman.kendira@utc.fr 25
mardi 2 février 2010 25

59. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
-&.'/0&1%,2"13.'"4,4*5*0%& -/0&,$36,7/0*&1
1 2 3
'()01234-./* '()*+,-./* 5678(09,)
atman.kendira@utc.fr 26
mardi 2 février 2010 26

60. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
-&.'/0&1%,2"13.'"4,4*5*0%& -/0&,$36,7/0*&1 B*',C&3,$30"'%3."1)/'/ D,EF(DG
1 2 3 4
'()01234-./* '()*+,-./* 5678(09,) 54)6960(
atman.kendira@utc.fr 26
mardi 2 février 2010 26

61. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
Heuristique : tirage au sort selon la distribution obtenue dans la phase
de diagnostic
1
Permet de restituer l’incertitude intrasecte au comportement non verbal
humain
Capacité «Proscriptive» plutôt que «Prescriptive» des distributions
2
3
4
BayBe Décision
atman.kendira@utc.fr 27
mardi 2 février 2010 27

62. Comportement non verbal Modélisation VIRSTORIA Validation Conclusion
BAYBE
Heuristique : tirage au sort selon la distribution obtenue dans la phase
de diagnostic
1
Permet de restituer l’incertitude intrasecte au comportement non verbal
humain
Capacité «Proscriptive» plutôt que «Prescriptive» des distributions
2
3
4
BayBe Décision
atman.kendira@utc.fr 27
mardi 2 février 2010 27

63. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Avatar immobile
Co-présence
Main
Espace public
Dénouement
Espace privé
Application VIRSTORY
[Braganti, 2004]
atman.kendira@utc.fr 28
mardi 2 février 2010 28

64. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
VIRSTORY + BayBe + VoIP + Reconnaissance vocale + Son spatialité
Avatar comportemental
Distant
Main
Espace public
Dénouement
Espace privé
Application VIRSTORIA
[Kendira, 2009]
atman.kendira@utc.fr 28
mardi 2 février 2010 28

65. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Participant 1 (P1) Participant 2 (P2)
Gestionnaire Gestionnaire
Contexte de Serveur Contexte de
Client Virtools
Embarqué P1 Client P2 Participant 1
Module de Contexte Module de Contexte
VIRSTORIA VIRSTORIA
Module de
Architecture Contexte
atman.kendira@utc.fr 29
mardi 2 février 2010 29

66. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Participant 1 (P1) Participant 2 (P2)
Client ComIP Client ComIP
Reconnaissance Reconnaissance
Serveur ComIP
de la parole de la parole
Module Verbal Module Verbal
Gestionnaire Gestionnaire
Contexte de Serveur Contexte de
Client Virtools
Embarqué P1 Client P2 Participant 1
Module de Contexte Module de Contexte
VIRSTORIA VIRSTORIA
Architecture Module Verbal
atman.kendira@utc.fr 30
mardi 2 février 2010 30

67. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Participant 1 (P1) Participant 2 (P2)
Client ComIP Client ComIP
Reconnaissance Reconnaissance
Serveur ComIP
de la parole de la parole
Module Verbal Module Verbal
Gestionnaire Gestionnaire
Contexte de Serveur Contexte de
Client Virtools
Embarqué P1 Client P2 Participant 1
Module de Contexte Module de Contexte
BAYBE BAYBE
PNL PNL
!"#$%!&' !"#$%!&'
(&)* (&+*
Contrôleur Contrôleur
Module Module
Comportemental Comportemental
VIRSTORIA VIRSTORIA
Module
Architecture Comportemental
atman.kendira@utc.fr 31
mardi 2 février 2010 31

68. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
atman.kendira@utc.fr 32
mardi 2 février 2010 32

69. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
Ma.DAMP
oui Animation geste de
Manipulation ? manipulation
Interpolation
atman.kendira@utc.fr 32
mardi 2 février 2010 32

70. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
Ma.DAMP
oui Animation geste de
Manipulation ? manipulation
non
oui Position (x, y, z) Geste adressé
Déictique ? cube ? IK (x, y, z)
Interpolation
atman.kendira@utc.fr 32
mardi 2 février 2010 32

71. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
Ma.DAMP
oui Animation geste de
Manipulation ? manipulation
non
oui Position (x, y, z) Geste adressé
Déictique ? cube ? IK (x, y, z)
non
oui Animation geste
Adaptateur ? Etat du joueur ?
adaptateur
Interpolation
atman.kendira@utc.fr 32
mardi 2 février 2010 32

72. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
Ma.DAMP
oui Animation geste de
Manipulation ? manipulation
non
oui Position (x, y, z) Geste adressé
Déictique ? cube ? IK (x, y, z)
non
oui Animation geste
Adaptateur ? Etat du joueur ?
adaptateur
non
oui Mot reconnu et carte Animation geste
Métaphorique ? sélectionnée ? métaphorique
Interpolation
atman.kendira@utc.fr 32
mardi 2 février 2010 32

73. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
Ma.DAMP
oui Animation geste de
Manipulation ? manipulation
non
oui Position (x, y, z) Geste adressé
Déictique ? cube ? IK (x, y, z)
non
oui Animation geste
Adaptateur ? Etat du joueur ?
adaptateur
non
oui Mot reconnu et carte Animation geste
Métaphorique ? sélectionnée ? métaphorique
non
oui Animation gestes
Ponctuateur ? ponctuateurs
aléatoires
Interpolation
atman.kendira@utc.fr 32
mardi 2 février 2010 32

74. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
BAYBE
Ma.DAMP
oui Animation geste de
Manipulation ? manipulation
non
oui Position (x, y, z) Geste adressé
Déictique ? cube ? IK (x, y, z)
non
oui Animation geste
Adaptateur ? Etat du joueur ?
adaptateur
non
oui Mot reconnu et carte Animation geste
Métaphorique ? sélectionnée ? métaphorique
non
oui Animation gestes
Ponctuateur ? ponctuateurs
aléatoires
non
Animation signes
Niveau de présence
de vie
Interpolation
atman.kendira@utc.fr 32
mardi 2 février 2010 32

75. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Participant 1 (P1) Participant 2 (P2)
Client ComIP Client ComIP
Reconnaissance Reconnaissance
Serveur ComIP
de la parole de la parole
Module Verbal Module Verbal
Gestionnaire Gestionnaire
Contexte de Serveur Contexte de
Client Virtools
Embarqué P1 Client P2 Participant 1
Module de Contexte Module de Contexte
FaceEngine BAYBE BAYBE FaceEngine
PNL PNL
!"#$%!&' !"#$%!&'
(&)* (&+*
Base Contrôleur Contrôleur Base
gestuelles gestuelles
Module Module
Comportemental Comportemental
VIRSTORIA VIRSTORIA
Avatar Participant 2 Avatar Participant 1
Module
Architecture d’Animation
atman.kendira@utc.fr 33
mardi 2 février 2010 33

76. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Synthèse d’animation réaliste du corps humain
63 animations corporelles au total
Synthèse d’animation Corporelle
atman.kendira@utc.fr 34
mardi 2 février 2010 34

77. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Synthèse d’animation réaliste du corps humain
63 animations corporelles au total
Système de Motion
Capture
Synthèse d’animation Corporelle
atman.kendira@utc.fr 34
mardi 2 février 2010 34

78. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Synthèse d’animation réaliste du corps humain
63 animations corporelles au total
Système de Motion Modeleur 3D
Capture
Synthèse d’animation Corporelle
atman.kendira@utc.fr 34
mardi 2 février 2010 34

79. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Synthèse d’animation réaliste du corps humain
63 animations corporelles au total
EEE
EEE
EEE
Système de Motion
Capture
Modeleur 3D
EEE
Synthèse d’animation Corporelle
atman.kendira@utc.fr 34
mardi 2 février 2010 34

80. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Réaliser la labialisation avec la prise de parole
Permettre l’exécution de certaines expressions faciales
Synthèse d’animation Faciale
atman.kendira@utc.fr 35
mardi 2 février 2010 35

81. Comportement non verbal Modélisation BAYBE Validation Conclusion
VIRSTORIA
Réaliser la labialisation avec la prise de parole
Permettre l’exécution de certaines expressions faciales
Synthèse d’animation Faciale
atman.kendira@utc.fr 35
mardi 2 février 2010 35

82. Comportement non verbal Modélisation BAYBE VIRSTORIA Conclusion
Validation
Valider la conception de BAYBE
12 dyades unisexes
Stagiaires de France Telecom R&D Lannion
6 dyades se connaissent
Expérience
atman.kendira@utc.fr 36
mardi 2 février 2010 36

83. Comportement non verbal Modélisation BAYBE VIRSTORIA Conclusion
Validation
Joueur 1 Joueur 2
Site 1 Site 2
ComIP
Embeded Server Client 2
D/%'*H$&0
!"#$%&'()
>%,202H$&0
*#+#%)#%&'()
Expérience
atman.kendira@utc.fr 37
mardi 2 février 2010 37

84. Comportement non verbal Modélisation BAYBE VIRSTORIA Conclusion
Validation
Verbal / Non verbal
Il était une fois ... I I
communication Homme/Homme
VIRSTORY Verbal
[Liv, 2008]
I I
communication Homme/Homme
Verbal / Non verbal
VIRSTORIA H M H
communication
Homme/Machine/Homme
Expérience
atman.kendira@utc.fr 38
mardi 2 février 2010 38

85. Comportement non verbal Modélisation BAYBE VIRSTORIA Conclusion
Validation
100 %
Déictiques
90 % Adaptateurs
Métaphoriques
80 % Ponctuateurs
Répartition DAMP
70 %
60 %
50 %
40 %
30 %
20 %
10 %
0
Préparation Narration Evaluation
X Axis
Il était une fois ...
atman.kendira@utc.fr 39
mardi 2 février 2010 39

86. Comportement non verbal Modélisation BAYBE VIRSTORIA Conclusion
Validation
L’évolution dynamique des gestes est similaire
100 %
Déictiques
90 % Adaptateurs
Métaphoriques
80 % Ponctuateurs
Répartition DAMP
70 %
60 %
50 %
40 %
30 %
20 %
10 %
0
Préparation Narration Evaluation
X Axis
VIRSTORIA
atman.kendira@utc.fr 39
mardi 2 février 2010 39

87. Comportement non verbal Modélisation BAYBE VIRSTORIA Validation Conclusion
Objectif de départ : Solution pour la communication
interpersonnelle dans les EVC non-immersifs
Etude de la communication non verbale dans une tâche de
collaboration narrative
Proposition d’un modèle du comportement non verbal
pour les avatars
Conception du module comportemental BAYBE pour
VIRSTORIA
Intégrations technologiques dans VIRSTORIA
VoIP
Reconnaissance de parole
Son spatialisé
Conclusion
atman.kendira@utc.fr 40
mardi 2 février 2010 40

88. Comportement non verbal Modélisation BAYBE VIRSTORIA Validation Conclusion
Validation du modèle par des études ergonomiques d'acceptabilité
Notamment sur la notion de feedback
L’utilisateur doit-il se voir dans l’interface?
Poursuite de l’intégration technologique
Interactions multimodales oro-gestuelles
Capture de la direction du regard (problème de l’adressage)
Etendre la catégorisation DAMP aux Interacteurs
Améliorer le processus décisionnel de BAYBE
Intégrer les expressions faciales et les regards
Traduire le discours
Développer de nouveaux services collaboratifs synchrones (médecine,
formation, jeux vidéo, etc.)
Implémentation industrielle
Perspectives
atman.kendira@utc.fr 41
mardi 2 février 2010 41

89. MERCI
www.hds.utc.fr/~akendira
mardi 2 février 2010 42

90. L’animation comportementale d’avatars comme
support à la communication dans les
environnements virtuels informés
Application au storytelling collaboratif
Soutenance de thèse
Atman KENDIRA
Directeur : Indira THOUVENIN
Encadrante Orange Labs : Laurence PERRON
Mercredi 27 janvier 2010
mardi 2 février 2010 43