1. Personnalité
et
Personnages
Virtuels
Interac2fs
Jean-­‐Claude
MARTIN
MARTIN@LIMSI.FR
Professeur
informa2que
Université
Paris-­‐Sud
/
CNRS-­‐LIMSI
(M.
Courgeon,
C.
Clavel,
N.
Tan,
C.
Zakaria)

2. Vision
Scénario
fic2f
illustra2f
• Recherche
d’informa2on
dans
une
bibliothèque
futuriste
2

3. Défini2ons
• Agent
Conversa2onnel
Animé
/
Embodied
Conversa2onal
Agent
• Interface
Homme-­‐Machine
– Capacités
communica2ves
verbales
et
non-­‐verbales
inspirées
de
la
communica2on
humaine
(ex:
ges2on
des
tours
de
parole)
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
3

4. Avantages
et
inconvénients
• Avantages
aYendus
:
interac2on
intui2ve,
ludique
• Applica2ons
possibles
:
– enseignement,
assistance,
ou2l
expérimental
• Inconvénients
/
dangers
possibles
4

5. Concep2on
et
évalua2on
5

6. Plan
de
l’exposé
1. Style
gestuel
individuel
2. Emo2ons
– Expressions
faciales
et
posturales
– Evalua2on
cogni2ve
durant
l’interac2on
3. Personnalité
6

7. 1
–
Style
gestuel
individuel
7

8. Le
style
gestuel
• Ques2on
de
recherche
– Est-­‐ce
que
2
individus
ont
le
même
profil
gestuel
?
• Approche
:
– Corpus
mul2modaux
• Applica2on
aux
personnages
virtuels
8

9. Corpus
de
Gestes
Conversa2onnels
(Kipp
04)
• Lemma
– Groupe
de
gestes
partageant
la
même
fonc2on
et
la
même
forme
• Forme
d’un
geste
– Mains:
Gauche
/
Droite
/
2
Mains
– Forme
de
la
main
– Posi2on
de
la
main
– Orienta2on
de
la
main
– Mouvement
de
la
main
– Epaules
et
expressions
faciales
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
9

10. Calcul
d’un
profil
gestuel
(Kipp
&
Neff)
• Diagrammes
de
transi2on
10

11. Créa2on
du
profil
de
MR
11

12. Créa2on
du
profil
de
JL
12

13. U2lisa2on
pour
la
généra2on
13

14. 2
–
Emo2on
14

15. Théories
des
émo2ons
Défini2ons
(Scherer
00)
• Defini2on
– Hypothe2cal
construct
deno2ng
a
process
of
an
organism’s
reac2on
to
significant
events
• Modern
defini2on
– Components:
subjec2ve
feeling,
motor
expression,
ac2on
tendencies,
physiological
changes,
cogni2ve
processing
– Episode
of
interrelated,
synchronized
changes
in
these
components
in
response
to
an
event
of
major
significance
to
the
organism
• Func2ons
of
emo2ons
– Expression:
Communica2on,
social
signalling
and
interac2on
strategy
– Feeling:
facilitates
regula2on
of
emo2onal
behavior
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
15

16. Emo2on
• Approche
catégorielle
– 6
émo2ons
de
base
– Différentes
classifica2ons
– Emo2ons
secondaires
– Etats
mentaux
• Approche
dimensionnelle
– Plaisir
– Ac2va2on
– Dominance
16

17. Théories
des
émo2ons
Emo2ons
secondaires
(Plutchik
80)
• Axes
– Ver2cal
:
intensité
– Diamètre
:
opposi2on
– Périphérie
:
proximité

18. Théorie
des
émo2ons
Catégories
et
dimensions

19. Emo2ons
Expressions
Faciales
+
Posturales
• Spécifica2ons
:
– liYérature
(Ekman)
– base
de
donnée
de
capture
de
mouvement
(Berthouze)
• Congruentes
• Incongruentes
19

20. Vidéo
20

21. Résultats
• Meilleure
reconnaissance
avec
présenta2on
conjointe
du
visage
et
de
la
posture
– Cohérent
avec
Gunes
&
Picardi
• Les
expressions
faciales
sont
importantes
pour
la
reconnaissance
des
catégories
d’émo2on
– Cohérent
avec
Hietanen
and
Leppänen
• Les
expressions
posturales
sont
plus
u2lisées
pour
la
percep2on
de
l’ac2va2on
21

22. MARC
J.-­‐C.
MARTIN
-­‐
LIMSI-­‐CNRS
/
AMI
22

23. Expressions
faciales
réalistes
• Rendu
temps-­‐réel
d’expressions
faciales
23

24. Experiment:
Wrinkle
and
Emo2ons
J.-­‐C.
MARTIN
-­‐
LIMSI-­‐CNRS
/
AMI
24

25. Résultats
25

26. Appraising
events
in
real-­‐2me
• The
Componen2al
Process
Appraised
Event
Model
(CPM)
(Scherer)
– Event
based
model
Temporary
Appraisal
Visible
– Cycles
of
events’
mul2-­‐level
Evalua2on
cycle
Appraisal
evalua2ons
Signs
• Including
signs
of
sequences
of
appraisals
in
virtual
characters
Resul2ng
Visible
might
improve
how
they
are
emo2onal
state
emo2ons
perceived
by
users
• Few
system
display
facial
clues
of
appraisal
– Paleari
et
al.
and
Malatesta
et
al.
presented
facial
anima2on
systems
using
Scherer's
work
– Do
not
appraise
events
in
real-­‐
2me
during
interac2on
J.-­‐C.
MARTIN
-­‐
LIMSI-­‐CNRS
/
AMI
26

27. Evalua2on
de
la
situa2on
Interac2ve
Emo2onal
Facial
Game
Computa2ons
Anima2on
Appraisal
Registers
Subchecks
Sequence
Game
Applica2on
Othello
Appraisal
Module
MARC
Appraisal
values
of
Facial
anima2on
parameters
Real-­‐2me
game
events
Ac2on
Units
Emo$onML
-­‐
LIMSI-­‐CNRS
/
AMI
J.-­‐C.
MARTIN
BML
27

28. Video
J.-­‐C.
MARTIN
-­‐
LIMSI-­‐CNRS
/
AMI
28

29. 3
–
Personnalité
29

30. Personnalité
• Approches
lexicales
– Modèles
pour
décrire
des
individus
• Approches
psychosociales
– Interac2on
sociale
:
désirabilité
(ami),
u2lité
(aide)
• Approches
socio-­‐cogni2ves
– Comprendre
les
mécanismes
des
ac2ons
des
indivividus
30

31. Approches
de
la
personalité
Socio
cogni>ve
Lexical
approach
Psychosocial
approach
approach
Goal
of
the
Descrip>ve
model
to
Percep>on
of
individual
Explanatory
model
of
approach
classify
individuals
differences
human
behavior
Role
of
environment
in
the
No
important
Important
Very
important
construc2on
of
one’s
personality
Inter-­‐
Intra-­‐
Variability
individual
individual
31

32. OCEAN
(Costa
&
Mc
Crae)
• Openness
– Low:
conven2onal,
realis2c
– High:
curious,
original,
crea2ve
• Conscien2ousness
– Low:
not
reliable,
nonchalant
– High:
organized,
on
2me,
persistent
• Agreeableness
– Low:
impolite,
irritable,
not
coopera2ve,
manipulator
– High:
easy
to
live
with,
trus2ng
• Extraversion
– Low:
reserved,
distant,
discreet
– High:
social,
ac2ve,
op2mis2c,
like
to
have
fun,
affec2onate
• Neuro2cism
– Low:
calm,
relaxed,
sa2sfied
– High:
worried,
nervous,
emo2onal,
anxious
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
32

33. Personnalité
• Le
modèle
ALMA
(Gebhard
05)
– Emo2on
:
OCC
– Personnalité
:
OCEAN
• Sert
à
calculer
l’intensité
de
l’émo2on
– Mood
:
PAD
33

34. Hypothesis
:
the
field-­‐dependency
dimension
influences
mul2modal
expression
of
emo2on
People
who
are
field
Situa2on
of
Anger
independent
(FI)
• do
not
consider
• His
movements
much
the
point
of
are
broader
and
view
of
others
quicker
than
FD’s
People
who
are
field
Situa2on
of
Joy
dependent
(FD)
• share
the
situa2on
• His
gesture
are
with
others
more
empha2c
than
FI’s
34

35. Illustra>ve
result:
Ac>on
tendency
“want
to
dance”
2,5
tendency
“character
wanted
Percep2on
of
ac2on
2
to
dance”
1,5
Situa2on
of
Anger
1
Ambigous
Situa2on
Situa2on
of
Joy
0,5
0
FD
FI
35

36. Research
Context
Embodied
Agents
• Designing
agent’s
mul2modal
behavior
– Redundant
vs.
complementary
behaviors
(André
et
al.
00,
Cassell
et
al.
01)
– Influence
of
agent’s
personality
(Kshirsagar
02,
Gebhard
05)
– Influence
of
users’
personality?
• Matching
user
and
agent’s
personality
(Ibister
&
Nass
00)
• Combine
(extrovert
/
introvert)
X
(text
/
posture)
• Results
– Users
iden2fy
intended
personality
– Users
prefer
consistent
verbal
&
nonverbal
– Users
prefer
complementary
agent
• Consider
only
text
and
posture
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
36

37. Percep2on
of
agent’s
deic2c
(Buisine
&
Mar2n
2007)
• Goal
– LT:
Inform
the
design
of
Conversa2onal
Agents
– How
to
balance
content
on
speech
and
gesture?
– How
such
combina2ons
are
perceived
by
different
users?
• Approach
– 2D
cartoon
animated
agents
– Manual
specifica2ons
– References
to
objects
during
technical
presenta2ons
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
37

38. You have to use You have to use You have to use
the big round button in this button. the big round button in
the center. the center.
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
38

39. Each user sees 3 presentations
Subjective Eval.:
ECA 1 ECA 2 ECA 3 Written Recall
81 Likeability
Strategy X Strategy Y Strategy Z
users of the lesson Expressiveness
Object A Object B Object C
of the 3 ECAs
All counterbalanced
(ECA, Multimodal strategy, Object)
Independent Variables: Dependent Variables:
User’s User’s ECA’s
Multimodal strategy Cognitive perf. (memorization)
Gender Personality Perceived Likeability of ECA
Redundant
Male Introvert
Female Extrovert
Complementary Perceived Expressiveness of ECA
Control
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
39

40. Gender
X
Personality
Interac2on
• Interac2on
– On
Recall
Performance
-­‐
F(2/154)=3,12;
p=0,047
– On
Perceived
Expressiveness
-­‐
F(2/154)=3,19;
p=0,044
– No
effect
of
Gender
nor
Personality
on
Likeability
Jean-­‐Claude
MARTIN
-­‐
LIMSI/CNRS
40

41. 4
–
Conclusions
et
perspec2ves
41

42. Conclusions
• U2lité
des
personnages
virtuels
pour
étudier
la
communica2on
humaine
• Défis
à
relever
– Conceptuels
– Pluridisciplinaires
– Technologiques
42

43. Perspec2ves
• Autres
approches
de
la
personnalité
?
• Impact
de
la
personnalité
sur
l’émo2on
• Impact
de
l’âge,
du
genre,
de
la
culture
• Usages
long
terme
?
43