1. PARTAGE D’ÉMOTIONS SUR LES RÉSEAUX
SOCIAUX
P R É S E N T É PA R :
M I N E R VA J A B B O U R

2. 03/03/2016
Sous la direction de:
Dr. Béchara AlBouna
M. Leonardo Angellini
2

3. Minerva JABBOUR
Ingénieur- option: télécommunications et réseaux (5ᵉᵐᵉ année en
cours)-Université Antonine
03/03/2016
• Nationalité: Libanaise
• Née le: 06.02.1992
• E-mail: minerva.jabbour@gmail.com
• Tél: +96170637109 / +41767270309
3

4. Plan
03/03/2016
• Introduction: Partage d’émotions
– Motivation: Besoin à l’interaction naturelle
– Problème: Manque d’expression des émotions sur les médias sociaux
– Contribution: Interface multimodale pour le partage d’émotions
• Etat de l’art: Etudes et reconnaissance des émotions
• Solution: Détection des émotions par la reconnaissance de l’expression
faciale
• Expérimentations: Algorithme de détection
– Algorithme adapté à chaque personne
– Algorithme généralisé via SVM
• Discussion: Efficacité de l’algorithme prévu
• Conclusion: Possibilité de travaux futurs
4

5. Introduction-Motivation
03/03/2016
• Les médias sociaux de plus en plus répandus de nos jours
– Il y a plus d’appareils connectés à internet que de personnes sur la
terre[1]
– À chaque minute : 100,000 tweets sont envoyés[1]
– Utilisateurs enregistrés Twitter : 517 millions[1]
5

6. Introduction-Motivation
03/03/2016
• Retour à l’interaction naturelle
6

7. Introduction-Problématique
03/03/2016
• Les médias sociaux limitent le partage des émotions
– Émotion véhiculée par la construction sémantique de la phrase ->
souvent ambiguë
– Émotion explicitée à l’aide des émoticons -> interaction limitée à taper
sur un clavier
7

8. Introduction-Contribution
03/03/2016
• Retour à l’interaction naturelle
• On propose la reconnaissance de l’émotion de la personne
par l’analyse de son expression faciale
• L’émotion sera par la suite partagée sur les réseaux sociaux ou
plus spécifiquement Twitter
8

9. Introduction-Contribution
03/03/2016
Caméra Kinect
Suivi du
visage
Détection à
travers
ARAMIS
Détection par
la
comparaison
des AUs dans
la BD
Récupération
de l'émotion
Partage de
l'émotion par
NAIF
9

10. État de l’art
03/03/2016 10
• Ekman et Friesen (1975) : les expressions faciales des
émotions de base (Joie, Colère, Peur, Surprise, Dégout,
Tristesse) [4]
• Busso et al. : trois systèmes différents basés sur l'audio,
l'expression du visage et de l'information bimodale [5]
• Shan et al. : la représentation du visage basé sur le modèle
binaire locale des caractéristiques (LBP) pour la
reconnaissance de l'expression du visage d’une personne
indépendante [6]

11. État de l’art
03/03/2016 11
• Lucey et al. : une extension de la base de données Cohn-
Kanade.
• Rosalind W. Picard : le calcul affective est le « calcul qui
concerne, découle ou influence les émotions délibérément »
[8]

12. État de l’art
03/03/2016 12

13. Reconnaissance de l’expression faciale
03/03/2016
• Outils: Kinect pour Windows SDK permet la reconnaissance et le suivi
du visage
– Définis 6 Action Units (AUs) du FACS [3](Facial Action
Coding System) pour l’identification des traits du visage[2]
o AU0 - Upper Lip Raiser
o AU1 - Jaw Lowerer
o AU2 - Lip Stretcher
o AU3 - Brow Lowerer
o AU4 - Lip Corner Depressor
o AU5 - Outer Brow Raiser
13

14. Détection de l’émotion
03/03/2016
• Choix de quatre émotions:
Joie Tristesse Colère Surprise
14

15. Détection de l’émotion
03/03/2016
• Distinction de l’émotion de la personne en face de la Kinect
par un algorithme basé sur les AUs du FACS
• Envoie de l’émotion détectée vers NAIF
15

16. Détection de l’émotion-Principe de l’algorithme
03/03/2016
• Les AUs relatives à
chaque émotion de
l’utilisateur sont
enregistrés dans une
base de données
16

17. Détection de l’émotion-Principe de l’algorithme
03/03/2016
1. L’utilisateur doit d’abord s’authentifier pour pouvoir
récupérer ses AUs de la base de données
2. Requête vers la base de données sélectionnant la moyenne
des AUs par émotion de l’utilisateur
3. Comparaison entre les valeurs des AUs récupérées et les
valeurs des AUs actuelles
17

18. Détection de l’émotion-Principe de l’algorithme
03/03/2016
4. Identification de l’émotion en prenant celle ayant la plus
petite distance aux AUs actuels
𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒
=
𝐴𝑈0 − 𝑑𝑏𝑎𝑢𝑠 0 2 + 𝐴𝑈1 − 𝑑𝑏𝑎𝑢𝑠 1 2 + 𝐴𝑈2 − 𝑑𝑏𝑎𝑢𝑠 2 2 + 𝐴𝑈3 − 𝑑𝑏𝑎𝑢𝑠 3 2
+ 𝐴𝑈4 − 𝑑𝑏𝑎𝑢𝑠 4 2 + (𝐴𝑈5 −dbau[5])²
18

19. Détection de l’émotion
via ARAMIS
03/03/2016 19

20. Détection de l’émotion
via ARAMIS
03/03/2016 20

21. Détection de l’émotion
via ARAMIS
03/03/2016 21

22. Partage de l’émotion
03/03/2016
• Envoie de l’émotion détectée vers NAIF
Partage de
l'émotion par
NAIF
22

23. Comment partager l’émotion?
03/03/2016
Interface NAIF
23

24. 03/03/2016
• Capture d’émotion
après avoir cliqué le
bouton Emotion
Tweet Now
24

25. Partage de l’émotion
03/03/2016
• Envoie de l’émotion
détectée vers le
serveur Twitter
25

26. Connexion entre la Kinect
et InterFace
03/03/2016
• Problème:
1) InterFace fonctionne sur
.NET 3.5
2) Kinect fonctionne sur
.NET 4.5 seulement
• Solution:
Création d’un socket
26

27. Partage de l’émotion
03/03/2016
• Vidéo
27

28. Discussion
03/03/2016
0
1
2
3
4
5
6
7
8
9
Minerva Cyril Marc Jad Hassan Nour
Joie
Tristesse
Colère
Surprise
28

29. Conclusion-Travaux futurs
03/03/2016
• Un système qui ajoute de la valeur aux réseaux sociaux en
réintroduisant le paralangage pour l’expression des émotions
• Travaux futurs:
– Partage de la photo de l’utilisateur
– Intégration sur différents réseaux sociaux
29

30. Références
03/03/2016
1. Valeria Landivar. Réseaux sociaux. Disponible sur : http://journalmetro.com/opinions/reseaux-
sociaux/300879/73-statistiques-et-faits-concernant-les-medias-sociaux/# (consulté le :
30/08/2013)
2. Microsoft Developer Network. Face Tracking. Disponible sur : http://msdn.microsoft.com/en-
us/library/jj130970.aspx (consulté le : 30/07/2013)
3. Wikipedia. Facial Action Coding System. Disponible sur:
http://en.wikipedia.org/wiki/Facial_Action_Coding_System (consulté le : 30/07/2013)
4. Paul Ekman Group. F.A.C.S. Disponible sur : http://www.paulekman.com/facs/ (consulté le :
9/8/2013)
5. Carlos Busso, Zhigang Deng, Serdar Yildirim, Murtaza Bulut, Chul Min Lee, Abe Kazemzadeh,
Sungbok Lee, Ulrich Neumann, and Shrikanth Narayanan. 2004. Analysis of emotion recognition
using facial expressions, speech and multimodal information. In Proceedings of the 6th
international conference on Multimodal interfaces (ICMI '04). ACM, New York, NY, USA, 205-211.
Disponible sur : http://doi.acm.org/10.1145/1027933.1027968 (consulté le : 15/8/2013)
6. Caifeng Shan, Shaogang Gong, Peter W. McOwan, Facial expression recognition based on Local
Binary Patterns: A comprehensive study, Image and Vision Computing, Volume 27, Issue 6, 4 May
2009, Pages 803-816, ISSN 0262-8856. Disponible sur :
http://www.sciencedirect.com/science/article/pii/S0262885608001844 (consulté le : 16/8/2013)
30

31. Références
03/03/2016
7. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended
Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified
expression," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010
IEEE Computer Society Conference on , vol., no., pp.94,101, 13-18 June 2010.
Disponible sur
: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5543262&isnumber=5
543135 (consulté le : 19/8/2013)
8. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended
Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified
expression," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010
IEEE Computer Society Conference on , vol., no., pp.94,101, 13-18 June 2010.
Disponible sur
: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5543262&isnumber=5
543135 (consulté le : 19/8/2013)
9. R. W. Picard. Affective Computing. The MIT Press, 1997
31

32. 03/03/2016 32