Thèse "Caractérisation de la maladie d'Alzheimer à un stade précoce via écriture manuscrite sur tablette" par Christian KAHINDO, lors de la journée Futur & Ruptures du 31 janvier 2019. Une journée scientifique pour présenter l’ensemble des travaux de thèses aboutis portant sur des thématiques prospectives du programme de l’IMT.

1. CARACTÉRISATION DE LA MALADIE
D’ALZHEIMER A UN STADE PRÉCOCE VIA
L’ECRITURE MANUSCRITE SUR TABLETTE
PRÉSENTÉ PAR:
Christian KAHINDO
ENCADRE PAR:
Pr. M. EL-YACOUBI et Pr. S. GARCIA-
SALICETTI
TELECOM SudParis
Pr. A.S. RIGAUD
APHP BROCA

2. 1. INTRODUCTION
2. ETAT DE L’ART
3. PROTOCOLE D’ACQUISITION
4. APPROCHE PROPOSÉE
5. RÉSULTATS EXPÉRIMENTAUX
6. CONCLUSIONS ET PERSPECTIVES
SOMMAIRE

3. INTRODUCTION
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
3
Ecriture  processus psychomoteur complexe qui requiert [1]:
Contrôle moteur fin
Coordination neuromusculaire spécifique
Fonctions visuo-spatiales
Apprentissage  automatisme de ce processus psychomoteur
Développement du programme moteur fin
Dysfonctionnement du programme moteur fin Détérioration de l’écriture

4. INTRODUCTION
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
4
 Cadre: Collaboration avec l’APHP BROCA (Pr. Anne-Sophie Rigaud)
Objectif: Caractériser la maladie d’Alzheimer par l’écriture manuscrite sur tablette pour
l’aide à la décision
 Intérêt : détection non invasive comparativement à une IRM ou une ponction lombaire
 3 groupes:
 ES-AD : Alzheimer débutant (Early Stage Alzheimer Disease)
 MCI: Troubles cognitifs légers (Mild Cognitive Impairment)
 HC : Sujets contrôle (Healthy Controls)
 Corpus des expériences: 141 participants dont : 27 HC 87 MCI 27 ES-AD
 Critères d’inclusion
 Age ≥ 60 ans
 Lire et parler le français couramment
 Ne pas avoir une autre maladie neurodégénérative
 MMSE : Mini Mental State Examination ≥ 20

5. ETAT DE L’ART
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
5
Tests statistiques (ANOVA, Mann-Whitney U-test, etc)
Paramètres spatiaux temporels globaux : ex. Vitesse, accélération et pression moyennes
Tâches ou exercices: - Ecrire des séries de « l » cursifs [10,15];
- Copier un texte ou une phrase [7,14,16];
- Remplir un chèque [7] …
Analyse du manuscrit & Alzheimer
Classifieurs (LDA, LR)

6. APPROCHE PROPOSÉE
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
6
 Extraction des paramètres globaux
Perte de la dynamique et faible pouvoir discriminant
Notre apport:
 Paramètres semi-globaux
 Paramètres locaux (cas d’étude)
 Profils cognitifs considérés comme homogènes
Pourtant ils sont hétérogènes
Notre apport:
 Techniques d’apprentissage semi-supervisé
 Faire émerger des groupes homogènes indépendamment des
profils cognitifs
 Mesurer la corrélation entre les groupes et les profils cognitifs
Limites de la littérature

7. PROTOCOLE D’ACQUISITION DES DONNÉES
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
7
 Matériel : Tablette Wacom Intuos Pro Large et stylet à encre (Inking Pen)
Enregistre toutes les 8 ms:
 Les coordonnées du stylet (x(t), y(t));
 La pression p(t);
Tâche 1: Ecrire un texte imposé
Tâche 2: Ecrire un texte libre
Tâche 3: Ecrire 4 séries de 4 « l » cursifs et continus
Ecriture “en-ligne”  boucles ou mots = séries temporelles

8. APPROCHE PROPOSÉE
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
8
 Cas des boucles : segmentation et extraction locale de paramètres
Extraction de paramètres cinématiques: (Vx,Vy)
 Vitesse horizontale:
 Vitesse verticale:
avec
Vx(n)=Δx(n)/Δt(n)
Vy(n)=Δy(n)/Δt(n)
Δx(n)=x(n+1)−x(n-1)
Δy(n)=y(n+1)−y(n-1)
Δt(n)=t(n+1)−t(n-1)

9. APPROCHE PROPOSÉE
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
9
Analyse locale et Regroupement automatique
30 medoids (clusters de boucles)
Cas 3 classes (HC, MCI, ES-AD)
 Clustering et mesure de dissimilarité pour des séquences
 K-medoids
 Appariement de séquences de longueurs différentes: Distance élastique (« Distance de Levenshtein »)

10. APPROCHE PROPOSÉE
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
10Visualisation des clusters
Cas 3 classes (HC, MCI, ES-AD) Cas 2 classes (HC vs. ES-AD)
- Différents styles d’écriture au sein d’un profil cognitif
- La classe MCI contient des sous-groupes:
- Certains proches de la classe Contrôle (HC)
- D’autres proches de la classe Alzheimer (ES-AD)

11. APPROCHE PROPOSÉE
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
11Classification
Classification bayésienne
Une personne pi produit les données Di
 Ni boucles ou mots(après segmentation)
Probabilité d’appartenir à la classe Ck sachant Di :
)(
)()/(
)/(
i
kki
ik
DP
CPCDP
DCP

 (1.1)
où : probabilité a priori de la classe Ck
et )()/()(
,
kk
ADESHCk
ii CPCDPDP 
 (1.2)
)( kCP
Hypothèse: les Ni boucles d’une personne i, pi , sont indépendantes
où:
(1.3)
Où les
Ainsi: (1.4)
)/()/(
1
k
iN
j
i
jki CBPCDP 

i
jB sont les medoids (clusters) représentant les boucles
ou mots de pi
)(
)()/(
)/(
k
i
j
i
jk
k
i
j
CP
BPBCP
CBP


)/(maxarg
,
*
i
ADESHCk
kk DCPC


sont estimés par les fréquences des 2
classes dans les clusters
Classification de pi connaissant Di :
(1.5)
)/( i
jk BCP )( i
jBPet

12. RÉSULTATS EXPÉRIMENTAUX
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
12
Apport du clustering et des paramètres locaux: Classification bayésienne
LDA
(ത𝑉𝑥 ,ത𝑉𝑦)
Bayes
(ത𝑉𝑥 ,ത𝑉𝑦)
Bayes
(𝑉𝑥 𝑛 , 𝑉𝑦 (𝑛))
Classification 51.9% 64.0±1.0% 75.9±1.9%
Spécificité 63.0% 68.0±1.8% 75.2±3.7%
Sensibilité 40.7% 60.0±2.3% 76.7±2.9%
- Données: 27 HC, 27 ES-AD
- Validation par « Leave-one-out » Tâche 3: boucles
Un gain de 24% (46% en relatif) par rapport à l’état de l’art
 Apport du clustering sur les paramètres globaux: 12%
 Apport supplémentaire des paramètres locaux: 12%

13. EXPÉRIENCES ET RÉSULTATS
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
13
Autres paramètres locaux
Autres tâches
- Données: 27 HC, 27 ES-AD
- Validation par « Leave-one-out »
Bayes
(ത𝑉𝑥 ,ത𝑉𝑦)
Bayes
(𝑉𝑥 𝑛 , 𝑉𝑦 (𝑛))
Classification 64.4±1.1% 77±2.9%
Spécificité 69.6±2.2% 76.7±4.4%
Sensibilité 59.3±0% 77.4±4.2%
Tâche 1: Texte imposé
Tâche 3: boucles
Bayes
(𝑨 𝑥 𝑛 , 𝑨 𝑦 (𝑛))
Bayes
(𝐉 𝑥 𝑛 , 𝐉 𝑦 (𝑛))
Classification 68±4.2% 60±4.5%
Spécificité 57.4±6.5% 54±6%
Sensibilité 78.5±2.8% 65.9±5.9%
Bayes
(ത𝑉𝑥 ,ത𝑉𝑦)
Bayes
(𝑉𝑥 𝑛 , 𝑉𝑦 (𝑛))
Classification 61.9±2.2% 72.6±4.%
Spécificité 73±3.3% 71.9±3.4%
Sensibilité 50.7±1.7% 73.3±6.4%
Tâche 2: Texte libre
 Le texte imposé donne les meilleurs résultats  Le texte libre donne de moins bons résultats que
les boucles

14. CONCLUSIONS ET PERSPECTIVES
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
14
 Approche locale : prise en compte de toute la dynamique de l’écriture
 La vitesse prise localement est le meilleur paramètre (vs. accélération, jerk, pression, direction,
courbure,…)
 Emergence automatique de différents styles d’écriture au sein de chaque profil cognitif
 Agrégation de l’information contenue dans chaque cluster (étiquettes) pour la classification
bayésienne
 Amélioration significative par rapport au résultats de la littérature
 Fusion des trois tâches
 Etude longitudinale (après 12 mois, 24 mois)
 Développement d’un outil d’aide à la décision pour les médecins
Perspectives
Conclusions

15. PUBLICATIONS RÉALISÉES
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
15
[1] Mounim A. EL-YACOUBI, Sonia GARCIA-SALICETTI, Christian KAHINDO, Anne-Sophie RIGAUD et Victoria CRISTANCHO-
LACROIX. “From aging to early-stage Alzheimer's: uncovering handwriting multimodal behaviors by semi-supervised learning
and sequential representation learning”, Elsevier, Pattern Recognition (PR), vol. 86, pp. 112-133, February 2019.
[2] Christian KAHINDO, Mounim A. EL-YACOUBI, Sonia GARCIA-SALICETTI, Victoria CRISTANCHO-LACROIX et Anne-Sophie
RIGAUD. “Characterizing Early Stage Alzheimer through Spatiotemporal Dynamics of Handwriting,” IEEE Signal Processing
Letters (SPL), vol. 25, no. 8, pp. 1136-1140, August 2018.
[3] Christian KAHINDO, Mounim A. EL-YACOUBI, Sonia GARCIA-SALICETTI, Victoria CRISTANCHO-LACROIX, Hélène KERHERVE et
Anne-Sophie RIGAUD. “Semi-global Parameterization of Online Handwriting Features for Characterizing Early-Stage Alzheimer
and Mild Cognitive Impairment”, Elsevier, Innovation and Research in BioMedical engineering (IRBM), vol. 39, no. 6, pp. 421-429,
December 2018.
[4] Christian KAHINDO, Mounim A. EL-YACOUBI, Sonia GARCIA-SALICETTI, Victoria CRISTANCHO-LACROIX, Hélène KERHERVE et
Anne-Sophie RIGAUD. "Caractérisation de la Maladie d’Alzheimer à travers l’Ecriture manuscrite acquise sur tablette
graphique, ” Journées d'Etude sur la TéléSANté (Jetsan), 6ème edition, 31 Mai-1er Juin 2017, Bourges, France.
[5] Christian KAHINDO, Mounim A. EL-YACOUBI, Sonia GARCIA-SALICETTI, Victoria CRISTANCHO-LACROIX, Hélène KERHERVE et
Anne-Sophie RIGAUD. " Identification de Marqueurs de la Maladie d’Alzheimer à travers l’Ecriture manuscrite acquise sur
Tablette graphique, ” Journée nationale des objets connectés, Nokia, France, 2016.

16. RÉFÉRENCES BIBLIOGRAPHIQUES
CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
16
[1] Van Galen and P. Gerard, “Handwriting: Issues for a psychomotor theory”. Human movement science,
vol. 10, no 2, p. 165-191, 1991.
[7] P. Werner, S. Rosenblum, G. Bar-On, J. Heinik and A. Korczyn, “Handwriting Process Variables
Discriminating Mild Alzheimer's Disease and Mild Cognitive Impairment”, Journal of Gerontology:
Psychological Sciences, Volume 61B (4), pp. 228-236, 2006.
[10] M.J. Slavin, J.G. Phillips, J.L. Bradshaw, K.A. Hall and I. Presnell, “Consistency of handwriting
movements in dementia of the Alzheimer’s type: A comparison with Huntington’s and Parkinson’s diseases,” in
Journal of the International Neuropsychological Society, Volume 5(1), pp. 20-25, 1999.
[14] Kawa, Jacek, Bednorz, Adam, Stepien, Paula, et al. “Spatial and Dynamical Handwriting Analysis in Mild
Cognitive Impairment”. Computers in Biology and Medicine, 2017
[15] Yu, N.Y. Chang, Shao-Hsia. Kinematic Analyses of Graphomotor Functions in Individuals with
Alzheimer’s Disease and Amnestic Mild Cognitive Impairment. Journal of Medical and Biological Engineering,
2016, vol. 36, no 3, pp. 334-343.
[16] J. Garre-Olmo, M. Faúndez-Zanuy, K. López-de-Ipiña, L. Calvó-Perxas and O. Turró-Garriga, “Kinematic
and pressure features of handwriting and drawing: preliminary results between patients with mild cognitive
impairment, Alzheimer disease and healthy controls”. Current Alzheimer research, 2017

17. CARACTÉRISATION DE LA MALADIE D’ALZHEIMER A UN STADE PRÉCOCE VIA L’ECRITURE MANUSCRITE SUR TABLETTE
17
Merci de votre attention
Questions ?