journée Automates Probabilistes LINA, 8 nov. 2013, Nantes, France - introduction aux modèles graphiques probabilistes (MGP) - et aux MGP dynamiques - un exemple original : les modèles graphiques de durée

1. Des mod`eles graphiques probabilistes aux
mod`eles graphiques de dur´ee
Philippe LERAY
philippe.leray@univ-nantes.fr
Equipe COnnaissances et D´ecision – LINA – UMR 6241
Site de l’Ecole Polytechnique de l’Universit´e de Nantes

2. Introduction Mod`eles dynamiques
Introduction
Id´ee de d´epart
des liens entre Automates Probabilistes et Mod`eles
Graphiques Probabilistes Dynamiques
je n’y connais pas grand chose en Automates Probabilistes
donc je vais parler de ce que je connais :-)
Contenu
introduction aux MGP
MGP dynamiques
un exemple original : mod`ele graphique de dur´ee
Philippe Leray MGP - RB - HMM - MGD 2/26

3. Introduction Mod`eles dynamiques
Principe des MGP
Repr´esentation des connaissances
un noeud = une variable al´eatoire (v.a.)
un graphe comme mod`ele d’ind´ependance entre les v.a.
Raisonnement
des algorithmes d’inf´erence probabiliste tirant partie de la
structure graphique du mod`ele
Construction
des connaissances a priori pouvant d´eterminer tout ou partie
de la structure graphique
des algorithmes d’apprentissage d´eterminant le reste du
mod`ele `a partir de donn´ees
Philippe Leray MGP - RB - HMM - MGD 3/26

4. Introduction Mod`eles dynamiques
Principe des MGP
Repr´esentation des connaissances
un noeud = une variable al´eatoire (v.a.)
un graphe comme mod`ele d’ind´ependance entre les v.a.
3 familles de mod`eles
graphes dirig´es : r´eseaux bay´esiens
graphes non dirig´es : r´eseaux de Markov (MRF)
graphes partiellement dirig´es : chain graphs
Philippe Leray MGP - RB - HMM - MGD 4/26

5. Introduction Mod`eles dynamiques
R´eseaux bay´esiens [Pearl 88]
Grade
Letter
SAT
IntelligenceDifficulty
d1
d0
0.6 0.4
i1i0
0.7 0.3
i0
i1
s1s0
0.95
0.2
0.05
0.8
g1
g2
g2
l1
l0
0.1
0.4
0.99
0.9
0.6
0.01
i0,d0
i0
,d1
i0
,d0
i0,d1
g2 g3g1
0.3
0.05
0.9
0.5
0.4
0.25
0.08
0.3
0.3
0.7
0.02
0.2
Philippe Leray MGP - RB - HMM - MGD 5/26

6. Introduction Mod`eles dynamiques
Extensions
A de nombreux probl`emes
causalit´e : RB causal
variables continues : RB gaussien, hybride (CG)
temporalit´e : RB temporel , HMM, Filtre de Kalman
d´ecision : Diagramme d’influence
classification : Naive Bayes, multinets, ...
Obs0
Weather0
Velocity0
Location0
Failure0
Obs0
Weather0
Velocity0
Location0
Failure0
Obs1
Weather1
Velocity1
Location1
Failure1
Obs2
Weather2
Velocity2
Location2
Failure2
Obs'
Weather Weather'
Velocity Velocity'
Location Location'
Failure Failure'
(c) DBN unrolled over 3 steps(b) 0(a) →
Time slice t Time slice t+1 Time slice 0 Time slice 0 Time slice 1 Time slice 2
Philippe Leray MGP - RB - HMM - MGD 6/26

7. Introduction Mod`eles dynamiques
R´eseaux de Markov [Kindermann&Snell 80]
A2,1 A2,2
A3,1 A3,2 A3,3 A3,4
A4,1 A4,2 A4,3 A4,4
A2,3 A2,4
A1,1 A1,2 A1,3 A1,4
Philippe Leray MGP - RB - HMM - MGD 7/26

8. Introduction Mod`eles dynamiques
Extensions
A de nombreux probl`emes
des structures ”historiques” : mod`ele d’Ising, machine de
Boltzmann
+ var. latentes : Deep Belief Networks
variables continues : Gaussian MRF
temporalit´e : Dynamic MRF
classification : Conditional Random Field
Mrs. Green spoke today in New York Green chairs the finance committee
B-PER I-PER OTH OTH OTH B-LOC I-LOC B-PER OTHOTHOTHOTH
KEY Philippe Leray MGP - RB - HMM - MGD 8/26

9. Introduction Mod`eles dynamiques
Chains graphs [Lauritzen 96]
D
BA
IF G
EC H D
A
F G
C
Philippe Leray MGP - RB - HMM - MGD 9/26

10. Introduction Mod`eles dynamiques
Principe des MGP
Raisonnement P(X|E)?
des algorithmes d’inf´erence probabiliste tirant partie de la
structure graphique du mod`ele
RB, MRF, ... mˆeme combat
probl`eme NP-difficile
heureusement, c’est dans le pire des cas
pour des probl`emes r´eels, il existe des algorithmes efficaces
Algorithmes
inf´erence exacte : arbre de jonction, ...
inf´erence approche
simulation : MCMC, filtrage particulaire, ...
approximations variationnelles : Mean field, ...
Philippe Leray MGP - RB - HMM - MGD 10/26

11. Introduction Mod`eles dynamiques
Exemple : arbre de jonction
Principe
convertir le MGP en un arbre de jonction de cliques
faire circuler des messages dans cet arbre
A noter
g´en´eralisation d’un ”vieux” principe
HMM : forward-backward [Rabiner 89]
BN Polyarbres : Message Passing [Pearl 88]
complexit´e : exponentielle par rapport `a la taille des cliques
Philippe Leray MGP - RB - HMM - MGD 11/26

12. Introduction Mod`eles dynamiques
Principe des MGP
Construction
des connaissances a priori pouvant d´eterminer tout ou partie
de la structure graphique
des algorithmes d’apprentissage d´eterminant le reste du
mod`ele `a partir de donn´ees
Apprentissage g´en´eratif
approcher P(X, Y )
pas de variable cible
mod`ele plus g´en´eral ⇒
biais
meilleur traitement des
donn´ees incompl`etes
Apprentissage discriminant
approcher P(Y |X)
une variable cible Y
privil´egi´ee
mod`ele plus sp´ecifique
meilleurs r´esultats si
donn´ees importantes
Philippe Leray MGP - RB - HMM - MGD 12/26

13. Introduction Mod`eles dynamiques
Taxonomie des tˆaches d’apprentissage
MGP = un graphe et des param`etres
apprentissage des param`etres / structure donn´ee
apprentissage de la structure
... `a partir de donn´ees
donn´ees compl`etes : maximum de vraisemblance
donn´ees incompl`etes : exemple Expectation Maximisation
[Dempster 77]
variables latentes ?
Philippe Leray MGP - RB - HMM - MGD 13/26

14. Introduction Mod`eles dynamiques
Mod`eles dynamiques
Quelques exemples
chaˆıne de Markov
mod`ele de Markov cach´e (HMM)
r´eseaux bay´esiens temporels
mod`eles graphiques de dur´ee
Philippe Leray MGP - RB - HMM - MGD 14/26

15. Introduction Mod`eles dynamiques
Chaˆıne de Markov
Principe : mod`ele stochastique d’un processus al´eatoire
X processus al´eatoire = Xt variable al´eatoire
t discret (t = 1, 2, ...)
X discret, d´ecrit par n ´etats distincts
pour estimer Xt, il faudrait connaˆıtre tout l’historique X1 `a
Xt−1, et calculer P(Xt|X1...Xt−1)
Philippe Leray MGP - RB - HMM - MGD 15/26

16. Introduction Mod`eles dynamiques
Chaˆıne de Markov
Chaˆıne de Markov du premier ordre
l’´etat courant ne d´epend que de l’´etat pr´ec´edent
P(Xt|X1...Xt−1) = P(Xt|Xt−1)
cette loi de transition d’un ´etat au suivant est ind´ependante
de t
P(Xt = j|Xt−1 = i) = Aij
A : matrice de transition
Π : loi d’initialisation de la chaˆıne (P(X1))
X1
X2
XT-1
XT
...
A A AΠ
Philippe Leray MGP - RB - HMM - MGD 16/26

17. Introduction Mod`eles dynamiques
Autre repr´esentation
Dans l’espace des ´etats
une autre mani`ere de repr´esenter la matrice de transition
Dormir
Jouer
Manger
0.9
0.05
0.7
0.3
0.2
0.8 0.05
Philippe Leray MGP - RB - HMM - MGD 17/26

18. Introduction Mod`eles dynamiques
Mod`ele de Markov Cach´e (HMM)
Principe
la variable observ´ee Ot n’est plus un processus markovien
par contre, elle est g´en´er´ee par une variable non mesur´ee Ht
et Ht processus markovien
A : matrice de transition de H, P(Ht|Ht−1)
B : matrice d’´emission P(Ot|Ht), ind´ependante de t
Π : loi d’initialisation de la chaˆıne (P(H1))
HT
HT-1
A
OT
OT-1
B
H2
H1
A
O2
O1
B
...
B
B
A
Philippe Leray MGP - RB - HMM - MGD 18/26

19. Introduction Mod`eles dynamiques
Utilisation
Pr´ediction P(Ot+1|O1...Ot) ?
algorithme Forward-Backward == Message Passing des RB
Explication argmaxH1...Ht P(H1...Ht|O1...Ot) ?
algorithme Viterbi == Inf´erence abductive dans un RB
Apprentissage ?
D : on observe un (ou plusieurs) s´equences O1...OT
donn´ees incompl`etes : H jamais mesur´e
quels sont les param`etres Π, A, B qui maximisent la
vraisemblance ?
algorithme Baum & Welch == adaptation de EM
Philippe Leray MGP - RB - HMM - MGD 19/26

20. Introduction Mod`eles dynamiques
Extensions des HMM
Factorial HMM
Input Output HMM
HT
HT-1
A
OT
OT-1
B
H2
H1
A
O2
O1
...
B
B
A
HMM with transition emission
Philippe Leray MGP - RB - HMM - MGD 20/26

21. Introduction Mod`eles dynamiques
Extensions des RB
2TBN = 2-time-slice bayesian network
g´en´eralisation des
mod`eles pr´ec´edents
une ”tranche” pour t = 1
une ”tranche” pour t
(= un graphe reliant les Xt)
des relations entre t et t + 1
Philippe Leray MGP - RB - HMM - MGD 21/26

22. Introduction Mod`eles dynamiques
Inf´erence dans les 2TBN
Inf´erence exacte
adaptation du Forward-backward
conversion du 2TBN en HMM, pratique si NH petit
unrolled junction tree
d´erouler le 2TBN sur T et appliquer algo ”statique”,
pb = grandes cliques
Frontier algorithm [Zweig 96]
Interface algorithm [Murphy 01]
filtrage et lissage de Kalman [Minka 98]
Inf´erence approch´ee
algorithmes d´eterministes
algorithmes stochastiques (´echantillonnage)
Philippe Leray MGP - RB - HMM - MGD 22/26

23. Introduction Mod`eles dynamiques
Apprentissage des 2TBN
Apprentissage de la structure
Adaptation des algos / mod`eles statiques
recherche gloutonne [Friedman 98]
algorithmes g´en´etiques [Gao et al. 07]
recherche globale + optimisation globale [Dojer 06] [Vinh et
al. 12] [Trabelsi et al. 13]
+ EM si donn´ees incompl`etes (compliqu´e)
Apprentissage des param`etres
Adaptation des algos / mod`eles statiques
maximum de vraisemblance
+ EM si donn´ees incompl`etes (plus facile)
Philippe Leray MGP - RB - HMM - MGD 23/26

24. Introduction Mod`eles dynamiques
Mod`eles graphiques de dur´ee
Point de d´epart
chaˆıne de Markov : la loi de dur´ee (temps de s´ejour) dans un
´etat est g´eom´etrique
mod`eles graphiques de dur´ee : consid´erer le temps de s´ejour
directement dans le mod`ele [Murphy 02]
extensions + travaux dans le domaine de la fiabilit´e [Donat 09]
Philippe Leray MGP - RB - HMM - MGD 24/26

25. Introduction Mod`eles dynamiques
Mod`eles graphiques de dur´ee
État du système
Var. exogènes
Temps de séjour
Déclencher une
transition
Philippe Leray MGP - RB - HMM - MGD 25/26

26. Introduction Mod`eles dynamiques
Conclusion ...
... qui n’en est pas une
plusieurs moyens de mod´eliser un processus al´eatoire de plus
en plus complexe
introduction aux mod`eles graphiques probabilistes dynamiques
des liens ´etroits avec les automates probabilistes
une ouverture ?
des mod`eles qu’il faudrait confronter ?
des liens qu’il faudrait creuser ?
Philippe Leray MGP - RB - HMM - MGD 26/26