Présentation lors des JFRB 2014, IHP, Paris, 25-27 juin 2014.

1. Contexte Nos Propositions Conclusion et perspective
Evaluation des algorithmes d’apprentissage
de structure pour les réseaux Bayésiens
dynamiques
Ghada Trabelsi12
Philippe Leray2– Mounir Ben Ayed1–Adel M.Alimi1
1REGIM (Ecole Nationale d’Ingénieur de Sfax )
2LINA (Ecole Polytechnique de l’Université de Nantes)
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 1/20

2. Contexte Nos Propositions Conclusion et perspective
Plan
1 Contexte
Motivation
Réseaux Bayésiens
Evaluation de l’apprentissage
Evaluation pour les DBN
2 Nos Propositions
Génération de grands 2-TBN
SHD pour les 2-TBN
3 Conclusion et perspective
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 2/20

3. Contexte Nos Propositions Conclusion et perspective
Motivation
Réseaux Bayésiens Dynamiques (DBN)
Extensions des BN pour la représentation de processus
aléatoires
Généralisation d’autres modèles dynamiques: HMM, ...
Apprentissage de structure pour les DBN
Apprendre un DBN à partir de données ) Des algorithmes
existent
Evaluer un algorithme d’apprentissage ) Pas de cadre
commun
Notre objectif
Comment évaluer les algorithmes d’apprentissage de
structure de (grands) DBNs?
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 3/20

4. Contexte Nos Propositions Conclusion et perspective
Motivation
Réseaux Bayésiens Dynamiques (DBN)
Extensions des BN pour la représentation de processus
aléatoires
Généralisation d’autres modèles dynamiques: HMM, ...
Apprentissage de structure pour les DBN
Apprendre un DBN à partir de données ) Des algorithmes
existent
Evaluer un algorithme d’apprentissage ) Pas de cadre
commun
Notre objectif
Comment évaluer les algorithmes d’apprentissage de
structure de (grands) DBNs?
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 3/20

5. Contexte Nos Propositions Conclusion et perspective
Motivation
Réseaux Bayésiens Dynamiques (DBN)
Extensions des BN pour la représentation de processus
aléatoires
Généralisation d’autres modèles dynamiques: HMM, ...
Apprentissage de structure pour les DBN
Apprendre un DBN à partir de données ) Des algorithmes
existent
Evaluer un algorithme d’apprentissage ) Pas de cadre
commun
Notre objectif
Comment évaluer les algorithmes d’apprentissage de
structure de (grands) DBNs?
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 3/20

6. Contexte Nos Propositions Conclusion et perspective
Réseaux Bayésiens (statiques) (BN)
Définition (Pearl,85)
Un réseau Bayésien (BN)=(G;) est caracterisé par deux
composantes:
G : représentation graphique des relations de dépendance
entre les variables (directed acyclic graph (DAG))
: ensemble de distributions de probabilités conditionelles de
chaque variable sacnaht ses parents dans G
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 4/20

7. Contexte Nos Propositions Conclusion et perspective
Réseaux Bayésiens dynamiques (DBN)
BN à k tranches de temps (k-TBN) (Murphy,02)
processus de Markov d’ordre k 1
défini par un réseau initial M0 et un réseau de transition M
exemple : 2-TBN (Dean and Kanazawa,89)
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 5/20

8. Contexte Nos Propositions Conclusion et perspective
Réseaux Bayésiens dynamiques (DBN)
BN à k tranches de temps (k-TBN) (Murphy,02)
(k-TBN) simplifié
k-TBN sans arcs intra-temporels (Dojer,06) (Vinh et al,12)
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 5/20

9. Contexte Nos Propositions Conclusion et perspective
Evaluation de l’apprentissage
Des pratiques d’évaluation communes
Benchmarks
Métriques d’évaluation
Quelques détails sur
la génération de grands modèles par tiling
la distance structurelle de Hamming (SHD)
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 6/20

10. Contexte Nos Propositions Conclusion et perspective
Evaluation de l’apprentissage
Des pratiques d’évaluation communes
Benchmarks
des modèles simples ou complexes (en terme de nombre de
variables)
des benchmarks standards
des modèles générés d’une manière aléatoire (Ide et al. 02)
des modèles arbitrairement grands générés par tiling
(Tsamardinos,06)
Métriques d’évaluation
Quelques détails sur
la génération de grands modèles par tiling
G. Tlarabdelsisi, tPa. Lnercaye, Ms. BternuAcyteud arnedllAe.M.dAelimHi ammBienncghm(aSrkHingDD)BN 6/20

11. Contexte Nos Propositions Conclusion et perspective
Evaluation de l’apprentissage
Des pratiques d’évaluation communes
Benchmarks
Métriques d’évaluation
des métriques communes
utilisation des données d’apprentissage
fonctions de score (AIC, BIC, BDeu, ...)
= approximation du marginal (log)likelihood
comparaison à un modèle de référence(possible lorsque les
données d’apprentissage sont générées à partir de ce
modèle)
Quelques détails sur
la génération de grands modèles par tiling
la distance structurelle de Hamming (SHD) G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 6/20

12. Contexte Nos Propositions Conclusion et perspective
Evaluation de l’apprentissage
Des pratiques d’évaluation communes
Benchmarks
Métriques d’évaluation
des métriques communes
utilisation des données d’apprentissage
comparaison à un modèle de référence(possible lorsque les
données d’apprentissage sont générées à partir de ce
modèle)
divergence de Kullback Leibler (KL)
= comparaison des distributions de probabilité sous-jacentes
Quelques détails sur
la génération de grands modèles par tiling
G. Tlarabdelsisi, tPa. Lnercaye, Ms. BternuAcyteud arnedllAe.M.dAelimHi ammBienncghm(aSrkHingDD)BN 6/20

13. Contexte Nos Propositions Conclusion et perspective
Evaluation de l’apprentissage
Des pratiques d’évaluation communes
Benchmarks
Métriques d’évaluation
des métriques communes
utilisation des données d’apprentissage
comparaison à un modèle de référence(possible lorsque les
données d’apprentissage sont générées à partir de ce
modèle)
distance structurelle de Hamming (SHD)
Quelques détails sur
la génération de grands modèles par tiling
la distance structurelle de Hamming (SHD)
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 6/20

14. Contexte Nos Propositions Conclusion et perspective
Evaluation de l’apprentissage
Des pratiques d’évaluation communes
Benchmarks
Métriques d’évaluation
des métriques communes
utilisation des données d’apprentissage
comparaison à un modèle de référence(possible lorsque les
données d’apprentissage sont générées à partir de ce
modèle)
Quelques détails sur
la génération de grands modèles par tiling
la distance structurelle de Hamming (SHD)
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 6/20

15. Contexte Nos Propositions Conclusion et perspective
Tiling (Tsamardinos,06)
génération de grands modèles par tiling (empilement) d’un
modèle de référence
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 7/20

16. Contexte Nos Propositions Conclusion et perspective
Distance structurelle de Hamming
SHD
comparaison entre les graphes, mesure classique de
comparaison de graphes
adaptée par (Tsamardinos et al. 06): comparaison des PDAG
pour ne compter que les différences réellement distinguables
au sens de l’équivalence de Markov.
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 8/20

17. Contexte Nos Propositions Conclusion et perspective
Distance structurelle de Hamming
SHD
comparaison entre les graphes, mesure classique de
comparaison de graphes
adaptée par (Tsamardinos et al. 06): comparaison des PDAG
pour ne compter que les différences réellement distinguables
au sens de l’équivalence de Markov.
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 8/20

18. Contexte Nos Propositions Conclusion et perspective
Evaluation pour les DBN
Pas de méthode d’évaluation standard
Benckmarks
chaque étude utilise ses propres benchmarks
... avec des petits modèles de réference
mesures d’évaluation
Notre objectif
génération de benchmarks avec un grand nb de variables +
une métrique d’évaluation correcte
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 9/20

19. Contexte Nos Propositions Conclusion et perspective
Evaluation pour les DBN
Pas de méthode d’évaluation standard
Benckmarks
chaque étude utilise ses propres benchmarks
... avec des petits modèles de réference
mesures d’évaluation
Notre objectif
génération de benchmarks avec un grand nb de variables +
une métrique d’évaluation correcte
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 9/20

20. Contexte Nos Propositions Conclusion et perspective
Evaluation pour les DBN
Pas de méthode d’évaluation standard
Benckmarks
chaque étude utilise ses propres benchmarks
... avec des petits modèles de réference
mesures d’évaluation
utilisation des données d’apprentissage
fonctions de score (AIC, BIC, BDeu, ...)
comparaison à un modèle de référence
Notre objectif
génération de benchmarks avec un grand nb de variables +
une métrique d’évaluation correcte
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 9/20

21. Contexte Nos Propositions Conclusion et perspective
Evaluation pour les DBN
Pas de méthode d’évaluation standard
Benckmarks
chaque étude utilise ses propres benchmarks
... avec des petits modèles de réference
mesures d’évaluation
utilisation des données d’apprentissage
comparaison à un modèle de référence
sensitivity / specificity
) erreur à cause de l’équivalence de Markpv !
Notre objectif
génération de benchmarks avec un grand nb de variables +
une métrique d’évaluation correcte
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 9/20

22. Contexte Nos Propositions Conclusion et perspective
Evaluation pour les DBN
Pas de méthode d’évaluation standard
Benckmarks
chaque étude utilise ses propres benchmarks
... avec des petits modèles de réference
mesures d’évaluation
utilisation des données d’apprentissage
comparaison à un modèle de référence
Notre objectif
génération de benchmarks avec un grand nb de variables +
une métrique d’évaluation correcte
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 9/20

23. Contexte Nos Propositions Conclusion et perspective
Plan
1 Contexte
Motivation
Réseaux Bayésiens
Evaluation de l’apprentissage
Evaluation pour les DBN
2 Nos Propositions
Génération de grands 2-TBN
SHD pour les 2-TBN
3 Conclusion et perspective
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 10/20

24. Contexte Nos Propositions Conclusion et perspective
Génération de grands 2-TBN (Trabelsi,13b)
Entrée: un BN (statique) quelconque
génération du modèle initial (M0)
tiling de n copies du réseau original M.
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 11/20

25. Contexte Nos Propositions Conclusion et perspective
Génération de grands 2-TBN (Trabelsi,13b)
Entrée: un BN (statique) quelconque
génération du modèle de transition (M)
tiling de 2 copies de M0.
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 11/20

26. Contexte Nos Propositions Conclusion et perspective
Génération de grands 2-TBN (Trabelsi,13b)
Entrée: un BN (statique) quelconque
génération du modèle initial (M0)
tiling de n copies du réseau original M.
génération du modèle de transition (M)
tiling de 2 copies de M0.
généralisation possible pour les k-TBN
génération possible de k-TBN simplifiés
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 11/20

27. Contexte Nos Propositions Conclusion et perspective
Résultats
Plusieurs 2-TBN (modèles et bases de données) sont
disponibles sur notre site web.
(https://sites.google.com/site/dynamicbenchmarking/)
Réseaux #Vars #Arcs Arc temporel #n #k
Asia_G0 8 8 3 0
Asia_G 24 31 5 3 2
Alarm_G0 37 46 2 0
Alarm_G 74 110 18 2 2
Hailfinder_G0 56 66 2 0
Hailfinder_G 112 156 24 2 2
Win95pts_G0 76 112 2 0
Win95pts_G 156 256 41 2 2
Andes_G0 223 338 2 0
Andes_G 446 820 144 2 2
Link_G0 724 1125 2 0
Link_G 1448 2530 280 2 2
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 12/20

28. Contexte Nos Propositions Conclusion et perspective
SHD pour les 2-TBN
Définition (Trabelsi,13b)
SHD(2-TBN) est une paire de
SHD entre les graphes initiaux des modèles théorique et
appris
SHD entre les graphes de transition des modèles théorique et
appris
SHD entre les graphes initiaux
SHD entre les graphes de transition
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 13/20

29. Contexte Nos Propositions Conclusion et perspective
SHD pour les 2-TBN
Définition (Trabelsi,13b)
SHD entre les graphes initiaux
pas de problème: les modèles initiaux sont des BN statiques
solution: utilisation de SHD entre PDAG proposé par
Tsamardinos
SHD entre les graphes de transition
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 13/20

30. Contexte Nos Propositions Conclusion et perspective
SHD pour les 2-TBN
Définition (Trabelsi,13b)
SHD entre les graphes initiaux
SHD entre les graphes de transition
problème: Des informations temporelles sont perdues en
comparant les PDAGs
(Meek,95) propose PDAGK= PDAG compatible avec des
connaissances a priori K
Notre solution: adaptation du SHD entre PDAGK en utilisant
les contraintes temporelles comme a priori
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 13/20

31. Contexte Nos Propositions Conclusion et perspective
SHD sans correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 14/20

32. Contexte Nos Propositions Conclusion et perspective
SHD sans correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 15/20

33. Contexte Nos Propositions Conclusion et perspective
SHD sans correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 16/20

34. Contexte Nos Propositions Conclusion et perspective
SHD avec correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 17/20

35. Contexte Nos Propositions Conclusion et perspective
SHD avec correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 17/20

36. Contexte Nos Propositions Conclusion et perspective
SHD avec correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 18/20

37. Contexte Nos Propositions Conclusion et perspective
SHD avec correction temporelle
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 18/20

38. Contexte Nos Propositions Conclusion et perspective
Plan
1 Contexte
Motivation
Réseaux Bayésiens
Evaluation de l’apprentissage
Evaluation pour les DBN
2 Nos Propositions
Génération de grands 2-TBN
SHD pour les 2-TBN
3 Conclusion et perspective
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 19/20

39. Contexte Nos Propositions Conclusion et perspective
Conclusion et perspectives
Conclusion
un algorithme pour la génération de (grands) 2-TBN
une mesure d’évaluation correcte dédiée à l’apprentissage
des 2-TBN
une application à l’évaluation d’un nouvel algorithme
d’apprentissage de 2-TBN (dynamic MMHC)
Perspectives
extension aux k-TBNs
une mesure d’évaluation pour l’apprentissage des BN tenant
compte du fait que d’autres types de connaissances
(présence/absence d’arcs, ...) ont pu être utilisées lors de
l’apprentissage.
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 20/20

40. Contexte Nos Propositions Conclusion et perspective
Conclusion et perspectives
Conclusion
un algorithme pour la génération de (grands) 2-TBN
une mesure d’évaluation correcte dédiée à l’apprentissage
des 2-TBN
une application à l’évaluation d’un nouvel algorithme
d’apprentissage de 2-TBN (dynamic MMHC)
Perspectives
extension aux k-TBNs
une mesure d’évaluation pour l’apprentissage des BN tenant
compte du fait que d’autres types de connaissances
(présence/absence d’arcs, ...) ont pu être utilisées lors de
l’apprentissage.
G. Trabelsi, P. Leray, M. Ben Ayed and A.M. Alimi Benchmarking DBN 20/20