Recomendados
Recomendados
Más contenido relacionado
Similar a Carte de Kohonen par noyau et application a la classification de sommets de graphes
Similar a Carte de Kohonen par noyau et application a la classification de sommets de graphes (11)
Más de tuxette
Más de tuxette (20)
Carte de Kohonen par noyau et application a la classification de sommets de graphes
- 1. Contexte et motivations Cartes de Kohonen Application Références Carte de Kohonen par noyau et application à la classification de sommets de graphes Nathalie Villa-Vialaneix(1) Fabrice Rossi(2) (1)Institut de Mathématiques de Toulouse, France - nathalie.villa@math.univ-toulouse.fr (2)Projet AxIS, INRIA Rocquencourt, France Groupe de travail STAPH, 14 Janvier 2008 Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 2. Contexte et motivations Cartes de Kohonen Application Références Sommaire 1 Contexte et motivations 2 Cartes de Kohonen Présentation de l’algorithme de cartes de Kohonen Adaptation pour données représentées par un tableau de dissimilarités Cartes de Kohonen à noyau 3 Application Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 3. Contexte et motivations Cartes de Kohonen Application Références Table of contents 1 Contexte et motivations 2 Cartes de Kohonen Présentation de l’algorithme de cartes de Kohonen Adaptation pour données représentées par un tableau de dissimilarités Cartes de Kohonen à noyau 3 Application Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 4. Contexte et motivations Cartes de Kohonen Application Références Graphes Les données On considère un graphe G constitué de 1 n sommets : x1, . . . , xn ; 2 un ensemble d’arêtes pondérées, E, caractérisé par des poids w(xi, xj) tels que w(xi, xj) = w(xj, xi), w(xi, xi) = 0 et w(xi, xj) ≥ 0. Alors, n j=1 w(xi, xj) ≡ di (degré du sommet xi). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 5. Contexte et motivations Cartes de Kohonen Application Références Objectif Pour simplifier la structure du graphe, obtenir une classification des sommets en groupes de proximités (deux sommets sont dans la même classe si il existe un poids fort entre eux OU si ils ont beaucoup de voisins en commun). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 6. Contexte et motivations Cartes de Kohonen Application Références Objectif Pour simplifier la structure du graphe, obtenir une classification des sommets en groupes de proximités (deux sommets sont dans la même classe si il existe un poids fort entre eux OU si ils ont beaucoup de voisins en commun). Problème : Le graphe ne possède aucune structure euclidienne naturelle ! Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 7. Contexte et motivations Cartes de Kohonen Application Références Un exemple concret : les réseaux sociaux Graphe construit à partir d’un corpus d’archives médiévales À partir de 1000 contrats agraires du Moyen-Âge (1250-1350), on construit un graphe : Sommets : paysans cités dans les contrats ; Poids : nombre de mentions communes de deux paysans. Nombre de sommets : 615 Nombre d’arêtes : 4193 Somme totale des poids : 40 329 Diamètre : 10 Densité : 2,2% Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 8. Contexte et motivations Cartes de Kohonen Application Références Communautés Classes d’individus fortement liés ≡ communautés (problématique importante dans le domaine des réseaux sociaux). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 9. Contexte et motivations Cartes de Kohonen Application Références Communautés Classes d’individus fortement liés ≡ communautés (problématique importante dans le domaine des réseaux sociaux). Ici : Classification et organisation : trouver des groupes pertinants d’individus et comprendre la structure des relations entre ces groupes. Réduction de la complexité du réseau initial par l’utilisation d’un plongement sur des carte de Kohonen. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 10. Contexte et motivations Cartes de Kohonen Application Références Références Villa, N. & Boulet, R. (2007) Clustering a medieval social network by SOM using a kernel based distance measure. In proceedings of ESANN 2007, M. Verleysen Ed., Bruges, Belgique, 31-38. [Villa and Boulet, 2007] Villa, N. & Rossi, F. (2007) A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph. In proceedings of WSOM 2007, Bielefeld, Allemagne, 3/6 septembre. [Villa and Rossi, 2007] Boulet, R., Jouve, B., Rossi, F. & Villa, N. (2008) Batch kernel SOM and related Laplacian methods for social network analysis. Neurocomputing. À paraître. [Boulet et al., 2008] Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 11. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Table of contents 1 Contexte et motivations 2 Cartes de Kohonen Présentation de l’algorithme de cartes de Kohonen Adaptation pour données représentées par un tableau de dissimilarités Cartes de Kohonen à noyau 3 Application Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 12. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Un algorithme neuronal de classification non supervisée Données et principe Données : x1, . . . , xn ∈ Rk (k grand). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 13. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Un algorithme neuronal de classification non supervisée Données et principe Données : x1, . . . , xn ∈ Rk (k grand). “Projeter” x1, . . . , xn sur une carte de faible dimension (1 ou 2) qui préserve la topologie initiale des données ([Kohonen, 2001]). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 14. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Un algorithme neuronal de classification non supervisée Données et principe Données : x1, . . . , xn ∈ Rk (k grand). “Projeter” x1, . . . , xn sur une carte de faible dimension (1 ou 2) qui préserve la topologie initiale des données ([Kohonen, 2001]). Grille rectangulaire (dimension 2) un neurone Ficelle (dimension 1) un neurone Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 15. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Relations données / carte Propriétés de la carte Chaque neurone de la carte, i = 1, . . . , M est représenté par un prototype, mi ∈ Rk ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 16. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Relations données / carte Propriétés de la carte Chaque neurone de la carte, i = 1, . . . , M est représenté par un prototype, mi ∈ Rk ; Les neurones sont liés les uns aux autres par une relation de voisinage (“distance”: d) : Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 17. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Relations données / carte Propriétés de la carte Chaque neurone de la carte, i = 1, . . . , M est représenté par un prototype, mi ∈ Rk ; Les neurones sont liés les uns aux autres par une relation de voisinage (“distance”: d) : Propriétés des données Chaque individu xi est associé à un neurone de la carte, f(xi). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 18. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Préserver au mieux la topologie initiale Énergie On cherche à minimiser l’énergie de la carte : E = M i=1 h(d(f(x), i)) x − mi 2 dP(x) où h est une fonction décroissante (ex : h(t) = αe−t/2σ2 ). . Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 19. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Préserver au mieux la topologie initiale Énergie On cherche à minimiser l’énergie de la carte : E = M i=1 h(d(f(x), i)) x − mi 2 dP(x) où h est une fonction décroissante (ex : h(t) = αe−t/2σ2 ). L’énergie est approchée par sa version empirique : En = n j=1 M i=1 h(d(f(xj), i)) xj − mi 2 . . Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 20. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Préserver au mieux la topologie initiale Énergie On cherche à minimiser l’énergie de la carte : E = M i=1 h(d(f(x), i)) x − mi 2 dP(x) où h est une fonction décroissante (ex : h(t) = αe−t/2σ2 ). L’énergie est approchée par sa version empirique : En = n j=1 M i=1 h(d(f(xj), i)) xj − mi 2 . Algo de descente de gradient approximation de cette minimisation. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 21. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme stochastique Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 22. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme stochastique Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Répéter (itération L) 1 Phase d’affectation de xL : f(xL ) := arg min i=1,...,M mL−1 i − xL ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 23. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme stochastique Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Répéter (itération L) 1 Phase d’affectation de xL : f(xL ) := arg min i=1,...,M mL−1 i − xL ; 2 Phase de représentation : ∀ i = 1, . . . , M, mL i := mL−1 i + α(L)hL (d(f(xL ), i))(xL − mL−1 i ) ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 24. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme stochastique Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Répéter (itération L) 1 Phase d’affectation de xL : f(xL ) := arg min i=1,...,M mL−1 i − xL ; 2 Phase de représentation : ∀ i = 1, . . . , M, mL i := mL−1 i + α(L)hL (d(f(xL ), i))(xL − mL−1 i ) ; jusqu’à affectation de tous les (xi)i=1,...,n et stabilisation de la valeur de l’énergie En . Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 25. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme “batch” (version “moyenne”) Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 26. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme “batch” (version “moyenne”) Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Répéter (itération L) 1 Phase d’affectation : ∀ j = 1, . . . , n, f(xj) := arg min i=1,...,M mL−1 i − xj ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 27. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme “batch” (version “moyenne”) Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Répéter (itération L) 1 Phase d’affectation : ∀ j = 1, . . . , n, f(xj) := arg min i=1,...,M mL−1 i − xj ; 2 Phase de représentation : ∀ i = 1, . . . , M, mL i := arg min x∈Rk n j=1 hL (d(f(xj), i)) xj − x 2 ; := n j=1 hL (d(f(xj), i))xj n j=1 hL (d(f(xj), i)) moyenne généralisée Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 28. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme “batch” (version “moyenne”) Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ Rk ; Répéter (itération L) 1 Phase d’affectation : ∀ j = 1, . . . , n, f(xj) := arg min i=1,...,M mL−1 i − xj ; 2 Phase de représentation : ∀ i = 1, . . . , M, mL i := arg min x∈Rk n j=1 hL (d(f(xj), i)) xj − x 2 ; := n j=1 hL (d(f(xj), i))xj n j=1 hL (d(f(xj), i)) moyenne généralisée jusqu’à stabilisation de la valeur de l’énergie En . Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 29. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Adaptations pour les données non vectorielles décrites par une mesure de dissimilarité Les données Données : x1, . . . , xn ∈ V où V est un espace abstrait quelconque. Dissimilarité : On connait, ∀ i, j = 1, . . . , n, δ(xi, xj) telle que δ est symétrique ; δ est positive ; δ(xi, xi) = 0. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 30. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Adaptations pour les données non vectorielles décrites par une mesure de dissimilarité Les données Données : x1, . . . , xn ∈ V où V est un espace abstrait quelconque. Dissimilarité : On connait, ∀ i, j = 1, . . . , n, δ(xi, xj) telle que δ est symétrique ; δ est positive ; δ(xi, xi) = 0. Adaptations : [Kohohen and Somervuo, 1998], [El Golli et al., 2006] 1 Les propotypes sont un des (xj)j=1,...,n ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 31. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Adaptations pour les données non vectorielles décrites par une mesure de dissimilarité Les données Données : x1, . . . , xn ∈ V où V est un espace abstrait quelconque. Dissimilarité : On connait, ∀ i, j = 1, . . . , n, δ(xi, xj) telle que δ est symétrique ; δ est positive ; δ(xi, xi) = 0. Adaptations : [Kohohen and Somervuo, 1998], [El Golli et al., 2006] 1 Les propotypes sont un des (xj)j=1,...,n ; 2 La distance euclidienne dans Rk est remplacée par δ. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 32. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Cartes auto-organisatrices pour données décrites par un tableau de dissimilarités Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ {x1, . . . , xn} ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 33. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Cartes auto-organisatrices pour données décrites par un tableau de dissimilarités Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ {x1, . . . , xn} ; Répéter (itération L) 1 Phase d’affectation : ∀ j = 1, . . . , n, f(xj) := arg min i=1,...,M δ(mL−1 i , xj) ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 34. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Cartes auto-organisatrices pour données décrites par un tableau de dissimilarités Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ {x1, . . . , xn} ; Répéter (itération L) 1 Phase d’affectation : ∀ j = 1, . . . , n, f(xj) := arg min i=1,...,M δ(mL−1 i , xj) ; 2 Phase de représentation : ∀ i = 1, . . . , M, mL i := arg min j =1,...,n n j=1 hL (d(f(xj), i))δ(xj, xj ) ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 35. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Cartes auto-organisatrices pour données décrites par un tableau de dissimilarités Initialisation : initialiser, ∀ j = 1, . . . , M, m0 j ∈ {x1, . . . , xn} ; Répéter (itération L) 1 Phase d’affectation : ∀ j = 1, . . . , n, f(xj) := arg min i=1,...,M δ(mL−1 i , xj) ; 2 Phase de représentation : ∀ i = 1, . . . , M, mL i := arg min j =1,...,n n j=1 hL (d(f(xj), i))δ(xj, xj ) ; jusqu’à stabilisation de la valeur de l’énergie En . Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 36. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Quelques dissimilarités classiques pour graphes Indice de Jaccard (graphe non pondéré) : J(xi, xj) = {k : xk ∼ xi et xk ∼ xj} {k : xk ∼ xi ou xk ∼ xj ; Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 37. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Quelques dissimilarités classiques pour graphes Indice de Jaccard (graphe non pondéré) : J(xi, xj) = {k : xk ∼ xi et xk ∼ xj} {k : xk ∼ xi ou xk ∼ xj ; Plongement dans un espace Euclidien à partir des premiers vecteurs propres du Laplacien : L = (Li,j)i,j=1,...,n où Li,j = −wi,j if i j di if i = j ; “spectral clustering”. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 38. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Propriétés du Laplacien I [von Luxburg, 2007] Composantes connexes Le noyau de la matrice L est engendré par les indicatrices IA1 , . . . , IAk des sommets des k composantes connexes du graphe. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 39. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Propriétés du Laplacien II [Boulet et al., 2008] Communauté parfaite : Sous-graphe complet (clique) dont tous les sommets ont les mêmes voisins à l’extérieur de la clique. Détermination de communautés parfaites Les communautés parfaites d’un graphe non pondéré correspondent à des groupes de m sommets pour lesquels il existe m vecteurs propres ayant les mêmes coordonnées nulles. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 40. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Propriétés du Laplacien III [von Luxburg, 2007] Problème de la coupe optimale Supposons maintenant que notre graphe soit connexe. Le problème (optimisation discrète) de trouver une partition du graphe en k groupes de sommets, A1, . . . , Ak qui minimise 1 2 k i=1 j∈Ai,j Ai wj,j est approché par le problème d’optimisation continue suivant min H∈Rn×k Tr HT LH subject to HT H = I Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 41. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Une version régularisée de L Régularisation : la matrice de diffusion : pour β > 0, Kβ = e−βL = +∞ k=1 (−βL)k k! . ⇒ kβ : V × V → R (xi, xj) → K β i,j noyau de diffusion (ou noyau de la chaleur). Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 42. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Marche aléatoire sur le graphe Si Z0 = (1 1 1 . . . 1 1)T est le score “d’énergie” dans chaque sommet du graphe et si cette énergie est diffusée le long des arêtes du graphe selon une petite fraction sur chaque arête et à chaque pas de temps. Alors, au bout de n pas de temps, le score dans les sommets du graphe s’écrit : Zn = (1 + L)n Z0 Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 43. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Marche aléatoire sur le graphe Si Z0 = (1 1 1 . . . 1 1)T est le score “d’énergie” dans chaque sommet du graphe et si cette énergie est diffusée le long des arêtes du graphe selon une petite fraction sur chaque arête et à chaque pas de temps. Alors, au bout de n pas de temps, le score dans les sommets du graphe s’écrit : Zn = (1 + L)n Z0 Limites : Pas de temps : n → t/(∆t) et α → α∆t puis (∆t) → 0 (processus continu) ; alors, lim Zn = eαtL = kαt Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 44. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Intérêts 1 Interprétation intuitive : kβ(i, j) peut être interprétée comme l’énergie accumulée en i lorsque l’énergie a été injectée en j au temps 0 et que l’énergie circule de manière continue dans les arêtes du graphe selon une fraction qui dépend de β. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 45. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Intérêts 1 Interprétation intuitive : kβ(i, j) peut être interprétée comme l’énergie accumulée en i lorsque l’énergie a été injectée en j au temps 0 et que l’énergie circule de manière continue dans les arêtes du graphe selon une fraction qui dépend de β. 2 Plongement dans un espace de Hilbert : ∃ (Hβ, ., . β) et φβ : G → Hβ tels que kβ (xi, xj) = φβ (xi), φβ (xj) β ⇒ δβ(xi, xj) = kβ(xi, xi) + kβ(xj, xj) − 2kβ(xi, xj) est une dissimilarité [Villa and Boulet, 2007]. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 46. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau kernel SOM [Lau et al., 2006] Utiliser l’algorithme de carte de Kohonen dans le RKHS : Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 47. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau kernel SOM [Lau et al., 2006] Utiliser l’algorithme de carte de Kohonen dans le RKHS : Le prototype du neurone i est dans Hβ et est de la forme pi = n j=1 γjiφβ (xj); Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 48. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau kernel SOM [Lau et al., 2006] Utiliser l’algorithme de carte de Kohonen dans le RKHS : Le prototype du neurone i est dans Hβ et est de la forme pi = n j=1 γjiφβ (xj); φ est implicite car ∀ i, j = 1, . . . , n, φβ (xi) − φβ (xj) 2 = kβ (xi, xi) + kβ (xj, xj) − 2kβ (xi, xj); Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 49. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme (on line) Phase d’affectation: pour xl, arg min j=1,...,M n i=1 γijkβ (xl, xi) − n i,i =1 γijγi jkβ (xi, xi ) Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 50. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Algorithme (on line) Phase d’affectation: pour xl, arg min j=1,...,M n i=1 γijkβ (xl, xi) − n i,i =1 γijγi jkβ (xi, xi ) Phase de représentation: pl i = n j=1 γl ji φβ(xj): γl ji = γl−1 ji + α(l)h(d(fl (xl), j)) Iil − γl−1 ji Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 51. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Comment passer de SOM pour dissimilarité à SOM à noyau ? [Villa and Rossi, 2007] En généralisant SOM pour dissimilarité au cas où le prototype du neurone i est de la forme : pj = n i=1 γjiφβ(xi); on peut déduire la version globale (batch) de l’algorithme de carte de Kohonen par noyau. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 52. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Comment passer de SOM pour dissimilarité à SOM à noyau ? [Villa and Rossi, 2007] Phase d’affectation Pour xi, arg min j=1,...,M δβ(xi, pl−1 j ) Phase de représentation pl j = arg min x∈(xi )i =1,...,n n i=1 h(d(fl (xi), j))δβ(xi, x) Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 53. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Comment passer de SOM pour dissimilarité à SOM à noyau ? [Villa and Rossi, 2007] Phase d’affectation Pour xi, arg min j=1,...,M xi − n i=1 γjiφβ(xi) β Phase de représentation γl j = arg min γ∈Rn n i=1 h(d(fl (xi), j)) xi − n l =1 γl φβ(xl ) 2 β Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 54. Contexte et motivations Cartes de Kohonen Application Références Présentation de l’algorithme de cartes de Kohonen Dissimilarités Cartes de Kohonen à noyau Comment passer de SOM pour dissimilarité à SOM à noyau ? [Villa and Rossi, 2007] Phase d’affectation Pour xi, arg min j=1,...,M n u,u =1 γjuγju kβ (xu, xu ) − 2 n u=1 γjukβ (xu, xi) Phase de représentation γl ji = h(d(fl (xi), j))) n i =1 h(d(fl(xi , j))) Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 55. Contexte et motivations Cartes de Kohonen Application Références Table of contents 1 Contexte et motivations 2 Cartes de Kohonen Présentation de l’algorithme de cartes de Kohonen Adaptation pour données représentées par un tableau de dissimilarités Cartes de Kohonen à noyau 3 Application Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 56. Contexte et motivations Cartes de Kohonen Application Références Cartes obtenues [Boulet et al., 2008] Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 57. Contexte et motivations Cartes de Kohonen Application Références Cartes obtenues [Boulet et al., 2008] RICH 465 7 9 9 8 520 324 107 9 2 423 407 408 524 515 510 2 7 150 2 2 2 3 5 4 2 5 2 62 7 3 8 2 9 3 1 0 2 1 1 2 1 2 2 1 3 2 1 4 2 1 5 2 1 6 2 1 7 4 1 8 2 1 9 3 2 0 2 2 1 2 2 2 2 2 3 3 2 4 2 2 5 2 2 6 2 2 7 5 2 8 2 2 9 2 3 0 1 1 3 1 2 3 2 2 3 3 8 3 4 2 3 6 2 3 7 2 3 8 2 3 9 3 4 0 2 4 1 2 4 2 2 4 3 2 4 4 2 4 5 3 4 6 4 4 8 2 4 9 4 5 0 2 5 1 2 5 3 2 5 4 3 5 5 2 5 9 2 6 0 2 6 1 3 6 2 4 6 3 2 6 4 3 6 5 2 6 6 3 6 7 2 6 8 2 6 9 3 7 0 2 7 1 2 7 2 2 7 3 2 7 4 2 7 6 2 7 9 Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 58. Contexte et motivations Cartes de Kohonen Application Références Quelques cartes thématiques 1 Noms 2 Dates et Comparaison 3 Lieux et Comparaison Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 59. Contexte et motivations Cartes de Kohonen Application Références Représentation globale La Suite... Réalisée par Dinh Truong et Tao Dkaki Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008
- 62. Contexte et motivations Cartes de Kohonen Application Références Références Boulet, R., Jouve, B., Rossi, F., and Villa, N. (2008). Batch kernel SOM and related laplacian methods for social network analysis. Neurocomputing. To appear. El Golli, A., Rossi, F., Conan-Guez, B., and Lechevallier, Y. (2006). Une adaptation des cartes auto-organisatrices pour des données décrites par un tableau de dissimilarités. Revue de Statistique Appliquée, LIV(3):33–64. Kohohen, T. and Somervuo, P. (1998). Self-Organizing maps of symbol strings. Neurocomputing, 21:19–30. Kohonen, T. (2001). Self-Organizing Maps, 3rd Edition, volume 30. Springer, Berlin, Heidelberg, New York. Lau, K., Yin, H., and Hubbard, S. (2006). Kernel self-organising maps for classification. Neurocomputing, 69:2033–2040. Villa, N. and Boulet, R. (2007). Clustering a medieval social network by SOM using a kernel based distance measure. In Verleysen, M., editor, Proceedings of ESANN 2007, pages 31–36, Bruges, Belgium. Villa, N. and Rossi, F. (2007). A comparison between dissimilarity SOM and kernel SOM for clustering the vertices of a graph. In Proceedings of the 6th Workshop on Self-Organizing Maps (WSOM 07), Bielefield, Germany. von Luxburg, U. (2007). A tutorial on spectral clustering. Technical Report TR-149, Max Planck Institut für biologische Kybernetik. Avaliable at http://www.kyb.mpg.de/publications/attachments/luxburg06_TR_v2_4139%5B%1%5D.pdf. Nathalie Villa & Fabrice Rossi Groupe de travail STAPH - 14 janvier 2008