Séminaire LORIA septembre 2015 : Introduction aux réseaux complexes et applications au traitement de la langue

1. Introduction aux r´eseaux complexes et applications
au traitement de la langue
Nicolas Dugu´e - S´eminaire Synalp
Figure issue de [New04]
25 septembre 2015

2. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseau : une d´efinition ultra formelle
2/48
N. Dugu´e

3. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseau : une d´efinition ultra formelle
Des points...
Reli´es par des traits !
2/48
N. Dugu´e

4. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseau : une d´efinition ultra formelle
Des points...
Reli´es par des traits !
Terminologie
R´eseau ou graphe ;
Noeud ou sommet ;
Lien ou arˆete ;
Lien orient´e ou arc.
2/48
N. Dugu´e

5. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : R´eseau des blogs politique aux ´etats unis par Adamic et Glance en
2005, les conservateurs en rouge, les lib´eraux en bleu [AG05]
3/48
N. Dugu´e

6. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Le Zachary Karat´e Club [Zac77]
3/48
N. Dugu´e

7. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Barrett Lyon / The Opte Project Visualization of the routing paths of
the Internet. 3/48
N. Dugu´e

8. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Barrett Lyon / The Opte Project Visualization of the routing paths of
the Internet.
3/48
N. Dugu´e

9. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

10. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

11. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

12. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

13. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

14. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

15. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
La bible : http ://konect.uni-koblenz.de/networks/
R´eseaux de :
citations ;
collaborations ;
sociaux ;
transport ;
pages web ;
biologiques ;
trucs moins conventionnels ;
4/48
N. Dugu´e

16. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
5/48
N. Dugu´e

17. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Erdos-R´enyi : r´eseaux al´eatoires
Intuition
Barab´asi : ”people follow their unique interests when deciding what
sites to link their Web documents to, and given the diversity of
everyone’s interests and the tremendous number of pages they can
choose from, the resulting pattern of connections should appear fairly
random.” [BB03]
6/48
N. Dugu´e

18. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Erdos-R´enyi : r´eseaux al´eatoires
n noeuds.
Entre chaque paire, une arˆete existe avec probabilit´e p
6/48
N. Dugu´e

19. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Erdos-R´enyi : r´eseaux al´eatoires
n noeuds.
Entre chaque paire, une arˆete existe avec probabilit´e p
Propagation d’´epid´emies ;
Algorithmes de routing ;
Percolation.
6/48
N. Dugu´e

20. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Erdos-R´enyi : r´eseaux al´eatoires
Erdos-R´enyi Giant Component growth - p > ln(n)
n 6/48
N. Dugu´e

21. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Le mod`ele Erdos-R´enyi est il un bon mod`ele ?
FIGURE : Issu de Barab´asi [BB03]
7/48
N. Dugu´e

22. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Le mod`ele Erdos-R´enyi est il un bon mod`ele ?
FIGURE : Issu de Barab´asi [BB03]
Distribution de Poisson.
Le degr´e moyen d´epend de la taille du r´eseau.
La distribution de des degr´es est homog`ene.
8/48
N. Dugu´e

23. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
9/48
N. Dugu´e

24. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Flickr
friendships [MKG+
08]
FIGURE : Youtube
friendships [YL15]
FIGURE : Email in
Enron [KY04]
FIGURE : Chinese
wikipedia [NSW+
11]
FIGURE : Linux source
code includes
FIGURE : Flights between
us airports [Ops11] 10/48
N. Dugu´e

25. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Distribution des degr´es des r´eseaux du r´eel
Distribution en loi de puissance !
La distribution ne d´epend pas de la taille du r´eseau.
La distribution des degr´es est tr`es h´et´erog`ene.
11/48
N. Dugu´e

26. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Loi de puissance
FIGURE : Issu de Barab´asi [BB03]
12/48
N. Dugu´e

27. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Distribution des degr´es des r´eseaux du r´eel
Mod`ele de Barab´asi-Albert [BA99]
Id´ee : m´ecanisme local → propri´et´e ´emergente
Le r´eseau grandit avec l’ajout de nouveaux sommets ;
L’attachement pr´ef´erentiel : pi = d(ni )
m .
→ Richs get richer.
13/48
N. Dugu´e

28. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Attachement pr´ef´erentiel
Barab´asi-Albert model [BA99] 14/48
N. Dugu´e

29. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
15/48
N. Dugu´e

30. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Le petit-monde
Le ”paradoxe de Milgram”
Les ”six degr´es de s´eparation”
Exp´erience de Milgram
50 lettres donn´ees `a 50 recrues du Nebraska
Destinataire : un agent de change du Massachussets
Lettres pass´ees de connaissances en connaissances
3 lettres arrivent `a destination dont une en moins de 4 jours.
16/48
N. Dugu´e

31. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Plus court chemin et coefficient de clustering
Plus court chemin
Chemin avec le nombre de noeuds minimum
Coefficient de clustering
Ci = 2mi
di (di −1) avec mi le nombre d’arˆetes entre les di voisins du noeud i
17/48
N. Dugu´e

32. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Issu de Watts et Strogatz [WS98]
18/48
N. Dugu´e

33. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Watts-Strogatz : petit monde
FIGURE : Issu de Watts et Strogatz [WS98]
19/48
N. Dugu´e

34. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Watts-Strogatz : petit monde
Un cercle de n noeuds connect´es `a leurs voisins
On parcourt le cercle, et pour chaque noeud, on le rebranche
al´eatoirement avec une probabilit´e p
→ p = 0 : cercle r´egulier ; p = 1 : r´eseau al´eatoire
19/48
N. Dugu´e

35. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Watts-Strogatz : petit monde
Small World network model 19/48
N. Dugu´e

36. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Mod`ele Watts-Strogatz : petit monde
FIGURE : Issu de Watts et Strogatz [WS98]
19/48
N. Dugu´e

37. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
20/48
N. Dugu´e

38. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Une organisation communautaire
Exemples
Des communaut´es d’amis
Des communaut´es scientifiques
Des blogs sur le mˆeme sujet
Des a´eroports particuli`erement connect´es
21/48
N. Dugu´e

39. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Une organisation communautaire
Exemples
Des communaut´es d’amis
Des communaut´es scientifiques
Des blogs sur le mˆeme sujet
Des a´eroports particuli`erement connect´es
21/48
N. Dugu´e

40. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Une organisation communautaire
Exemples
Des communaut´es d’amis
Des communaut´es scientifiques
Des blogs sur le mˆeme sujet
Des a´eroports particuli`erement connect´es
21/48
N. Dugu´e

41. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Une organisation communautaire
Exemples
Des communaut´es d’amis
Des communaut´es scientifiques
Des blogs sur le mˆeme sujet
Des a´eroports particuli`erement connect´es
21/48
N. Dugu´e

42. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Une organisation communautaire
Girvan et Newman parle de modularit´e du r´eseau [GN02]
Ravasz et Barab´asi d´ecrivent une organisation modulaire
hi´erarchique [RB03]
21/48
N. Dugu´e

43. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Une organisation communautaire
Des communaut´es hi´erarchiques : plusieurs ´echelles
Une ´equipe dans un labo → Un labo → Une communaut´e scientifique
→ La communaut´es des scientifiques
21/48
N. Dugu´e

44. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
D´etecter la structure de communaut´es
615
10
19
2
4
9
2114
85
22
16
18 12
1
7
3 13
11
17
20
22/48
N. Dugu´e

45. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
D´etecter la structure de communaut´es
Modularit´e [GN02]
Q =
1
2m
i,j
(Aij −
d(i)d(j)
2m
)δ(ci, cj)
d(i) le degr´e du noeud i
m le nombre d’arˆetes du r´eseau
Aij le poids de l’arˆete entre i et j ou 0 s’il n’y en a pas
ci la communaut´e du noeud i
δ(ci , cj ) ´egal `a 1 si i et j sont dans la mˆeme communaut´e, 0 sinon.
22/48
N. Dugu´e

46. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
D´etecter la structure de communaut´es
Algorithme de Louvain [BGLL08]
Optimisation : NP-difficile
→ Louvain : Algorithme glouton
22/48
N. Dugu´e

47. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Distribution linguistique des communaut´es du r´eseau d’appel des
t´el´ephones portables belges issue de Blondel et al. [BDK15]
23/48
N. Dugu´e

48. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
24/48
N. Dugu´e

49. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseaux de co-occurence de mots
Cancho et Sol´e [iCS01]
The British National Corpus
Chaque mot unique est un sommet
Il existe une arˆete entre deux mots voisins `a distance au plus 2
→ n ∼ 500.000 et m ∼ 18.000.000
25/48
N. Dugu´e

50. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseaux de co-occurence de mots
FIGURE : Le r´eseau est small-world d’apr`es Cancho et Sol´e [iCS01]
25/48
N. Dugu´e

51. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseaux de co-occurence de mots
FIGURE : La distribution des degr´es : deux r´egimes de power-law d’apr`es
Cancho et Sol´e [iCS01]
25/48
N. Dugu´e

52. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseaux de co-occurence de mots
Deux r´egimes
5.000 mots plus connect´es (kernel lexicons) → Attachement
pr´ef´erentiel → Utilisation pr´ef´erentielle de mots communs, faciles `a
mobiliser et `a comprendre
→ Mod`ele Dorogovstev et Mendes d’´evolution du langage [DM01]
25/48
N. Dugu´e

53. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´eseaux de co-occurence de mots
FIGURE : Mod`ele Dorogovstev et Mendes [DM01] `a deux r´egimes de
power-law [iCS01]
25/48
N. Dugu´e

54. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
26/48
N. Dugu´e

55. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Langage naturel
John put an envelope on the
table.
The envelope on the table
fell to the floor.
The address on the
envelope is wrong.
FIGURE : Figure issue de Cong et Liu [CL14].
A gauche, le r´eseau de co-occurence. A
droite, le r´eseau syntaxique.
27/48
N. Dugu´e

56. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Cancho et Sol´e [iCSK04]
Trois corpus en trois langues diff´erentes annot´es :
Tch`eque
Allemand
Roumain
→ Langues de familles diff´erentes
28/48
N. Dugu´e

57. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : Les r´eseaux sont small-world d’apr`es Cancho et Sol´e [iCSK04]
28/48
N. Dugu´e

58. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
FIGURE : La distribution cumulative des degr´es entrant et sortant d’apr`es
Cancho et Sol´e [iCSK04]
28/48
N. Dugu´e

59. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
29/48
N. Dugu´e

60. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Les r´eseaux de concepts
Deux mots sont connect´es s’ils expriment le mˆeme concept.
FIGURE : Issu de Motter et al. [MdMLD02]
30/48
N. Dugu´e

61. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Les r´eseaux de concepts
Motter et al. [MdMLD02]
Cr´eation du r´eseau `a partir d’un Th´esaurus anglais
n ∼ 30.000 et m ∼ 1.800.000
31/48
N. Dugu´e

62. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Les r´eseaux de concepts
Motter et al. [MdMLD02]
Cr´eation du r´eseau `a partir d’un Th´esaurus anglais
n ∼ 30.000 et m ∼ 1.800.000
31/48
N. Dugu´e

63. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Les r´eseaux de concepts
Motter et al. [MdMLD02]
Cr´eation du r´eseau `a partir d’un Th´esaurus anglais
n ∼ 30.000 et m ∼ 1.800.000
Des raccourcis dans les associations d’id´ees : ”character” et ”universe”
li´es par ”nature”
31/48
N. Dugu´e

64. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Les r´eseaux de concepts
→ Attachement pr´ef´erentiel des concepts
31/48
N. Dugu´e

65. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
32/48
N. Dugu´e

66. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Classification des langues
Textes parall`eles
Un roman ”How the steel was tempered”.
14 textes parall`eles.
12 en langue slaves s´epar´ees en trois branches : Eastern, Western,
Southern.
1 en chinois.
1 en anglais.
R´eseau de co-occurence de mots
Un r´eseau par langue, pas de pr´e-traitements.
Calcul du degr´e moyen, du coefficient de clustering, du diam`etre,
exposant de la loi de puissance, etc
33/48
N. Dugu´e

67. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Hi´erarchie de langages
FIGURE : Figure issue de Cong et Liu [CL14]
34/48
N. Dugu´e

68. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
35/48
N. Dugu´e

69. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Attribution de paternit´e
Mehri et al. [MDS12]
36 livres.
5 auteurs perses.
5 ´epoques diff´erentes.
Des styles de po´esie perses communs.
36/48
N. Dugu´e

70. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Attribution de paternit´e
R´eseau de co-occurence de mots
Un r´eseau par livre, pas de pr´e-traitements.
Calcul du degr´e moyen, du coefficient de clustering, du diam`etre,
exposant de la loi de puissance, etc.
Nombre de liens en fonction du nombre de noeuds.
36/48
N. Dugu´e

71. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Attribution de paternit´e
R´eseau de co-occurence de mots
Un r´eseau par livre, pas de pr´e-traitements.
Calcul du degr´e moyen, du coefficient de clustering, du diam`etre,
exposant de la loi de puissance, etc.
Nombre de liens en fonction du nombre de noeuds.
Classification
Des propri´et´es globales qui semblent discriminantes.
Une classification `a partir de ces propri´et´es qui fonctionne.
36/48
N. Dugu´e

72. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
37/48
N. Dugu´e

73. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Construction automatique de r´eseaux de
concepts
Veling et van der Weerd [VVDW99]
Construction d’un r´eseau de co-occurence :
Lemmatisation
Rep´erage de toutes les co-occurences entre deux mots `a une
distance 50 ;
´Evaluation de la pertinence de ces co-occurences ;
Pond´eration du lien entre chaque paire de mots co-occurents.
38/48
N. Dugu´e

74. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Construction automatique de r´eseaux de
concepts
FIGURE : Co-occurences de ”bomb” issu de la base Reuters par Veling et van
der Weerd [VVDW99]
38/48
N. Dugu´e

75. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Construction automatique de r´eseaux de
concepts
Groupement de concepts
M´ethode ad-hoc de ”percolation” de cliques.
FIGURE : Groupes cr´e´es par Veling et van der Weerd [VVDW99]
38/48
N. Dugu´e

76. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
1 Les r´eseaux complexes
R´eseaux du r´eel
Un premier mod`ele
Distribution des degr´es
Petit-monde
Communaut´es
2 Les r´eseaux complexes issus de textes
Les r´eseaux de co-occurence de mots
Les r´eseaux syntaxiques
Les r´eseaux de concepts
3 Applications
Classification des langues
Authorship recognition
Construction automatique de r´eseaux de concepts
39/48
N. Dugu´e

77. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
40/48
N. Dugu´e

78. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
40/48
N. Dugu´e

79. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
40/48
N. Dugu´e

80. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
Des m´ecanismes locaux pour les expliquer
Attachement pr´ef´erentiel ;
”raccourcis” ;
Transitivit´e.
40/48
N. Dugu´e

81. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
Des m´ecanismes locaux pour les expliquer
Attachement pr´ef´erentiel ;
”raccourcis” ;
Transitivit´e.
40/48
N. Dugu´e

82. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
Des m´ecanismes locaux pour les expliquer
Attachement pr´ef´erentiel ;
”raccourcis” ;
Transitivit´e.
40/48
N. Dugu´e

83. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
Des m´ecanismes locaux pour les expliquer
Attachement pr´ef´erentiel ;
”raccourcis” ;
Transitivit´e.
Des algorithmes pour identifier et analyser
D´etection de communaut´es ;
Rˆoles communautaires ;
40/48
N. Dugu´e

84. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
Des propri´et´es globales non triviales
Distribution des degr´es en loi de puissance ;
Effet petit-monde ;
Structure de communaut´es.
Des m´ecanismes locaux pour les expliquer
Attachement pr´ef´erentiel ;
”raccourcis” ;
Transitivit´e.
Des algorithmes pour identifier et analyser
D´etection de communaut´es ;
Rˆoles communautaires ;
40/48
N. Dugu´e

85. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
Conclusion
D’autres applications possibles ?
D´esambigu¨ısation du sens d’un mot
Spell-checker
Pour ajuster la g´en´eration de textes ?
Quels sont les m´ecanismes locaux (grammaire, syntaxe, ...) qui
font ´emerger les propri´et´es globales des r´eseaux ?
... ?
40/48
N. Dugu´e

86. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences I
[AG05] Lada A. Adamic and Natalie Glance.
The political blogosphere and the 2004 u.s. election : Divided
they blog.
In Proceedings of the 3rd International Workshop on Link
Discovery, LinkKDD ’05, pages 36–43, New York, NY, USA,
2005. ACM.
[BA99] Albert-L´aszl´o Barab´asi and R´eka Albert.
Emergence of scaling in random networks.
science, 286(5439) :509–512, 1999.
[BB03] Albert-L´aszl´o Barab´asi and Eric Bonabeau.
Scale-free networks.
Scientific American, 288(5) :50–59, 2003.
41/48
N. Dugu´e

87. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences II
[BDK15] Vincent D Blondel, Adeline Decuyper, and Gautier Krings.
A survey of results on mobile phone datasets analysis.
arXiv preprint arXiv :1502.03406, 2015.
[BGLL08] Vincent Blondel, Jean-Loup Guillaume, Renaud Lambiotte, and
Etienne Lefebvre.
Fast unfolding of communities in large networks.
J. Stat. Mech., 10 :P10008, Oct 2008.
[CL14] Jin Cong and Haitao Liu.
Approaching human language with complex networks.
Physics of life reviews, 11(4) :598–618, 2014.
42/48
N. Dugu´e

88. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences III
[DM01] Sergey N Dorogovtsev and Jos´e Fernando F Mendes.
Language as an evolving word web.
Proceedings of the Royal Society of London B : Biological
Sciences, 268(1485) :2603–2606, 2001.
[GA05] R. Guimer`a and L. Amaral.
Functional cartography of complex metabolic networks.
Nature, 433 :895–900, 2005.
[GN02] M. Girvan and M. E. J. Newman.
Community structure in social and biological networks.
Proceedings of the National Academy of Sciences,
99(12) :7821–7826, 2002.
43/48
N. Dugu´e

89. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences IV
[iCS01] Ramon Ferrer i Cancho and Richard V Sol´e.
The small world of human language.
Proceedings of the Royal Society of London B : Biological
Sciences, 268(1482) :2261–2265, 2001.
[iCSK04] Ramon Ferrer i Cancho, Ricard V Sol´e, and Reinhard K¨ohler.
Patterns in syntactic dependency networks.
Physical Review E, 69(5) :051915, 2004.
[KY04] Bryan Klimt and Yiming Yang.
The enron corpus : A new dataset for email classification
research.
In Machine learning : ECML 2004, pages 217–226. Springer,
2004.
44/48
N. Dugu´e

90. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences V
[MdMLD02] Adilson E Motter, Alessandro PS de Moura, Ying-Cheng Lai, and
Partha Dasgupta.
Topology of the conceptual network of language.
Physical Review E, 65(6) :065102, 2002.
[MDS12] Ali Mehri, Amir H. Darooneh, and Ashrafalsadat Shariati.
The complex networks approach for authorship attribution of
books.
Physica A : Statistical Mechanics and its Applications,
391(7) :2429 – 2437, 2012.
[MKG+
08] Alan Mislove, Hema Swetha Koppula, Krishna P Gummadi, Peter
Druschel, and Bobby Bhattacharjee.
Growth of the flickr social network.
In Proceedings of the first workshop on Online social networks,
pages 25–30. ACM, 2008.
45/48
N. Dugu´e

91. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences VI
[New04] Mark EJ Newman.
Analysis of weighted networks.
Physical Review E, 70(5) :056131, 2004.
[NSW+
11] Xing Niu, Xinruo Sun, Haofen Wang, Shu Rong, Guilin Qi, and
Yong Yu.
Zhishi. me-weaving chinese linking open data.
In The Semantic Web–ISWC 2011, pages 205–220. Springer,
2011.
[Ops11] Tore Opsahl.
Why anchorage is not (that) important : Binary ties and sample
selection.
online] http ://toreopsahl. com/2011/08/12/why-anchorage-is-not-
that-important-binary-tiesand-sample-selection (accessed
September 2013), 2011.
46/48
N. Dugu´e

92. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences VII
[RB03] Erzs´ebet Ravasz and Albert-L´aszl´o Barab´asi.
Hierarchical organization in complex networks.
Physical Review E, 67(2) :026112, 2003.
[VVDW99] Anne Veling and Peter Van Der Weerd.
Conceptual grouping in word co-occurrence networks.
In Proceedings of the 16th International Joint Conference on
Artificial Intelligence - Volume 2, IJCAI’99, pages 694–699, San
Francisco, CA, USA, 1999. Morgan Kaufmann Publishers Inc.
[WS98] Duncan J Watts and Steven H Strogatz.
Collective dynamics of ’small-world’ networks.
nature, 393(6684) :440–442, 1998.
47/48
N. Dugu´e

93. LES R ´ESEAUX COMPLEXES LES R ´ESEAUX COMPLEXES ISSUS DE TEXTES APPLICATIONS CONCLUSION
R´ef´erences VIII
[YL15] Jaewon Yang and Jure Leskovec.
Defining and evaluating network communities based on
ground-truth.
Knowl. Inf. Syst., 42(1) :181–213, January 2015.
[Zac77] Wayne W. Zachary.
An information flow model for conflict and fission in small groups.
Journal of Anthropological Research, 33(4) :pp. 452–473, 1977.
48/48
N. Dugu´e