1. Facoltà di Corso di Laurea in
Ingegneria dell’Informazione Ingegneria Informatica
Progettazione e Sviluppo di
una Piattaforma Software per
la Raccolta di Informazioni da
Reti Sociali Online
di Feroldi Federico
Relatore: Prof. Piero FRATERNALI
Anno Accademico 2009 - 2010

2. INTRODUZIONE

3. Cos’è una Rete Sociale?

4. Cos’è una Rete Sociale?
u

5. Cos’è una Rete Sociale?
u
u u
u

6. Cos’è una Rete Sociale?
u
u u
u u
u

7. Cos’è una Rete Sociale?
u
u u
u uu
u u

8. Cos’è una Rete Sociale?
u u u u u
u u u u
u u u
u
u u
u
u u
u u uuu
u u
u uuu
uu u
u u
u u u

9. Cos’è una Rete Sociale?
u u u u u
u u u u
u u
u u
u
150
u u u
NUMERO MEDIO DI u u
u u
uRELAZIONI SOCIALI
u
u uuu
(NUMERO DI DUNBAR)
u u
uu u
u u
u u u

10. Reti Sociali Online

11. Reti Sociali Online

12. Reti Sociali Online

13. Reti Sociali Online
400
NUMERO MEDIO DI
RELAZIONI SOCIALI
SU FACEBOOK

14. Influenza

15. Influenza

16. Reputazione

17. Reputazione

18. Interessi

19. Interessi

20. Filtraggio Sociale: Cascaad

21. Filtraggio Sociale: Cascaad

22. Architettura di Cascaad

23. Architettura di Cascaad

24. Architettura di Cascaad
RACCOLTA

25. Architettura di Cascaad
RACCOLTA
relazioni
ANALISI

26. Architettura di Cascaad
RACCOLTA
relazioni
flu
ss
o ANALISI
ag
gr
eg
at
o
caratteristiche
FILTRO
flusso
filtrato
u

27. Architettura di Cascaad
RACCOLTA
RACCOLTA
relazioni
flu
ss
o ANALISI
ag
gr
eg
at
o
caratteristiche
FILTRO
flusso
filtrato
u

28. Raccolta dati: il Web Crawler

29. Raccolta dati: il Web Crawler
“È un software che analizza i
contenuti di una rete in modo
metodico e automatizzato.”
- Wikipedia

30. ANALISI

31. Prototipo Sperimentale

32. Prototipo Sperimentale
Integrazione?

33. Prototipo Sperimentale
Integrazione?
Architettura?

34. Prototipo Sperimentale
Integrazione?
Architettura?
Criticità?

35. Twitter: Problematiche Emerse

36. Twitter: Problematiche Emerse
Request Rate Limitato

37. Twitter: Problematiche Emerse
Request Rate Limitato
Singolo Crawler =
Bottleneck

38. Twitter: Problematiche Emerse
Request Rate Limitato
Singolo Crawler =
Bottleneck
Scalabilità su milioni di
utenti

39. IL PROGETTO

40. Principi di Progettazione

41. Principi di Progettazione
Scalabilità

42. Principi di Progettazione
Scalabilità
Flessibilità

43. Principi di Progettazione
Scalabilità
Flessibilità
Modularità

44. Principi di Progettazione
Scalabilità
Flessibilità
Modularità
Estensibilità

45. Tecnologie

46. Tecnologie

47. Tecnologie

48. Tecnologie

49. Layer Applicativi

50. Layer Applicativi
JVM JVM JVM

51. Layer Applicativi
SPRING SPRING SPRING
JVM JVM JVM

52. Layer Applicativi
MULE ESB
SPRING SPRING SPRING
JVM JVM JVM

53. Layer Applicativi
CRAWLING FRAMEWORK
MULE ESB
SPRING SPRING SPRING
JVM JVM JVM

54. Layer Applicativi
TWITTER FACEBOOK ...
CRAWLING FRAMEWORK
MULE ESB
SPRING SPRING SPRING
JVM JVM JVM

55. Architettura del Framework

56. Architettura del Framework
crawling job SPIDER

57. Architettura del Framework
crawling job SPIDER
requests
SCHEDULER

58. Architettura del Framework
crawling job SPIDER
requests
SCHEDULER
requests DOWNLOADER

59. Architettura del Framework
crawling job SPIDER
requests data
SCHEDULER
requests DOWNLOADER

60. Architettura del Framework
crawling job SPIDER
requests data
SCHEDULER
requests DOWNLOADER

61. Architettura del Framework
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR

62. Architettura del Framework
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR
processed
results

63. Caratteristiche: Modularità
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR
processed
results

64. Caratteristiche: Scalabilità
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR
processed
results

65. Caratteristiche: Scalabilità
crawling job SPIDER
SPIDER
SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
DOWNLOADER
DOWNLOADER
PROCESSOR
processed
results

66. Caratteristiche: Flessibilità
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR
processed
results

67. Caratteristiche: Flessibilità
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR
processed
results

68. Caratteristiche: Estensibilità
crawling job SPIDER
requests results data
SCHEDULER
requests DOWNLOADER
PROCESSOR
processed
results

69. Caratteristiche: Estensibilità
crawling job SPIDER
requests results data
Duplicate
Filter
requests
SCHEDULER DOWNLOADER
PROCESSOR
processed
results

70. Soluzioni Tecniche
Protocollo di Autenticazione
SPIDER DOWNLOADER

71. Soluzioni Tecniche
Deduplicazione a Tempo
SPIDER SCHEDULER
Requests Requests Requests Requests Request
Today 1 Day Ago 2 Days Ago 3 Days Ago 4 Days Ago
FIFO queue made of Bloom Filters

72. RISULTATI

73. Twitter “Followers” Crawler

74. Twitter “Followers” Crawler

75. Ruolo del Framework

76. Ruolo del Framework
Twitter Specific
10%
Generic Framework
90%
3 Giorni/Uomo
Tempo di Sviluppo

77. Raccolta dati da Twitter
1 Million Users/Day
Crawling Rate (single node)

78. Cloud Deployment
Scheduler Spider
Module Modules
EC2
Processor Downloader
Module Modules

79. Running Live

80. Running Live

81. Running Live
Sorgenti informative selezionate per livello
di INFLUENZA, REPUTAZIONE e
affinità di INTERESSI con il lettore.

82. Considerazioni Finali

83. Considerazioni Finali
Open Source = Vantaggio

84. Considerazioni Finali
Open Source = Vantaggio
Framework = Flessibilità

85. Considerazioni Finali
Open Source = Vantaggio
Framework = Flessibilità
Aspetti Legali ed Etici

86. Grazie