Big Data e la forza degli eventi - Intervento di Farina

Big Data e il monitoraggio di
infrastrutture di rete geografiche
L’esperienza di GARR

Speaker: Fabio Farina (fabio.farina@garr.it)
Contributi di: Massimo Carboni, Mauro Campanella,
Pasquale Mandato, Cristiano Valli

Workshop «Big Data e la forza degli eventi»
Università degli Studi di Milano-Bicocca, 1 marzo 2013

Outline
 Presentazione di GARR
 I servizi
 La dorsale GARR-X

 Monitoring nelle reti backbone
 Perché e come
 Stato degli apparati di rete
 Raccolta e analisi del traffico a flussi

 Il monitoring nell’era della virtualizzazione
 L’esperienza del progetto FEDERICA
2
Fabio Farina - GARR
WS Big Data, Univ. Milano-Bicocca, 01.03.2013

Consortium GARR
 Consortium GARR è la rete Italiana della Ricerca
 È un’organizzazione non-profit sotto l’egida del Ministero dell’Istruzione
dell’Università e della Ricerca
 I Soci fondatori sono:
 Consiglio Nazionale delle Ricerche, CNR
 Ente Nazionale per le Energie Alternative, ENEA
 Congrega dei Rettori delle Università Italiane, Fondazione CRUI
 Istituto Nazionale di Fisica Nucleare, INFN

 La sua missione è la gestione e l’evoluzione della dorsale a banda
ultra-larga nazionale per la Ricerca, l’Università e i servizi associati

 GARR partecipa anche a progetto Nazionali e Europei
 R&D di networking, Future Internet
 Progetti legati alla comunità biomedica, ai beni culturali, ai conservatori,…
3
Fabio Farina - GARR

La dorsale in fibra GARR-X
 I numeri di GARR-X
 50 Punti di Presenza
 500 Gbps aggregati di backbone
 280 Gbps aggregati degli accessi
 6.500 km backbone e 2.000 di accesso

 Prestazioni di banda
 minimo 10 Mbps per l’accesso degli enti soci
 minimo 10 Gbps per i link di backbone
 100 Gbps max su singolo link di backbone

 La comunità
 oltre 500 le sedi connesse alla rete
 2,5 milioni di docenti, ricercatori, studenti
 100 Petabyte il volume totale di traffico nel 2012
 Un approccio BigData «puro» non è applicabile
Velocità e Volume, minore Variabilità
4
Fabio Farina - GARR

I servizi di GARR www.servizi.garr.it

 Funzionamento della rete
 GARR-NOC: Network Operations Center
 GINS: Monitoring della rete GARR
 GARR-NIC/LIR: assegnazione nomi di dominio e IP
 Sicurezza
 GARR CERT: Servizi di sicurezza di rete
 SCARR: Scansioni Ripetute a Richiesta
 Gestione di identità e mobilità
 eduROAM: supporto alla mobilità degli utenti GARR
 IDEM: Autenticazione e Autorizzazione federata
 Servizi applicativi
 FileSender: il servizio GARR per l'invio di file grandi
 GARR-VCONF: servizio di multi-videoconferenza
 GARR MIRROR 5
Fabio Farina - GARR

Cosa è il monitoring? A cosa serve?

Chi? Cosa? Dove? Come? Quando?
 Chi sta accedendo la rete?
 Studenti, Professori, Personale, Visitatori o altro

 Motivi dell’accesso alla rete?
 Studi Accademici, Informazioni Generali, Affari, Uso Illegale

 Da dove stanno accedendo alla rete?
 Interno, Esterno

 Come stanno accedendo alla rete?
 Utenza Remota, LAN, WAN, Wi-Fi, VPN, IPSec/SSL

 Quando hanno acceduto alla rete?
 Oggi, Ieri, da una settimana, da un mese …

7
Fabio Farina - GARR

Chi gestisce la rete è interessato a:

Protocolli di routing
Protocolli di routing Precisione
Precisione
Qualità del servizio
Qualità del servizio
Qualità del servizio Efficienza
Efficienza
Diagnostica dei Guasti
Diagnostica dei Guasti Asimmetrie
Asimmetrie
Gateway 1 Gateway 2
Gestione dei Servizi Fattibilità

8
Fabio Farina - GARR

Fornitore Utente

Servizio

Agreement Verifica
9
Fabio Farina - GARR

La necessità di misurare
 Ogni volta che si vuole dare una valutazione oggettiva

 Requisito vs Misura
 Per ogni servizio ci sono delle grandezze che ne determinano
caratteristiche, obiettivi e successo
 Non si parla di assenza di servizio ma di misura della
CONFORMITÀ rispetto a quanto richiesto

 Quindi con la misura si possono ottenere
 Valutazione del servizio erogato
 Ma anche supporto alla pianificazione
 per chi gestisce la rete
 per l'utenza, comprendere meglio come gestire le applicazioni
10
Fabio Farina - GARR

Active | Passive Monitoring
Active Monitoring Passive Monitoring
 Spedizione di dati rappresentativi del  Si osserva il traffico reale
traffico di rete
 Da un punto di rete
 Si misura il comportamento
 No traffic  No conclusion
 Vengono definite metriche End-to-End
 Proactive troubleshooting

11
Fabio Farina - GARR

Il strumenti di monitoring in GARR-X

12
Fabio Farina - GARR

Misure: uso e tecnologie
 Il punto di vista di chi amministra la rete, il NOC
 Assicurarsi che i dispositivi funzionino come atteso
 Sfruttare al meglio e bilanciare le potenzialità delle risorse disponibili
 Investigare e risolvere rapidamente incidenti o eventuali attacchi

 Il punto di vista di usa la rete
 Richieste fortemente dipendenti dalla applicazione
 Per i data transfer massivi massimizzare la banda è il goal
 Per le video-conferenze, lo streaming e la telemedicina sono sensibili alle
latenze

 Strumenti devono
 Permettere di misurare ciò che è rilevante
 Presentare le informazioni in armonia al modus operandi di chi le osserva

13
Nome Cognome
Occasione, Luogo, gg.mm.anno

Stato degli apparati di rete
 Vitale prima di tutto percepire lo stato di salute degli apparati di rete
 614 dispositivi a tutti i livelli: ottico WDM, switching, routing
 Lambda, peering BGP, MPLS/LSP e relativi servizi di VPN

 Architettura di monitoring basata su Splunk
 Monitoring passivo raccolto ai server della Direzione
 Sonde remote syslog con datagrammi UDP

14
Fabio Farina - GARR

GARR Integrated Networking Suite - GINS
 Suite software sviluppata ad hoc: parte integrante del sistema
informativo di GARR

 Strumenti di monitoring/statistica/diagnostica e tracking dei problemi
 Stato e prestazioni costantemente monitorati
 Garanzia di efficienza per l’Università e della Ricerca italiana
 Strumento di indagine e di pianificazione

 Sistemi di acquisizione e visualizzazione delle statistiche di traffico
 Statistiche accessi utente, ordinate per PoP di Livello 3 e 2
 Backbone, Peering e Weathermap

 Reportistica dell’attività di rete
 Report specifici su richiesta
 Report periodici sullo stato e l’utilizzo della rete
15
Fabio Farina - GARR


16
Fabio Farina - GARR


17
Fabio Farina - GARR

Tecnologie abilitanti: misure passive

 Raccolta, aggregazione e analisi del traffico in transito

 Visione mediata nel tempo: SNMP

 Campionamento statistico: Netflow
 Visione parziale della reltà
 Potenziali problemi di scalabilità nell’analisi
 Concetto di flusso
TCP/UDP ToS bits Logical Interface
Source IP Dest IP Source Port Dest Port
flag Type of Service Index

18
Fabio Farina - GARR

GINS e il monitoring a flussi

19
Fabio Farina - GARR

Tecnologie abilitanti: misure attive
 Attività di tipo intrusivo, ovvero si mescola con il traffico di
produzione (pregiato)

 È un modello di monitoring di tipo perturbativo
 Bisogna avere l'accortezza di non diventare motivo di disservizio
 Auto-Denial of Service

 Cosa possiamo misurare in questo modo?
 Informazioni temporali
 Delay // Jitter // Drop
 Misura della banda disponibile verso punti prestabiliti di rete
 Valutare la reale disponibilità di banda ad un istante determinato
 Nessuna capacità predittiva solo verifica puntuale

20
Fabio Farina - GARR

Reaction Trigger to Events
 Il sistema manda messaggi di Trap scatenati da alcuni eventi:
 Connection Loss and Timeout
Trigger
 Round Trip Time Threshold • Immediate
 Average Jitter Threshold • Consecutive
• X of Y times
 Unidirectional packet loss, latency, jitter • Average Exceeded

Threshold No Alert Threshold
Alert
Violation Violation Alert

100 ms

50 ms
Threshold
Time violation Resolution

21
Fabio Farina - GARR

Il monitoring nelle cloud
L’esperienza nel progetto FEDERICA

22
Fabio Farina - GARR

Il progetto FEDERICA http://www.fp7-federica.eu

FEDERICA = Federated E-infrastructure Dedicated to European
Researchers Innovating in Computing network Architectures

Deploy and manage an e-Infrastructure based on virtualization in both
computers and network elements as a fundamental tool/playground for
researchers on current and Future Internet, its uses and technologies.

Researchers has complete control
of their set of resources (a “slice”) Router/Switch

Host for Virtual nodes

with minimal of constraints to enables Ethernet 1 Gbps

disruptive experiments at all
communication layers over
a realistic substrate.

Focus on reproducibility of
the experiments and
in the avoidance of
complexity.
23
Fabio Farina - GARR

La facility FEDERICA
 Ogni PoP è equipaggiato con device con supporto alla virtualizzazione

 Nodi
 Macchine Virtuali su Vmware 5.0
 Router Logici su Juniper MX480
 Circuiti fra PoP
 1Gbps (IP/MPLS)
 Circuiti virtuali
 Una VLAN di management per
ogni slice
 User Access Gateway VM
 Numero VLAN variabile per il
traffico dati a discrezione dello
esperimento

24
Fabio Farina - GARR

FEDERICA come servizio
 FEDERICA è sia una infrastruttura sia un servizio
 Molteplici punti di vista: il gestore, gli utenti, i servizi di provisioning

 Il NOC
 Garantire il corretto funzionamento della facility
 Soddisfare richieste di progetti con esigenze peculiari

 I ricercatori della comunità Future Internet
 Topologia scelta dall’utente
 Garanzie di banda, latenza e jitter a seconda dell’esperimento
 Riproducibilità e isolamento, se richiesti

 Il sistema di provisioning delle slice
 Trovare la mappatura ottimale delle slice sul substrato bilanciando le
risorse ed evitando overlap
25
Fabio Farina - GARR

Prospettive differenti
 In FEDERICA esistono sempre due prospettive
 Il piano di substrato fisico e quello virtuale delle slice
 Conseguentemente si hanno due piani di monitoring

26
Fabio Farina - GARR

Il monitoring in FEDERICA

 L`effetto della virtualizzazione è un fattore moltiplicativo sul volume
di dati prodotti dall’infrastruttura

 Piattaforma G3 (CESNET) aggregazione e presenta de dati
 Del substrato fisico
 Monitoring passivo: SNMP, VMware monitoring rCLI, Netflow
 Monitoring attivo: tool ad hoc HADES per il NOC

 Delle risorse virtuali in ogni slice
 Consumo CPU, RAM, disco e rete di ogni VM
 Flusso di rete di ogni virtual router e consumo di banda

27
Fabio Farina - GARR

FEDERICA: i numeri di G3
 Entità osservate: 9 parametri per ogni entità
 Strato fisico: 9 PoP collegati con 13 circuiti, 9 device di rete dedicati, 14
hypervisor, 1049 interfacce
 Strato virtuale: 11 slice statiche, 66 VM, circa 15 slice dinamiche (30 VM e
15 logical router)

 Granularità e scala
 20 sec, periodo 5 min
 Misure distribuite nel giorno
per evitare sovraccarichi

 Resultati – Grafici RRD
 +6’000 grafici di substrato
 126 grafici sugli hypevisor
 600-800 grafici per le slice
degli utenti
28
Fabio Farina - GARR

Conclusioni
 GARR fa convergere al meglio i requisiti posti dalla comunità e le
risorse disponibili definendo e mantenendo i propri servizi

 Profonda comprensione di cosa misurare e come ottenerlo
 Ci permette di offrire una rete ottima per le esigenze delle comunità della
Ricerca e dell’Università Italiana
 Pieno controllo della rete

 La complessità
 Deriva dai differenti punti di vista che i servizi devono considerare e
privilegiare
 Solo in seguito arrivano le tecnologie per la raccolta e l’aggregazione

 La mole delle informazioni, il Big Data, è una conseguenza della
complessità degli obiettivi e della collaborazione tra le persone
29
Fabio Farina - GARR

Conclusioni

Grazie per l’attenzione
Domande?

Per maggiori informazioni: fabio.farina@garr.it
30
Fabio Farina - GARR

Big Data e la forza degli eventi - Intervento di Farina

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (17)

Similar a Big Data e la forza degli eventi - Intervento di Farina

Similar a Big Data e la forza degli eventi - Intervento di Farina (20)

Big Data e la forza degli eventi - Intervento di Farina