Il progetto Pitagora propone, in un unico sistema e su di un'unica piattaforma, la raccolta e la sintesi di tutti i dati utili per attuare iniziative di corretta gestione della risorsa idrica, di prevenzione delle emergenze, di informazione ecologica, ambientale e di valorizzazione turistico-ricreativa. Ripercorreremo tramite una demo pratica il percorso di data ingestion, preparation e visualization. La demo illustrerà come vengono generati i dati dai sensori sul campo, come vengono inviati, immagazzinati, elaborati ed infine consultati. Avremo la partecipazione di due persone chiave del progetto, Andrea D’orio e Davide Vergari.
Similar a 5° Sessione - La data visualization e l’individuazione di pattern tra dati strutturati e non strutturati attraverso il caso del Progetto Pitagora
Freedomotic pitch 12.05.16 Smart Home Now Milanofreedomotic
Similar a 5° Sessione - La data visualization e l’individuazione di pattern tra dati strutturati e non strutturati attraverso il caso del Progetto Pitagora (20)
2. INTRODUZIONE
Introduzione
P.I.T.A.G.O.R.A.
L’architettura Azure
Interactive Demo
Q & A
ANDREA D’ORIO
Andrea D’Orio, co-founder e
CTO di Ecube, Big Data
Solutions Architect certificato
su HDP 1.x, HDP 2.x e CDH 5.x
5 minutes
5 minutes
5 minutes
30 minutes
5 minutes
it.linkedin.com/in/andreadorio
@andreadorio
@davidevergari
it.linkedin.com/in/davide-vergari-59339054
DAVIDE VERGARI
Davide Vergari, Senior Big Data
Architect certificato su HDP 2.x
e CDH 5.x
3. I PROTAGONISTI
ECUBE
Capofila specializzata in soluzioni Big Data
UNIPMN
Università del Piemonte Orientale
ISE-CNR
Istituto per lo Studio degli Ecosistemi del Consiglio Nazionale delle Ricerche
CSP
Centro di Supercalcolo del Piemonte
LANGENSEE
Design, prototipazione e produzione di schede elettroniche
NETYCOM
Fornitore di servizi web
WELL COM
Comunicazione multimediale e pubbliche relazioni
5. HORTONWORKS DATA PLATFORM
YARN : Data Operating System
DATA ACCESS
1 ° ° ° ° ° ° ° ° °
° ° ° ° ° ° ° ° ° °
°
N
Batch
MapReduc
e
Script
Pig
Search
Solr
SQL
Hive
NoSQL
HBase
Accumulo
Phoenix
Stream
Storm
In-memory
Spark
Others
ISV
Engines
TezTez Tez Slider Slider
HDFS Hadoop Distributed File System
DATA MANAGEMENT
Deployment Choice
Linux Cloud
SQL
HDB
6. L’ARCHITETTURA DI PITAGORA
DATI DI
ORIGINE
CARICAMENTO
MICROSOFT AZURE WEB APP
AMQP
HTTP
NRT
LOAD
BATCH
LOAD
HTTPS
API
HIVE
HBASE
IaaS
APPS & SMART
DEVICES
SENSING
NETWORK
HORTONWORKS DATA PLATFORM
MQTT
HIVE
HBASE
KAFKA STORM
LOCAL INSTALLATION
HORTONWORKS DATA PLATFORM
ALTRE
DATA
SOURCES SQOOP & FLUME
DEEP ANALYTICS