3. Accumulation sans
fin de données
numériques
Gartner 2008
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 3
4. Liée à un contexte nouveau
+ de produits, de documents
+
d’applications
de services
+
d’échanges,
de transactions,
de trafic +
de terminaux,
de devices
+ de clients, d’utilisateurs
Tout est conservé !
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 4
5. Principales sources
Média et divertissements
Santé
Sciences de la vie
Vidéo surveillance
Transports, logistique, télécommunications
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 5
6. Des données différentes
Structurées Non structurées
Organisées ; Produites en temps réel ;
Types prédéterminés ; En flots continus ;
Relations bien connues ; Méta taguées de façon disparate ;
Accès transactionnel. De sources très disparates.
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 6
8. x 44 en 10 ans
Zo Eo Po To Go
1 000 000 000
000
25 000 000 000 000 000 000 de conteneurs (quatrillion)
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 8
9. Impacts sur les Data Centers.
Pour les dix ans à
venir
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 9
10. Big data value
Big
Une valeur statistique
Reporting
Data mining
Analyse prédictive
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 10
11. De nouvelles opportunités
Marché en croissance de 40% d’ici 2015 (IDC) ;
Stockage la progression de 61% ;
Convergence Big Data & Cloud Computing ;
Un nouveau métier : Data Scientist.
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 11
12. De nouveaux défis
Acquérir
Sources multiples – Vélocité
Organiser
Stockage – Passage à l’échelle – Performances
Analyser
Fouille de données – Business intelligence
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 12
14. Enablers
Hyperscale
computing
+
commodity
hardware
Un datacenter en mode open source
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 14
15. Scale out storage
SCALE UP SCALE OUT
Nouvelles Nouvelles
Résea Ressources Ressources
Ressources Ressources
u
inter
ne Réseau externe
(bus Ressources Ensemble de nœuds agissant comme système
ou de stockage
mém
oire)
Ressources
•Plus extensible
•Plus performant
Système
de stockage •Plus économique (-50 %)
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 15
16. NotOnlySQL
Bases de Données non relationnelles
Clé / valeur
Document
Colonne
Graphe
Adapté aux architectures distribuées
Fournit la tolérance aux pannes
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 16
17. Map Reduce
2004, Google - MapReduce: Simplified Data Processing on Large Cluster
Diviser les données traitées en parallèle (Map)
Combiner l’ensemble des résultats (Reduce)
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 17
18. Plateforme Big Data
Une architecture unifiée
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 18
20. Données ouvertes
Données variables
Un volume potentiellement conséquent
Des mises à jour fréquentes
Une valeur liée à l’analyse
Data
Big
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 20
21. Exemple
Elastic
Web
Map
App Reduce
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 21
22. Merci de votre attention
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 22