A l'occasion de Solution Linux 2013 nous présentons Hadoop à la communauté en France. Ici une introduction à Hadoop.

1. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Les Big Data ont déjà leur standard : Hadoop !
Charly CLAIRMONT
Altic - http://altic.org
charly.clairmont@altic.org
@egwada

2. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
On a un problème !

3. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Un problème de données !
1.2 Zettabytes
Attendu d'ici la fin
2013
Gigabyte -> Terabyte -> Petabyte -> Exabyte -> Zettabyte

4. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Tout le monde a ce problème !

5. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-
Traitant
Producteur
de Machines
Fournisseurs
Supply
Chain
Managt
B to B
Web
Fournisseurs
Soc de
Service
Push
Banque
Actionnaires
Sites de
Recrutement
E-learning Télé-
Tutoring
Distributeur
Marchand
e-
com
merc
e
Sites
d ’appel
d ’offre
CONCURRENTS
Marketing
one to
one
Site
Financier
e-mailing, bandeaux,
site promotionnel...
tracking
Logistique
CLIENTS
Back-up
techniciens
SVP
réclamations
Tutoring
Club
utilisateur
Télémaintenan
ce
B
to
B
Co-
ingienerie
Extranet
Administr@tions
Site
de
crise
DG
Bureau
d’Etude
Maintenance
EDI
Back-up
commerciau
x
Partenaires
Veille
Concurrentielle
et Intelligence
Economique
$
Gestion Trésorerie
Dématérialisation
des procédures
Télémaintenanc
e machines
Veille
Technologique
Recherche
nouveaux
Fournisseurs
Market-Place
Télétravail
ASP
Gestion
Source :
Jean-Michel YOLIN
http://yolin.net/

6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-
Traitant
Producteur
de Machines
Fournisseurs
Supply
Chain
Managt
B to B
Web
Fournisseurs
Soc de
Service
Push
Banque
Actionnaires
Sites de
Recrutement
E-learning Télé-
Tutoring
Distributeur
Marchand
e-
com
merc
e
Sites
d ’appel
d ’offre
CONCURRENTS
Marketing
one to
one
Site
Financier
e-mailing, bandeaux,
site promotionnel...
tracking
Logistique
CLIENTS
Back-up
techniciens
SVP
réclamations
Tutoring
Club
utilisateur
Télémaintenan
ce
B
to
B
Co-
ingienerie
Extranet
Administr@tions
Site
de
crise
DG
Bureau
d’Etude
Maintenance
EDI
Back-up
commerciau
x
Partenaires
Veille
Concurrentielle
et Intelligence
Economique
$
Gestion Trésorerie
Dématérialisation
des procédures
Télémaintenanc
e machines
Veille
Technologique
Recherche
nouveaux
Fournisseurs
Market-Place
Télétravail
ASP
GestionBig DATA

7. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Où est ce problème ?

8. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Mais où ? Là !!

9. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Heureusement il y a des solutions !

10. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Avec Hadoop... ça passe !

11. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop !
EDW
Applications d’Entreprise
ODS &
Datamarts
Applications &
Feuille de Calcul
Visualisation &
BI
Découverte
Exploration
DEV / IDE
Low Latency
NoSQL
Web
Web
Applications
Opérations
(API)
Custom Existing
Templeton SqoopWebHDFS Flume
HCatalog
Pig
HBase
Hive
Ambari HAOozie
ZooKeeper
MapReduce HDFS
Big Data Sources
(transactions, observations, interactions)
CRM ERP
Exhaust
Data
logs files
financials
Social
Media
Nouvelle
techno
Tableau
sources

12. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop
● WebHDFS
Facilite l’accès au données, même depuis votre explorateur de fichiers
● HCatalog
Vision unifiée de la donnée
● Pig
Langage de très haut niveau, aussi simple que SQL
Transformation, Filtre, Statistique, Scripting
● Hive
Implémentation du langage SQL
● Hbase
Système de base de données orienté colonnes
● Ambari
Gestion & Surveillance plateforme Hadoop
● Map / Reduce
Framework de calcul
● HDFS
Système de fichiers distribué
● ...

13. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Pourquoi
faire ?

14. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Et pour quels besoins ?
Media Meilleur Contenu
Intelligence Meilleure Détection
Finance Meilleur Algorithme
Publicité Meilleure Performance
Fraude Meilleure Prévention
Distribution Meilleure Rotation des stocks
Production Meilleure Chaîne logistique
Santé Meilleur Soin
Education Meilleur Enseignement
Gouvernement Meilleur Service Citoyens
Source: Geoffrey Moore. Hadoop Summit 2012 keynote presentation.
sources

15. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop, de l'Open Source pour un vrai
marché économique

16. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Au fait pourquoi Hadoop ?
Flexibilité
Scalabilité
Économique

17. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Merci !
Charly CLAIRMONT
Altic - http://altic.org
charly.clairmont@altic.org
@egwada