les 4 clés pour saisir les opportunités du big data
•Descargar como PPTX, PDF•
1 recomendación•329 vistas
Vous découvrirez dans cette présentation les 4 clés qui sont nécessaires pour saisir les opportunités du Big Data. Extrait de l'ouvrage "Hadoop - Devenez opérationnel dans le monde du Big Data" https://www.editions-eni.fr/livre/hadoop-devenez-operationnel-dans-le-monde-du-big-data-9782409007613
![Clés pour saisir les opportunités du
Big Data avec Hadoop
Juvénal CHOKOGOUE M
Auteur aux Editions ENI
IT-DE-0007
[27/10/2017]](https://image.slidesharecdn.com/webinairelesclspoursaisirlesopportunitsdubigdatavf-171031071437/85/les-4-cls-pour-saisir-les-opportunits-du-big-data-1-320.jpg)
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a les 4 clés pour saisir les opportunités du big data
Similar a les 4 clés pour saisir les opportunités du big data (20)
les 4 clés pour saisir les opportunités du big data
- 1. Clés pour saisir les opportunités du Big Data avec Hadoop Juvénal CHOKOGOUE M Auteur aux Editions ENI IT-DE-0007 [27/10/2017]
- 2. Module Overview • Le Big Data et Hadoop : quel rapport ? • Clé #1 : Comprendre que le Big Data est un changement social • Clé #2 : Comprendre que l’opportunité est dans les RITs • Clé #3 : Oublier la specialisation et se focaliser sur les “compétences de base” • Clé #4 : Eviter le comportement de grenouille
- 3. Le Big Data et Hadoop : quel rapport ?
- 4. « la Big Data c’est comme le sexe dans les discussions des adolescents. Tout le monde en parle, mais personne n’en fait ». Nous avons lancé notre projet Big Data la semaine dernière et nous avons ROI de 40% pour le moment Ah ouais ? Nous aussi! Nous sommes quittés de la Business Intelligence pour la big data. C’est cool cette technologie ! Voilà ! Ceci clôture notre présentation sur la Big Data! Questions ? 1 ???!.. ??
- 5. Qu’en est-il réellement ?... • 90 % du volume de données de l’humanité générées au cours de ces deux dernières années • Ubiquité d’Internet couplé à l’utilisation des Smartphones • Globalisation, doublement de la population Mondiale • Internet des Objets, Cloud Computing, Open Source • Baisse dramatique des coûts d’ordinateurs
- 6. Approche traditionnelle de gestion de données
- 7. Nouvelle approche de gestion de données
- 8. Oozie Workflow ZooKeeper Coordination Streaming Kafka Flume Sqoop Intégration HBase Bases de données CassandraMapReduce Modèles de calcul Spark Mahout HAMA Tez YARN Gestionnaire de ressources MESOS HDFS Système de fichier distribué Storm Temps réel Samza Spark Streaming S4 Impala SQL Phoenix HAWQ HUE Interface Utilisateur Lucene Indexation de contenu Lucy Solr Hive Langage d’abstraction Pig Cascading Ambari Administration
- 9. Comprendre que le Big Data est un changement social Clé #1 :
- 10. Le Big Data n’est pas une technologie, ni un phénomène technologique, c’est l’expression d’un changement social qui se caractérise par 3 choses : 1 La donnée comme nouvelle matière première 2 La commoditisation de l’information 3 La décentralisation du pouvoir de création de l’information
- 11. Comprendre que l’opportunité est dans les RITs Clé #2 :
- 12. Oublier la specialisation et se focaliser sur les “compétences de base” Clé #3 :
- 13. Eviter le comportement de grenouille Clé #4 :
- 14. Le livre
- 15. Hadoop, Devenez opérationnel dans le monde du Big Data
- 16. A propos d’ENI
- 18. Merci de votre attention ! Q & A
Notas del editor
- Ces trois dernières décennies de l’histoire de l’humanité ont été témoin d’une explosion sans précédent du volume de données. Il est admis que 90 % des données récoltées depuis le début de l’humanité ont été générées durant ces 2 dernières années. Pour qualifier cette explosion de données, le terme « Big Data » a été adopté. Comme tout concept nouveau qui arrive, le Big Data fait l’échos de presque toute les entreprises. Vous entendrez régulièrement des expressions comme « nous avons lancé notre projet de Big Data et nous avons eu un ROI de 40 % ».
- déjà, en 2012, IDC postulait que de 2005 à 2020, le volume de données croitra d’un facteur de 300, soit 40 trillion de giga-octets, ce qui représente plus de 5200 giga-octets crée pour chaque homme, femme et enfant en 2020 ; Actuellement, le volume des données en circulation connaît une démultiplication permanente : 5 exa-octets de données produits tous les deux jours, soit le même volume que l'ensemble des données produites de l'aube de la civilisation à 2003. Selon les estimations de Cisco, le trafic IP global annuel est estimé à 1.3 zetta-octets. Cette croissance phénoménale des données vient pour la plupart de l’accroissement du nombre d’internaute, de l’ubiquité d’Internet, des Objets connectés, de l’accroissement des smartphones et de l’accroissement de la population mondiale. La Big Data, qui a accompagné la révolution de l'usage d'Internet ces dix dernières années a provoqué des changements très profonds dans la société : modèles économiques à coût marginal décroissant, commoditisation de la connaissance, décentralisation du pouvoir de création de l’information, suppression des barrières à l’entrée, ubérisation de la société, Internet des Objets. Bref, aucun aspect de la société et de nos vies n‘y échappe. En fait, il faut comprendre que le Big Data est l’expression du changement d’ère, de l’ère industrielle à l’ère Numérique. Il est extrêmement important de comprendre que lorsqu’un changement d’ère survient, un changement de paradigme est indispensable.
- L’approche traditionnelle de gestion des données consiste à centraliser le stockage et le traitement des données dans un serveur central dans une architecture client/serveur. Ces données sont gérées dans le serveur par un SGBDR. Malheureusement, les approches traditionnelles de gestion de données ont de plus en plus de mal à s’adapter aux contraintes du Big Data, qui sont nouvelles.
- Pour gérer les contraintes de cette explosion de données, l’approche technologique ne consiste plus à centraliser le stockage et le traitement des données dans un seul serveur, mais à distribuer le stockage et à paralléliser le traitement de ces données sur plusieurs nœuds d’un cluster. Hadoop est l’implémentation logicielle la plus mature de cette approche technologique. Hadoop est l’implémentation du modèle de calcul MapReduce de Google et de son système de fichier le HDFS. Techniquement, c’est un ensemble de classes Java qui permettent de faire du traitement massivement parallèle de façon complètement tolérante aux pannes. Il a été développé en 2009 par Doug Cutting, un ancien ingénieur de Yahoo! Il est utilisé aujourd’hui au moins en pilote par les toutes les entreprises qui souhaitent se lancer dans l’exploitation à grande échelle de leurs données. Pour utiliser Hadoop, nous vous recommandons de choisir une distribution Hadoop. Il y’a en actuellement trois sur le marché : CDH de Cloudera, HDP de Hortonworks et CDP de MapR. Dans le chapitre 10 de notre ouvrage « Hadoop – Devenez opérationnel dans le monde du Big Data », nous vous expliquons les 7 critères sur lesquels vous devez vous appuyer pour choisir votre distribution.
- L’écosystème Hadoop. Selon la loi de Metcalfe, « la valeur d’un standard est proportionnel au carré du nombre de systèmes qui l’utilise ». Nous pouvons contextualiser cette citation en disant que « la valeur d’une technologie est proportionnelle au carré du nombre de personnes qui l’utilise ». En d’autres termes, l’adoption à grande échelle et le succès de Hadoop ne dépendent pas des développeurs, mais des analystes métier ! Hadoop a donné naissance à un large éventail de projets tout autour de lui qui facilitent son adoption, cet écosystème de projet est aujourd’hui catalogué sous le nom d’écosystème Hadoop. A ce stade d’étude, vous savez écrire des fonctions MapReduce, vous avez une connaissance claire de toute la partie de traitement Hadoop. Dans l’ouvrage, nous expliquons de façon générale les briques de cet écosystème et mettons beaucoup d’accent sur la rédaction du SQL sur Hadoop.
- Le Big Data n’est pas une technologie, ni un phénomène technologique, c’est l’expression d’un changement social qui se caractérise par 3 choses : La donnée comme nouvelle matière première La commoditisation de l’information La décentralisation du pouvoir de création de l’information 1 - La donnée comme nouvelle matière première Dans l’ère industrielle, en s’appuyant sur l’hypothèse selon laquelle la planète Terre dispose de ressources limitées. Aujourd’hui la capacité à ressortir des connaissances de la données permet de ne plus faire dépendre les technologies des ressources naturelles, mais de créer des technologies en fonction des exigences environnementales. 2 –La commoditisation de l’information Là où il a nécessité à la radio 30 ans pour atteindre une audience de 50 millions de personnes, il n’a nécessité que 13 ans à la télévision, 4 ans à Internet, 3 ans à l’iPad, et 2 ans à Facebook. L’ubiquité d’Internet et les Smartphones ont permis à la population d’être connectée et de communiquer à l’échelle mondiale par le moyen des réseaux sociaux. Sur plus de 7 milliards d'êtres humains, 2,5 milliards de personnes sont connectées à Internet et 1,8 milliard d'entre eux utilisent des applications de réseaux Sociaux tels que Twitter, Facebook, LinkedIn, Viadeo, etc. Ce pouvoir de communication a engendré à large échelle une dissémination de l’information, par conséquent une commoditisation de celle-ci. Dans l’ère industrielle, on avait coutume de dire « Knowledge is power ». Cela n’est tout simplement plus vrai. La vulgarisation de l’information fait que la connaissance n’est plus un actif rare. Les nouveaux leviers de compétitions seront donc sur autre chose que l’information. 3- La décentralisation du pouvoir de création de l’information Vous avez certainement dû le constater vous-même mais chacun peut désormais à l’aide de la caméra de son Smartphone réaliser une vidéo et la poster sur sa chaîne Youtube simplement. Le Numérique met le pouvoir de création de l’information entre les mains de tout le monde. Planetoscope fait état de 20 heures de vidéos chargées sur Youtube par seconde. A large échelle, cela crée le problème de fiabilité de l’information et demande d’ores et déjà de créer de nouveaux business models.
- Dans l’économie industrielle, l’opportunité est liée à la taille du marché. En d’autres termes, tout ce qu’il suffisait de faire pour identifier une opportunité c’était trouver un besoin non-encore satisfait et estimer si la taille du marché était suffisante pour couvrir les coûts qu’on engagerait. Aujourd’hui ce n’est plus le cas. Les consommateurs sont de plus en plus informés, par conséquent leur comportement change de plus en plus vite. Plus important encore, la technologie contribue pour beaucoup à modifier de façon très profonde le comportement des consommateurs. Les consommateurs ajustent leur style de vie à la technologie qu’ils adoptent. Regardez par exemple l’impact qu’a eu le véhicule, les ordinateurs, les réfrigérateurs, les smartphones dans la vie des gens. Aujourd’hui, les consommateurs ne s’imaginent plus vivre sans ces technologies. Ainsi, c’est dans la technologie que se situe l’opportunité dans l’ère Numérique. Problème, avec la multiplicité des technologies développées chaque année, comment identifier LA technologie qui constitue une opportunité et qui est susceptible de bouleverser le comportement du consommateur ? En d’autres termes, comment puis-je savoir avec certitude que Hadoop est la technologie dans laquelle se situe l’opportunité dans l’avenir du Big Data ? Tout simple ! Je vais vous donner une formule qui vous permettra de lire le marché et d’identifier l’opportunité. Dans la nouvelle économie ou le Numérique, ce qui constitue une opportunité ce sont les avancées technologiques que la société est prête à accepter comme standard. Certains économistes qualifient ce types de technologies de RIT (Ready to be Implemented Technology). Les RIT c’est le meilleur procédé qui existe dans un domaine mais qui pour une raison ou une autre n’est pas encore adopté. C’est une technologie plus efficace que la technologie en vigueur sur le marché, mais qui pour une raison ou une autre n’est pas encore adoptée. Par exemple, les voitures électriques sont meilleurs au niveau de l’impact environnemental que les voitures à moteurs d’injection de dérivé du pétrole, cependant elles ne sont pas adoptées par le marché à cause de l’indisponibilité des stations d’électricité par exemple. Dans ce cas de figure, vous voyez que ce sont des raisons annexes à la technologie qui l’empêche d’être un standard. La question est alors la suivante : comment savoir si une avancée technologique ou une technologie est prête à devenir un standard ? Simple ! Lorsqu’elle ne demande pas plus de compétence à l’utilisateur que la technologie qu’elle remplace. En d’autres termes, lorsqu’elle est transparente aux utilisateurs. Dans le cadre du Big Data, Hadoop est de plus en plus intégré au SQL, un langage transparent et universel de traitement de données, ce qui fait qu’il est simple de prédire qu’Hadoop devienne très prochainement le Framework standard de traitement de données dans le Big Data.
- Dans l’ère industrielle, l’activité de l’entreprise était segmenté en métiers distincts. Il était donc nécessaire de se spécialiser dans un domaine bien précis. Aujourd’hui, le paradigme a changé. Aujourd’hui, la majorité des changements, surtout ceux d’ordre technologique comme Hadoop vont vous exiger d’acquérir de nouvelles compétences. Attention toutefois à ne pas fonder sa différenciation sur la technologie. En effet, en vertu de la loi économique de la rareté, il est bien connu que le salaire d’un individu n’est pas fonction de son utilité ou de son niveau d’expérience comme on le pense intuitivement, mais de sa rareté. Cependant, dans le Numérique, la rapidité des progrès technologiques fait qu’il est de plus en plus difficile d’être rare (ou de se différencier). Les technologies évoluent tellement vite que c’est devenu inutile de suivre leur évolution. Lorsque vous vous spécialisez technologiquement, vous prenez le risque d’être obsolète à peine quelques mois ou années plus tard. Le temps moyen de péremption d’une technologie aujourd’hui est estimé à 6 mois et il est établi que la moitié des technologies qu’un étudiant en informatique apprend lors d’un programme de 4 ans est démodé lorsqu’il arrive à la troisième année du programme d’étude. Ceci n’est pas juste propre au Big Data. Prenez l’industrie automobile par exemple, lorsque les entreprises quittent des véhicules à moteur à explosion pour les remplacer par les moteurs à injection, que pensez-vous qu’il se passe pour toutes les personnes qui sont spécialisés dans la maintenance des moteurs à explosion ? De même, lorsque le tableau de bord mécaniques des véhicules sont progressivement remplacés par des tableaux de bord électroniques, est-il difficile de deviner ce qui arrive aux spécialistes des tableaux de bord mécaniques ? I vous étudiez bien les entreprises qui ont fermés comme Kodak ou les maisons de disques, vous vous rendrez compte que la spécialisation, qui a pendant longtemps été leur point fort est devenu avec la technologie leur point faible. Kodak n’a pas pu s’adapter au changement de la pellicule vers le numérique, Nokia n’a pas su s’adapter des téléphones à claviers aux smartphones. Les fabricants de cassettes n’ont pas su s’adapter à l’arrivée de CD, etc. Face à cette rapide recrudescence technologique, le succès exige aujourd’hui de posséder ce que certains économistes appelle les “basics skills” (compétences de base). Au lieu de vous spécialiser, nous vous conseillons de développer des compétences conceptuelles qui vous permettrons de vous adapter à tous les futurs changement dans votre marché. Notre ouvrage, Hadoop Devenez opérationnel dans le monde du Big Data va vous munir des compétences de long-terme dont vous aurez besoin pour travailler dans le Big Data.
- Passez à l’action, passez à l’action maintenant ! Les opportunités possèdent des fenêtres de temps qui sont de plus en plus courtes. Si vous voulez saisir les opportunités que le Big Data a à offrir, le sens de l’urgence est obligatoire !
- Le livre vous fait 4 promesses : Vous comprendrez la transition Numérique qui est encours ; Vous saisirez l’ensemble des principes qui forment la fondation d’Hadoop et de son écosystème technologique Vous développerez les compétences de long terme dont vous aurez besoin pour travailler dans le Big Data Vous serez équipés de l’attitude nécessaire pour identifier et saisir les opportunités d’un monde qui n’a jamais existé auparavant : le monde du Big Data
- Tout changement majeur produit toujours des impacts qu’il convient d’évaluer. Vous devez évaluer l’impact du Numérique sur votre vie professionnelle, votre privée, votre vie familiale, etc. L’étude de ces impacts va naturellement vous conduire à développer de nouvelles compétences. En dehors de notre ouvrage, ENI est la seule dans la francophonie à notre connaissance qui dispose de toute une vaste bibliothèque de ressources variée et de tout un catalogue d’ouvrages que vous pouvez utiliser quand bon vous semble pour vous former dans le Big Data et les nouveaux concepts du Numérique. Vous trouverez dans sa bibliothèque des ouvrages traitant des objets connectés, de l’intelligence artificielle, la sécurité, les bases de données jusqu’à la Blockchain
- Tout changement majeur produit toujours des impacts qu’il convient d’évaluer. Vous devez évaluer l’impact du Numérique sur votre vie professionnelle, votre privée, votre vie familiale, etc. L’étude de ces impacts va naturellement vous conduire à développer de nouvelles compétences. En dehors de notre ouvrage, ENI est la seule dans la francophonie à notre connaissance qui dispose de toute une vaste bibliothèque de ressources variée et de tout un catalogue d’ouvrages que vous pouvez utiliser quand bon vous semble pour vous former dans le Big Data et les nouveaux concepts du Numérique. Vous trouverez dans sa bibliothèque des ouvrages traitant des objets connectés, de l’intelligence artificielle, la sécurité, les bases de données jusqu’à la Blockchain. Expert de la formation informatique, ENI édite chaque mois entre 15 et 20 nouveaux livres et vidéos et dispense plus de 20 000 e-formations en France et à l’international. Chaque année ce sont plus de 500 étudiants qui sont diplômés d’ENI Ecole et plus de 20 000 personnes formées dans les centres de formation.
- Merci de votre attention ! Nous espérons véritablement que cette présentation vous aidera à saisir les opportunités du Big Data. Maintenant, à vous de jouer !