Présentation du talk de Benoit Meriaux - OCTO Technology Dans le monde des plateformes d'exécutions distribuées, Spark est la référence. D’autres comme Flink émergent et trouvent leur place dans l’écosystème. Avec Spark, le Batch en J+1 n’est plus une fatalité, le Streaming est à portée de main et le Machine Learning devient mainstream. Bref, Spark vous sera servi à toutes les sauces.

1. #LaDuckConf by OCTO Technology © 2019 - All rights reserved

2. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
Spark: ai-je besoin d’autre chose ?
Benoit MERIAUX
Twitter: @benoitmeriaux Github/LinkedIn: bmeriaux

3. Partons d’un cas d’usage classique :
un batch quotidien

4. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
4
Une résilience inexistante
Le Batch traditionnel

5. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
5
Une résilience inexistante
Le Batch traditionnel

6. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
6
Une résilience inexistante
Le Batch traditionnel

7. Comment gagner
en résilience et en performance ?

8. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
8
La Clean Architecture à la rescousse
Une refonte intelligente
Domain Domain
Usecase
InfrastructureInfrastructure :
Framework,
Persistence,
API, etc
Usecase :
Règles Métiers
Domain :
Objet Métiers

9. Spark, Kesako ?

10. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
10
Un peu d’histoire
v1.0 en 2014
Créé en 2009 à Berkeley
v2.0(2016) :
Structured Streaming
v2.4 : Projet
Hydrogen
v1.5 : Projet tungsten
v1.3 : DataFrame API
● 1er framework en BigData, 31% de parts de marché en 2018
● 29% de croissance par rapport à 2017
Source: Qubole’s 2018 Survey of Big
Data Trends and Challenges
Apache Spark

11. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 11
Apache Spark
Un coeur extensible

12. Une Architecture Distribuée ?!
Attention aux pièges !

13. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
Une Architecture Distribuée
13
https://spark.apache.org/docs/latest/cluster-o
verview.html
Cluster Manager
Worker
Worker
Spark Application
Master/Worker

14. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
Les échanges de données
14
Transformation N+1Transformation N
Attention aux partitions !

15. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
La Résilience
15
Cluster Manager
Worker
Worker
Worker
Dès la conception

16. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 16
“Everything fails all the time”
Werner Vogels, CTO AWS

17. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
Chaos Engineering
17
What if … ?

18. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
18
C’est rapide et ça marche
Spark fait son entrée

19. Pourquoi attendre la fin du
traitement pour avoir le résultat?

20. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
20
C’est simple
Passons sur du streaming

21. Quelle source de données
puis-je ajouter ?

22. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
22
Plus j’en sais, mieux c’est
Collectons plus!

23. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
23
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 1
Fenêtre de 10 min toutes les 5 min

24. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
24
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 2
Fenêtre de 10 min toutes les 5 min

25. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
25
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 4 12:05-12:15 click: 2
Fenêtre de 10 min toutes les 5 min,
retard toléré de 5 min

26. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
26
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 4 12:05-12:15 click: 2
Fenêtre de 10 min toutes les 5 min,
retard toléré de 5 min

27. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
27
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 4 12:05-12:15 click: 2
Fenêtre de 10 min toutes les 5 min,
retard toléré de 5 min

28. Maintenant, j’ai plein de données,
mais j’en fais quoi ?

29. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
29
Pour mieux cibler
Ensuite ajoutons un peu d’IA

30. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
30
Des suggestions aux petits oignons
Puis prédisons en temps réel

31. Mais comment
déployer tout ca ?

32. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
32
Il ne reste plus qu’à choisir
Le Cloud est prêt

33. Alors ai-je besoin
d’autre chose ?

34. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
34
Spark a bien évolué depuis le temps
Take Away
Spark couvre la majorité des cas d’usages
des traitements de données
Et pour aller plus loin: