Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ? Nous vous présenterons durant cette session la solution Big Data 100% Open Source mise en place chez un des plus grands sites du web européen. Une architecture basée sur syslog-ng, Flume, Hadoop, MongoDb et Play!, qui n'a rien à envier aux géants d'outre-atlantique ! Venez découvrir comment nous avons divisé par 20 le temps de détection et de traitement des incidents. Mais aussi comment BigData a permis de nouvelles utilisations des logs à la fois techniques et surtout métier, comme la détection des fraudes, l’analyse de traffic web, BI en temps réel, ... À travers ce retour d'expérience, nous vous proposons de vivre, au coeur d'une des plus exigeantes productions de France, la mise en place de ce projet digne des très grands du web.

1. BigData et Hadoop
au secours de téraoctets de logs inexploitables chez
l’un des plus grands sites marchands européens.
by Pablo Lopez
@pLopezFr
1

2. Abstract
• Une plateforme de production hors normes, exigeante
• Une solution BigData innovante
• De nombreux usages
• Voir toujours plus grand
2

3. Speaker
@pLopezFr
blog.xebia.fr
Architect
Pablo Lopez
Big Data
Fort Traffic
DevOps
Performance
3

4. C’est l’histoire d’une startup...
4

5. La course à l’armement
!"#$%&''(&')&%*&+%)'(&',%"(+-."/'
&/0%&'1223'&0'1241'
• ~500 serveurs de production '#!"
'!!"
• 80 applications
&#!"
&!!"
%#!"
• 5 JVMs / serveur %!!"
$#!"
• 13 niveaux de load balancing. $!!"
#!"
!"
5

6. Une mine d’informations...
• Logs techniques /
fonctionnelles / analytiques
• 5 à 10 fichiers de logs par JVMs
• 7 Go de logs / serveur / jour
6

7. ... et un calvaire pour les équipes
• Rotation trop rapide
• Collecte semi automatisée
• Transferts laborieux
• Volume à traiter colossal
7

9. Les fonctionnalités recherchées
• Centraliser • Informer
• Sécuriser • Archiver
• Analyser • En temps réel
9

10. De grandes responsabilités
• Disponibilité 99,995 %
• Temps de réponse sous la
seconde
• Base de données = Single Point
of Failure
• Coûts maitrisés
10

11. Big Data et open source
11

12. Centraliser
12

13. Centraliser (v2)
13

14. Sécuriser
14

15. Analyser
15

16. Informer / Archiver
16

17. Vue end-to-end
12:49:22.203 DEBUG introduction.HelloWorld
{service:HelloWorld, count:2}
12:49:22.203 DEBUG introduction.HelloWorld
17

18. Le défi du temps réel
Version initiale Tuning infrastructure Tuning code
'#"
'!"
&#"
Temps d’exécution &!"
du job %#"
%!"
en minutes $#"
$!"
#"
!"
18

19. Utilisation quotidienne
19

20. L’avenir... des use cases
20

21. L’avenir... de la plate-forme
21

22. L’avenir... des produits
22

23. Réservé aux grands ?
23

24. L’équipe
• Philippe Martin martinphilippe@yahoo.com
• Arnault Jeanson @ArnaultJeanson
• Jean-Philippe Hautin @JpHautin
• Jawed Khelil • Pierre Revellin
• François Ostyn • Olivier Del Favero
24

25. Des questions ?
25