De 20 000 à 4 millions d'utilisateurs : mode d'emploi
•
0 recomendaciones•1,378 vistas
Présentation donnée au breizhCamp 2014 concernant un retour d'expérience d'une mission dont l'objectif était de passer de 20 000 utilisateurs à 4 millions. Pour ce faire, il a été nécessaire de revoir certaines parties du SI afin de pouvoir stocker en masse les données des utilisateurs mais également afin d'être capable de les traiter. Ce retour d'expérience montrera comment, avec une approche et des technologies simples, il a été possible de revoir la façon de faire et comment il a été proposé de traiter le sujet. Il montrera également les pistes qui ont été étudiées et les solutions qui ont été retenues. Les différents points qui seront abordés seront : Cassandra, REST, Netty, Spring Integration, Jolokia, Metrics saupoudré d'un peu de "Big Data".
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a De 20 000 à 4 millions d'utilisateurs : mode d'emploi
Similar a De 20 000 à 4 millions d'utilisateurs : mode d'emploi (20)
De 20 000 à 4 millions d'utilisateurs : mode d'emploi
- 1. De 20 000 à 4 millions Khanh Tuong Maudoux @jetoile
- 2. 2
- 3. Qui suis- Khanh Tuong Maudoux Développeur Java indépendant blog : http://blog.jetoile.fr @jetoile khanh.maudoux@jetoile.fr 3
- 5. Contexte 5
- 6. Contexte Fonctionnel 6 Réception de relevés de compteurs (fichiers xml) Fournir une consolidation (valorisation) des consommations en fonction de différents critères Algorithmes de lissage et de détection à faire sur les données Algorithmes de valorisation à faire sur les données
- 7. Contexte Volumétrie 7 Avant : 20.0000 clients Cible : 4.000.000 clients ~ 3.000.000 fichiers par jours (~156 Go/jour) Avec un pas de 30 minutes !
- 8. Contexte État des lieux 8 Algorithmes de lissage et de détection fait au moment de la collecte long » => anomalies « courantes » Algorithmes de consolidation exécutés par batch sur les données stockées
- 9. Contexte État des lieux 9 Stockage TimeSeries Data Data Data Data Collecteur Consolidation Applicatif Stockage Stockage
- 11. Contexte Objectifs 11 Objectif : Remplacer la solution de stockage Ne pas oublier la phase le ré-import totale! (~3 ans de données)
- 12. Collecteur 12
- 13. Collecteur Objectifs 13 Batch de collecte avec stockage dans une solution propriétaire Objectifs : Valider différentes solutions (Cassandra, MySQL Cluster) Valider le modèle de données
- 15. Collecteur Pistes 15 Pistes : Spring Batch EIP Spring Batch + EIP
- 16. Collecteur 16 Outils / Framework : Spring Integration Metrics JMX / Jolokia Hawt.io Maven!
- 17. Collecteur 17 Spring Integration Architecture « Pipe and Filters »
- 29. Collecteur 29 endpoint REST pour injection
- 30. Stockage 30
- 31. Stockage Objectifs 31 Rappels : Remplacer la solution existante de stockage Chaque capteur remonte une donnée toutes les 30 minutes Time series (au plus 50 000 colonnes par ligne)
- 32. Stockage 32 Cassandra Base de données orientée colonnes Keyspace Column Family Column
- 33. Stockage 33 Cassandra Time series : 1 ligne avec de multiples colonnes (clé composite) CREATE TABLE capteur ( capteur_id text, event timestamp, temperature text, PRIMARY KEY (capteur_id, event) ) Ordonnée capteur_id event temperature event temperature
- 34. Stockage 34 Attention longueur/taille de ligne CREATE TABLE capteur ( capteur_id text, event_period text, event timestamp, value text, PRIMARY KEY ((capteur_id, event_period), event) ) Attention modélisation aggrégation
- 35. Stockage 35 Jolokia Comme agent sur la JVM
- 36. Lecture 36
- 37. Lecture Objectifs 37 Évaluer la pertinence de la solution de stockage Véloce Simple Remonté de métriques => injecteur !
- 39. Lecture 39 Outils / Framework : RestEasy Netty Swagger JMX / Jolokia Hawt.io Maven Gatling / AB
- 44. Traitement 44
- 46. Traitement Objectifs 46 Objectif : Collecte Rapide Pas de pertes de données (sécurisation de la données) Détection des données fausses Faite en aval de la collecte Consolidation Faite sur les données « valides » avec stockage des mesures dans des « batch View » Séparation des concepts !
- 47. Traitement Objectifs 47 Objectif : Lambda architecture Query = function (all data)
- 48. Traitement Objectifs 48 Objectif : Query = function (all data) Service LayerBatch Layer Data Data Data Data collecte C* Transformation Objetpivot C*DAO Valo C* C* transformation All datas Precompute views Batch views
- 50. Traitement Objectifs ? 50 Volumétrie non acceptable pour la production : Duplication de la donnée Souhaite une solution avec calcul à la demande
- 51. Traitement Objectifs ? 51 Traitement Service Layer Data Data Data Data collecte C*Transformation Objetpivot C*DAO Valo C* C* transformation All datas Precompute views Batch views
- 52. Traitement Objectifs ? 52 Algorithme de lissage en amont
- 53. 53 Conclusion
- 54. Merci ! 54
- 55. Questions ? 55
- 56. pas le feedback en sortant ! ou ?