1. Introduction
D´eveloppement
R´esultats
Conclusion
Etude des connexions sur le site de la coupe du
monde 98
Pierre Richaud, Melchior Fracas
March 28, 2014
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

2. Introduction
D´eveloppement
R´esultats
Conclusion
Introduction
Introduction
Qu’avons nous ´etudi´e ?
Les serveurs recueillent des informations
1,3 Milliards de connexions
Format Binaire
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

3. Introduction
D´eveloppement
R´esultats
Conclusion
D´evellopement
Probl´ematiques - Taille des donn´ees
Une connexion = 20 Octets
1,3Milliards * 20 octets 26Go ... en binaire !
Stockage pour traitement → BDD MySQL
Remplissage, Optimisation, Anticipation
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

4. Introduction
D´eveloppement
R´esultats
Conclusion
D´evellopement
Probl´ematique - Fouille
Envoi de requ`etes SQL depuis JAVA
G´en´eration de fichiers interm´ediaires : le XML
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

5. Introduction
D´eveloppement
R´esultats
Conclusion
R´esultats
Nombre de visites par jour
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

6. Introduction
D´eveloppement
R´esultats
Conclusion
R´esultats
Nombre de clients par jour
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

7. Introduction
D´eveloppement
R´esultats
Conclusion
R´esultats
Suivi du pourcentage d’erreurs
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

8. Introduction
D´eveloppement
R´esultats
Conclusion
R´esultats
Histogramme des visites des clients
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

9. Introduction
D´eveloppement
R´esultats
Conclusion
R´esultats
Clustering
Clustering de Client.
Trois groupes et des comportements diff´erents ...
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

10. Introduction
D´eveloppement
R´esultats
Conclusion
Conclusion
Vision a posteriori
Acc´eleration des traitements : index, threads ?
Logiciel de Big Data : Mahout ?
Comparaison avec des Log de sites actuels ...
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

11. Introduction
D´eveloppement
R´esultats
Conclusion
Conclusion
Merci
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

12. Introduction
D´eveloppement
R´esultats
Conclusion
Conclusion
Annexe
Traitements des objectID.
Algorithme de Recommendations.
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

13. Introduction
D´eveloppement
R´esultats
Conclusion
Conclusion
Annexe
La structure d’un log `a un autre est a peu pr`es similaire.
Structure voulue la plus g´en´eraliste possible pour pouvoir
entrer rapidement n’importe quelle Log
Mais abandonn´e pour manque de temps.
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98

14. Introduction
D´eveloppement
R´esultats
Conclusion
Conclusion
Annexe
6 jours pour rentrer sans buffer, environ 48 heures avec.
Requ`etes longues sur la bases: plusieurs heures.
Index: Accel`ere recherche, mais ralentit les calculs:
Un simple calcule de moyennes=plusieurs heures avec index,
quelques minutes sans.
Pierre Richaud, Melchior Fracas Etude des connexions sur le site de la coupe du monde 98