Présentation de l'utilisation de R pour traiter des fichiers de log ( accesslog ).

1. Comment avantageusement remplacer Excel par R
pour traiter (automatiquement) vos fichiers de log
è
!
Philippe kernevez
© OCTO 2014
Avenue du théâtre 7
CH-1005 Lausanne - SUISSE
1

2. Agenda
! 5‘ : Objectifs et contexte
! 10’ : démonstration
2

3. R
!
R est un dialecte du langage S
!
S inventé en 1976 au Bell Labs pour de l’analyse statistique en
remplacement de FORTRAN.
!
R a été lancé en 1991
! Licence GNU depuis 1995
! 2000 : R v 1
! 2012 : R v 2.5version 2.15.1
!
R http://www.r-project.org/
!
Rstudio http://www.rstudio.com/
3

4. 4

5. 5

6. Besoins
!
Contexte
+
!
=
Question
! Ma journée d’hier était-elle représentative ?
! A quelle heure mes temps de réponse se sont dégradés ?
! Mes temps de réponse changent-ils en fonction de la charge ?
6

7. Les solutions…
! Shell (grep / sed)
! Script (Groovy)
! Excel
!
Ca fonctionne mais…
! Excel peine à afficher les graphiques de plusieurs milliers de points
! C’est fastidieux
! Utilisations de tableaux croisés dynamiques pour les moyennes glissantes
! Du ‘bricolage’ pour avoir des quantiles glissants
! Cela reste manuel
! Shell (grep / sed)
! R
7

8. Exemples
!
Evolution du temps de réponse au cours du temps
! Exemple sur mon poste
! 20’000 points avec Excel : 2 minutes
! 330’000 points avec R : 6s
8

9. Exemples
Moyenne ou percentile glissant
!
! Percentile 95 : 95% des requêtes en moins de X s
Moyenne&(s)&
4.5"
4"
3.5"
3"
2.5"
Moyenne"(s)"
2"
1.5"
1"
0.5"
0"
12"sept."04:48"
12"sept."09:36"
12"sept."14:24"
12"sept."19:12"
13"sept."00:00"
13"sept."04:48"
13"sept."09:36"
13"sept."14:24"
13"sept."19:12"
9

10. Histogramme
Plus de 300’000 mesures
En moins de 5e+6 µs (0.5s)
10

11. Distribution
11

12. Demo time…
12

13. Pour finir
!
Limites
! Tailles des objets en mémoire
! Formatage des dates
! La solution est d’utiliser les timeseries (xts)
!
Toutes les infos sur
! https://github.com/pkernevez/RQuicky.git
!
Alternative
! Kibana (elasticsearch)
!
Pour démarrer
! http://www.r-project.org/
! Coursera https://class.coursera.org/reactive-001/assignment
!
Le JUG existe aussi à Lausanne
13