Descargar como PDF, PPTX
![Detrás del Backend [phpDay 2015]](https://image.slidesharecdn.com/detrasdelbackendnocmnts-150202122910-conversion-gate02/85/Detras-del-Backend-phpDay-2015-60-320.jpg)
Subido porFelix Carmona
Detrás del Backend [phpDay 2015]
El documento detalla la importancia de la centralización y recolección de métricas para el desarrollo de software, utilizando herramientas como StatsD y CollectD. Se exploran diferentes tipos de métricas (negocio, aplicaciones y sistemas) y estrategias para su visualización, almacenamiento y análisis. Además, se discuten técnicas para balancear y gestionar múltiples fuentes de métricas, así como su impacto en la toma de decisiones sobre el rendimiento y escalabilidad de aplicaciones.
Detrás del Backend [phpDay 2015]
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. Servidor 1 Servidor 2 Servidor3 Servidor 4 Servidor 5 Servidor 6 Servidor 7
- 10. Servidor 1 Servidor 2 Servidor3 Servidor 4 Servidor 5 Servidor 6 Servidor 7
- 11. Servidor 1 Servidor 2 Servidor3 Servidor 4 Servidor 5 Servidor 6 Servidor 7
- 12. Servidor 1 Servidor 2 Servidor3 Servidor 4 Servidor 5 Servidor 6 Servidor 7
- 13. Servidor 1 Servidor 2 Servidor3 Servidor 4 Servidor 5 Servidor 6 Servidor 7
- 14.
- 15.
- 16. Servidor 1 Servidor 2 Servidor 3 Servidor 4 Servidor 5 Servidor 6 Servidor 7 Procesador de Logs Almacen de Logs Visualizador deLogs Logstash Elasticsearch Kibana rsyslog
- 18. Tomando decisiones ala hora de desarrollar Software
- 19. Razonamiento antes que Intuición Razonamiento= Datos = Métricas
- 20. ¿Que preguntas deberían poderrespondernos nuestras métricas?
- 21. ¿Esta mi aplicación funcionando? Sino lo está, ¿que parte esta fallando?
- 22. ¿Que áreas necesitan mejorarel rendimiento?
- 23.
- 24. ¿Cual fue elimpacto del último código deployado? ¿Ha repercutido sobre los usuarios? ¿Negativamente? ¿Deberiamos hacer rollback?
- 25.
- 26. Métricas de negocio(Alto nivel)
- 27. Métricas de lasaplicaciones
- 28. Métricas de lossistemas (Bajo nivel)
- 29. Flujos y estrategiaspara recolectar métricas
- 30. Recolectando métricas constatsd Aplicación Peticiones Muestras Agregador de métricas Almacén de métricas Agrupación y guardado de las métricas recibidas durante x segundos (aka flush interval) Visualizador de metricas statsd Graphite (whisper) AWS CloudWatch Librato (Storage) Graphite (web app) Librato AWS CloudWatch (web)
- 31.
- 32. Segundos que tardaen procesarse la tarea X 4 3 6 3 3 7 2 Statsd
- 33. Segundos que tardaen procesarse la tarea X 4 3 6 3 3 7 2 ?Statsd
- 34. Segundos que tardaen procesarse la tarea X 4 3 6 3 3 7 2 28?Statsd
- 35. Segundos que tardaen procesarse la tarea X 4 3 6 3 3 7 2 4Statsd
- 36. Segundos que tardaen procesarse la tarea X 4 3 6 3 3 7 2 7Statsd
- 37. Segundos que tardaen procesarse la tarea X 4 3 6 3 3 7 2 2Statsd
- 38. Tipos de métricassoportadas por statsd ● Counters ● Timers ● Gauges ● Sets
- 39.
- 40. Counters Si durante eltranscurso de un flush interval, enviamos las siguientes muestras para una métrica determinada: +2, +2, +4, -1. Statsd los sumará y guardará simplemente un valor 7.
- 41. Timers Sirven para colectannúmeros. No necesariamente tienen porque ser valores de tiempo. Por ejemplo puedes guardar con ellos, el número de bytes leídos, el número de objetos en un almacén o cualquier cosa que sea un número.
- 42. Timers Finalizado el flushinterval, statsd guardara 8 valores. Por ejemplo para las muestras 8.5, 2.3, 5, 3.1: ● La muestra mínima recibida (2.3) ● La muestra máxima recibida (8.5) ○ + percentil 90 ● La suma de todas las muestras recibidas (18.9) ○ + percentil 90 ● La media de todas las muestras recibidas (4.725) ○ + percentil 90 ● Número de muestras recibidas (4)
- 43. Gauges Solo la últimamuestra recibida durante un flush interval es guardada. Por ejemplo, si durante un flush interval statsd recibe las siguientes muestras para una métrica determinada: 1, 7, 4, 2. Statsd solo guardará el valor 2, y ademas lo reenviará al storage en cada flush interval
- 44. Sets Suma el númerode muestras recibidas (no su valor, si no la cantidad de muestras recibidas) para una métrica determinada durante un flush interval. Pero para los valores repetidos, solo contará 1. Por ejemplo, si enviamos las muestras: 3, 4, 5, 2, 2, 3. Guardará un valor 4. porque descartará los repetidos, convirtiendo 3, 4, 5, 2, 2, 3 en 3, 4, 5, 2. Por lo tanto, guardará un valor 4. (4 muestras recibidas)
- 45. Balanceando vários statsd statsd statsd statsd Almacénde métricasBalanceador DNS Round Robin UDP Load Balancer (https://github.com/felixcarmona/udp-load-balancer) 1 3 2 ¿ 1 , 3 , 2 ? se guardará solo uno de los statsd que reporten
- 46. Balanceando vários statsd statsd statsd statsd statsdAlmacén de métricas 1 3 2 6 Balanceador DNS Round Robin UDP Load Balancer (https://github.com/felixcarmona/udp-load-balancer)
- 47. Recolectando métricas concollectd Sistema Consultas Colector de métricas Almacén de métricas Cada X segundos (aka Interval) Visualizador de metricas collectd RRDtool Graphite (whisper) AWS CloudWatch Librato (Storage) Visage Graphite (web app) Librato AWS CloudWatch (web) nagios
- 48. Sistema Recolectando métricas concollectd + plugin statsd (escrito en C) Aplicación Muestras Colector Agregador collectd statsd plugin Almacén de métricas Visualizador de metricas RRDtool Graphite (whisper) AWS CloudWatch Librato (Storage)Consultas Visage Graphite (web app) Librato AWS CloudWatch (web)
- 49.
- 50. 15 días deretención de datos $0,50 por metrica al mes AWS CloudWatch
- 51. Round Robin Database RRDtool Imagefrom: http://www.loriotpro.com/Products/On-line_Documentation_V5/LoriotProDoc_EN/V22-RRD_Collector_RRD_Manager/V22- A1_Introduction_RRD_EN.htm
- 52. Escrito en Python Muysimilar a RRDtool (Fixed size) Mas lento que RRDtool (Escrito en C) Roll-up: En lugar de desechar los datos más antiguos, los va degradando a menor resolución (60 métricas x 1 min -> 1 métrica x 1 h) Graphite (Whisper)
- 53. Librato 13 meses deretención Roll-up como whisper: ● Últimos 30 minutos: raw resolution ● Últimos 60 minutos: raw resolution ● Últimas 3 horas: 1 minuto de resolución ● Últimas 6 horas: 1 minuto resolución ● Últimas 12 horas: 15 minutos de resolución ● Últimas 24 horas: 15 minutos de resolución ● Últimos 3 días: 1 hora de resolución ● Últimos 7 días: 1 hora de resolución ● Últimas 4 semanas: 1 hora de resolución
- 54. Balanceando para Librato statsd statsd statsd LibratoBalanceador DNSRound Robin UDP Load Balancer (https://github.com/felixcarmona/udp-load-balancer) 1 3 2 1 , 3 , 2 se guardarán todos los statsd que reporten. Por lo que luego podremos leer la suma de todos (1 + 3 + 2 = 6), o la media de estos, etc
- 55.
- 56.
- 57.
- 58. AWS CloudWatch Image fromhttp://blogs.clogeny.com/custom-metrics-in-amazon-cloudwatch/
- 59.