Talk about Apache Spark for Codemotion Madrid 2015

1. Be water with
Apache Spark™ in the Real World

2. ¡Hola!
• Sergio Gómez
• Software Architect at
• @pulsarin
• linkedin.com/in/bedeveloper

3. Contenido
• Un proyecto Big Data
• Lecciones aprendidas
• Búsqueda de rendimiento

4. ¿De qué va esto?

5. ¿De qué va esto?

6. Un proyecto

7. Un proyecto
• Telco internacional
• Información de la sondas
• 10 millones de usuarios registrados

8. Volumen
• ~10K millones de eventos diarios
• 17 nodos, 360 cores, 2’4 TB ram
• Ejecuciones diarias

9. Volumen

10. Objetivos
• Monetización
• Calidad de las infraestructuras
• Detección de potenciales problemas

11. Lecciones aprendidas

12. Diseña
• Piensa en los datos
• Piensa en el flujo
• Piensa en tu storage

13. Caso 1: ETL
• Descarga diaria de las sondas
• Procesado y enriquecido con los usuarios
• Guardado para futuros procesos
• Métricas de sanidad

14. Caso 1: ETL
• Gran volumen de datos
• Errores de parseo
• Reprocesing

15. Caso 1: ETL
CPU
RAM
RED

16. Caso II: K-Means
• Muchas iteraciones
• Ensayo - error
• Datos precocinados

17. Los errores

18. Los errores

19. No falles
• Tu aplicación no puede fallar
• Un error puede suponer horas…
• … o incluso perder información

20. Datos reales
• Usa samples reales
• Reduce la magnitud para extrapolar

21. “Qué sea barato fallar”

22. Volumen real
• Usa el volumen real
• Necesitas ser escalable

23. Evitaremos
• PermGen
• OOM
• Tiempos de proceso demasiado altos
• No escalamos
• Uso asimétrico del cluster

24. “Falla rápido”

25. Buscando rendimiento

26. Cachea
• Cachea cuando sea posible
• Usa broadcast
• Coalesce

27. Gestiona el cluster
• Mesos /YARN
• Prueba diferentes configuraciones
• JVM tuning

28. Suffle
• Piensa en la distribución de keys
• Partitioner
• ¿Qué voy a hacer con los datos?
• groupByKey

29. SparkSQL
• Select * from… ¿seriously?
• Bueno si tenemos datos parcialmente
estructurados
• Trabajar con un subset

30. ¿Dudas?

32. Linkazos :)
• http://es.slideshare.net/pulsarin/be-
watter-with-spark
• http://kcy.me/29czy
• Insultos aquí: http://kcy.me/29d01

33. ¡Gracias!
@pulsarin