El documento explora el concepto de big data, sus casos de uso, y la integración con DevOps, destacando herramientas y tecnologías relevantes. Se menciona que gigantes como Google están liderando el uso de datos, mientras que el sector financiero busca aprovechar la información del cliente. También se discute la importancia de herramientas como Docker y Spark en el desarrollo y gestión de aplicaciones en entornos de datos masivos.

1. Big Data y perspectiva de DevOps
Enrique Carbonell
@kikicarbonell

2. About
Enrique Carbonell Muela
• Lic. Ciencias de la Computación
• Ingeniero de Software
• Líder de equipo
• Miembro equipo de Operaciones
• Entusiasta del DevOps
• Organizador DevOpsDays Cuba
Twitter: @kikicarbonell
LinkedIn: /enrique-carbonell

3. Sumario
I Parte: Big Data
Conceptos, casos de uso, herremientas...
II Parte: DevOps
Desarrollo de soluciones, operaciones, perspectiva
DevOps, herramientas, proyectos de apoyo a la
investigación.

4. I Parte: BigData

8. Casos de Uso

9. Casos de Uso
● Análisis de comportamiento
● Segmentación de clientes
● Soporte predictivo
● Análisis de mercado y optimización de precios
● Predicción de amenzasa
● Detección de fraudes
● Especificos:
– Red de sensores climatológicos
– Redes eléctricas (3 T x día)
● ...

10. Casos de Uso

11. Realidad?
● Gigantes como Google lleva +10 años trabajando los
datos
● En 5 años el 30% de los movimientos financieros
serán acaparados por gigantes como Google y Apple
(log n).

12. Realidad?
● Con los datos logran “conocer a las personas
mejor que ellas mismas” (fuente: Campaña
Trump y Obama)
● El sector financiero está moviendose para
aprovechar al máximo la información de sus
clientes.

13. Realidad?

14. Buzzword / Falacia
● Provedores vendiendo:
– “hardware Big Data”
– “soluciones Big Data”
– “…. Big Data”

15. Panorama

16. Panorama

17. II Parte: DevOps

18. Supuestos

19. Supuestos

20. Realidad

23. Infraestructura?
● Provisionamiento
● Escalado
● Particionamiento elástico
● Reutilización de recursos
● Tolerancia a fallos
● ...

24. DevOps

25. Recomendación?

26. SMACK / SDACK
● Spark
● Mesos
● Akka
● Cassandra
● Kafka
● Docker

27. SMACK
engine de procesamiento de datos de gran escala (v: 10-100x).
sistema de gestion de recursos de un cluster, permite el aislamiento
y comartir recursos entre aplicaciones distribuidas.
toolkit para construir aplicaciones basadas en manejo de mensajes
altamente concurrentes, distribuidas y elásticas sobre JVM.
● bases de datos distribuida con alta disponibilidad diseñada para
gestionar grandes volumenes de información entre diferentes
datacenter.
sistema de mensajes de alta disponibilidad, baja latencia y diseñado
para manejar la entrada en tiempo real.

28. Mesosphere

29. Mesosphere

30. What is Docker?
Plataforma abierta para el desarrollo,
transporte y ejecución de aplicaciones.
Docker permite que empaquete todas
las dependencias en una unidad
estandarizada para el desarrollo de
software y puesta en producción.

31. Docker

32. © 2013-2016 Docker, Inc. All rights reserved
Applications are changing
Loosely
Coupled
Services
Many Small Servers
~2000 Today
Monolithic
Big Servers
Slow
changing
Rapidly
updated

33. Investigación
● Apache Zeppelin
● Spark Notebook
● Hue
● ...

34. Arquitectura

35. Arquitectura

36. Visualización/Exploración

37. Visualización/Exploración