Este documento presenta una discusión sobre inteligencia artificial y análisis de datos. Explica conceptos como analítica funcional, cultura orientada a datos, métricas de rendimiento e inteligencia de procesos en tiempo real. También describe tecnologías como Apache Kafka y Apache Spark que son útiles para implementar proyectos orientados a datos. Finalmente, discute tendencias emergentes en business intelligence e inteligencia operativa.

1. PDP en Inteligencia Artificial
Del Business Intelligence a la Inteligencia Operativa
Juantomás García Molina

2. PDP en Inteligencia Artificial - Juantomás García Molina 2
Índice
► Analítica Funcional: los Datos hablan si sabemos cómo escucharlos
► Cultura Data-Driven: la información accionable y la toma de
decisiones en la empresa
► Gestión del Rendimiento y métricas de resultado: lo que no se mide,
no puede mejorarse
► Inteligencia de Procesos y Negocio en Tiempo Real: decisiones y
experimentos Real-Time
► Captura de información, métricas, KPIs e visualización de
información
► El valor de los datos en la Data Economy: nuevas tendencias en BI y
OI

3. PDP en Inteligencia Artificial - Juantomás García Molina 3
¿Quien soy?
► Juantomás García - Chief Envisioning Officer at Sngular
► Google Developer Expert on Cloud
► Coautor del libro “La Pastilla Roja”
► Organizador del Machine Learning Meetup Spain y GDG Cloud
► Ex-Presidente y fundador de Hispalinux.

4. PDP en Inteligencia Artificial - Juantomás García Molina 4
Analítica Funcional: los Datos hablan si sabemos
cómo escucharlos
► “El presente está escrito en el
Pasado”
► Caso de Uso Clásico: “Target”

5. PDP en Inteligencia Artificial - Juantomás García Molina 5
Cultura Data-Driven: la información accionable y la
toma de decisiones en la empresa
Source: Monica Rogati’s fantastic Medium post “The AI Hierarchy of Needs”

6. • “Without data you’re just another person with an
opinion” William Edwards Deming
• Un proyecto orientado a datos es construir
herramientas, habilidades, y lo más importante, una
cultura en la que se toman decisiones con los datos.
Cultura Data-Driven: la información accionable y la
toma de decisiones en la empresa
PDP en Inteligencia Artificial - Juantomás García Molina

7. Requisito #1:Una organización debe estar
recopilando datos
• Los datos , sin duda, son el ingrediente clave.
• No solo son los datos; tienen que ser los correctos.
• El conjunto de datos tiene que ser relevante para la
cuestión que nos ocupa .
• También tienen que cumplir: estén limpios,
normalizados, sin desviaciones y que se pueda
confiar en ellos.
PDP en Inteligencia Artificial - Juantomás García Molina
PDP en Inteligencia Artificial - Juantomás García Molina

8. Requisito previo # 2 : Los datos deben ser
accesibles y consultables
• Tener datos precisos, oportunos, pertinentes no es suficiente.
También tiene que cumplir:
• Que se puedan cruzar: Los datos deben estar organizados de
forma que se puedan cruzar con otros datos de la empresa cuando
sea necesario.
• Se puedan compartir. Debe haber una cultura para compartir datos
dentro de la organización.
• Se deben poder consultar: Todos los informes y análisis requieren
filtrado, agrupación y agregación de datos para reducir las grandes
cantidades de datos en bruto en un conjunto más pequeño para
poder comprender lo que está sucediendo en un negocio.
PDP en Inteligencia Artificial - Juantomás García Molina

9. De los informes y las alertas al análisis
• Informes y alertas son necesarias pero no suficientes
características de estar orientado a datos.
• Informes "El proceso de organizar los datos en resúmenes
de información con el fin de supervisar cómo las diferentes
áreas de una empresa están funcionando”
• Análisis "La transformación de datos en conocimiento
competitivo que impulsarán las decisiones y acciones de
negocio que utilizan las personas, procesos y tecnologías”
• Los informes son de hecho, descriptivos. Los análisis, son
preceptivos.
PDP en Inteligencia Artificial - Juantomás García Molina

10. Informes vs Análisis
PDP en Inteligencia Artificial - Juantomás García Molina

11. Información vs Insights
PDP en Inteligencia Artificial - Juantomás García Molina

12. Características de un proyecto orientado a datos
• Un proyecto orientado a datos debe estar haciendo
testing continuamente. Pueden ser tests A/B del flujo
en el proceso de pago de un sitio web o haciendo
tests del asunto del correo para una campaña de
marketing.
• Un proyecto orientado a datos debe tener una
mentalidad de mejora continua.
• Debe ser un proceso de búsqueda permanente de
que variables, internas o externas, son decisivas para
el negocio.
PDP en Inteligencia Artificial - Juantomás García Molina

13. Cultura de Datos
• “A data culture isn’t just about deploying technology
alone, it’s about changing culture so that every
organization, every team and every individual is
empowered to do great things because of the data at
their fingertips.” Satya Nadella
• “Everyone in the organization should have access to
as much data as legally possible,” DJ Patil
PDP en Inteligencia Artificial - Juantomás García Molina

14. Qué servicios/tecnologías se necesitan para
implementar un proyecto orientado a datos
• Espacio de almacenamiento infinito.
• Fácil de usar
• Que facilite el acceso a los datos de todos los
involucrados con el proyecto.
• Que sea una capa de alto nivel.
• Que sea capaz de almacenar toda la información
que genera el proyecto.
PDP en Inteligencia Artificial - Juantomás García Molina

15. Qué servicios/tecnologías se necesitan para
implementar un proyecto orientado a datos
• Sistema de streaming de la información.
• Toda la información que se genera en el proyecto
se inyecta en un sistema de streaming.
• Esta información esta disponible para cualquier
equipo del proyecto.
• Debe tener un formato normalizado (avro, json) y
en algunos casos debe estar agregada y/o
enriquecida.
PDP en Inteligencia Artificial - Juantomás García Molina

16. Qué servicios/tecnologías se necesitan para
implementar un proyecto orientado a datos
• Motor de analítica
• Tiene que haber una herramienta que nos permita
hacer analítica interactiva.
• Este motor es la clave de la analítica ágil.
• Debe permitirnos consultar cualquier dato en
prácticamente cualquier formato, cruzarlo con
otras fuentes de información y hacerlo
interactivamente.
PDP en Inteligencia Artificial - Juantomás García Molina

17. PDP en Inteligencia Artificial - Juantomás García Molina 17
Gestión del Rendimiento y métricas de resultado: lo
que no se mide, no puede mejorarse
► uber: 20.000M de eventos
► linkedin: 2B de eventos
► Extra Ball: Iron Maiden y como organizar giras mundiales

18. PDP en Inteligencia Artificial - Juantomás García Molina 18
Inteligencia de Procesos y Negocio en Tiempo Real:
decisiones y experimentos Real-Time
► Arquitectura Kappa
► IoT of cars

19. What’s Kappa Architecture?
July 2, 2014 Jay Kreps coined the term Kappa
Architecture in an article for O’reilly Radar
“Maybe we could call this the Kappa Achitecture, though it may
be too simple of an idea to merit a Greek letter”

20. Jay has been involved in lots
of projects:
✓ Author of the essay: The
Log: What every software
engineer should know about
real-time data's unifying
abstraction (12/16/2013)
✓ Author of the book I love
Logs
Who is Jay Kreps?

21. •Involved with projects as:
✓ Apache Kafka
✓ Apache Samza
✓ Voldemort
✓ Azkaban
✓ Ex-Linkedin
✓ Now co-founder and CEO of Confluent
Who is Jay Kreps?

22. Usual Data Flow

23. Usual Data Flow

24. Usual Data Flow

25. Kappa Architecture Way

26. Tools we use

27. Tools we use

28. Tools we use

29. ✓ If you have an schema spark SQL, is
perfect.
✓ Spark streaming works very fine with spark
and almost each streaming sources.
✓ Structured queries will be a huge advance.
✓ We love Scala, the spirit of Spark.
Some Favorite Spark Features

30. We love code like this:
Some Favorite Spark Features

31. • One of our clients wanted to monitor all the
car's information via OBD II
• OBD II is a car interface with the car
electronics.
• Our client developed an app for reading all
the car information throw ODB II with
bluetooth
A Real Use Case

32. A Real Use Case

33. • We needed to scale the rest interfaces.
There were too many requests.
• MySQL don’t scale
• Client wanted to do realtime expensive
queries.
First Problems

34. Some metrics

35. Architecture v 2.0

36. Architecture v 3.0

37. We can have queries like:
“What are the drivers that are not client
of the X gas brand, has a few gas and
are near of gas station of the brand X and
if true, send a notification with a discount
coupon and a link with the route."
Now we’re more flexible!!

38. • Kappa architecture is not a silver bullet but helps
with a lot of solutions.
• Kafka + spark streaming are our favorite tools
• There are a lots of improvements:
Takeaways
✓ OLAP like Apache Druid
✓ Graph databases like neo4j
✓ Kafka streams and
compacts logs
✓ Apache Beams
✓ Scio Scala bindings

39. PDP en Inteligencia Artificial - Juantomás García Molina 39
El valor de los datos en la Data Economy: nuevas
tendencias en BI y OI

40. PDP en Inteligencia Artificial - Juantomás García Molina 40
El valor de los datos en la Data Economy: nuevas
tendencias en BI y OI

41. PDP en Inteligencia Artificial - Juantomás García Molina
Muchas Gracias
email: juantomas@opensistemas.com
twitter: @juantomas

42. www.unir.net