PDP en Inteligencia Artificial
Del Business Intelligence a la Inteligencia Operativa
Juantomás García Molina

PDP en Inteligencia Artificial - Juantomás García Molina 2
Índice
► Analítica Funcional: los Datos hablan si sabemos cómo escucharlos
► Cultura Data-Driven: la información accionable y la toma de
decisiones en la empresa
► Gestión del Rendimiento y métricas de resultado: lo que no se mide,
no puede mejorarse
► Inteligencia de Procesos y Negocio en Tiempo Real: decisiones y
experimentos Real-Time
► Captura de información, métricas, KPIs e visualización de
información
► El valor de los datos en la Data Economy: nuevas tendencias en BI y
OI

PDP en Inteligencia Artificial - Juantomás García Molina 3
¿Quien soy?
► Juantomás García - Chief Envisioning Officer at Sngular
► Google Developer Expert on Cloud
► Coautor del libro “La Pastilla Roja”
► Organizador del Machine Learning Meetup Spain y GDG Cloud
► Ex-Presidente y fundador de Hispalinux.

PDP en Inteligencia Artificial - Juantomás García Molina 4
Analítica Funcional: los Datos hablan si sabemos
cómo escucharlos
► “El presente está escrito en el
Pasado”
► Caso de Uso Clásico: “Target”

PDP en Inteligencia Artificial - Juantomás García Molina 5
Cultura Data-Driven: la información accionable y la
toma de decisiones en la empresa
Source: Monica Rogati’s fantastic Medium post “The AI Hierarchy of Needs”

• “Without data you’re just another person with an
opinion” William Edwards Deming
• Un proyecto orientado a datos es construir
herramientas, habilidades, y lo más importante, una
cultura en la que se toman decisiones con los datos.
Cultura Data-Driven: la información accionable y la
toma de decisiones en la empresa
PDP en Inteligencia Artificial - Juantomás García Molina

Requisito #1:Una organización debe estar
recopilando datos
• Los datos , sin duda, son el ingrediente clave.
• No solo son los datos; tienen que ser los correctos.
• El conjunto de datos tiene que ser relevante para la
cuestión que nos ocupa .
• También tienen que cumplir: estén limpios,
normalizados, sin desviaciones y que se pueda
confiar en ellos.
PDP en Inteligencia Artificial - Juantomás García Molina
PDP en Inteligencia Artificial - Juantomás García Molina

Requisito previo # 2 : Los datos deben ser
accesibles y consultables
• Tener datos precisos, oportunos, pertinentes no es suficiente.
También tiene que cumplir:
• Que se puedan cruzar: Los datos deben estar organizados de
forma que se puedan cruzar con otros datos de la empresa cuando
sea necesario.
• Se puedan compartir. Debe haber una cultura para compartir datos
dentro de la organización.
• Se deben poder consultar: Todos los informes y análisis requieren
filtrado, agrupación y agregación de datos para reducir las grandes
cantidades de datos en bruto en un conjunto más pequeño para
poder comprender lo que está sucediendo en un negocio.
PDP en Inteligencia Artificial - Juantomás García Molina

De los informes y las alertas al análisis
• Informes y alertas son necesarias pero no suficientes
características de estar orientado a datos.
• Informes "El proceso de organizar los datos en resúmenes
de información con el fin de supervisar cómo las diferentes
áreas de una empresa están funcionando”
• Análisis "La transformación de datos en conocimiento
competitivo que impulsarán las decisiones y acciones de
negocio que utilizan las personas, procesos y tecnologías”
• Los informes son de hecho, descriptivos. Los análisis, son
preceptivos.
PDP en Inteligencia Artificial - Juantomás García Molina

Informes vs Análisis
PDP en Inteligencia Artificial - Juantomás García Molina

Información vs Insights
PDP en Inteligencia Artificial - Juantomás García Molina

Características de un proyecto orientado a datos
• Un proyecto orientado a datos debe estar haciendo
testing continuamente. Pueden ser tests A/B del flujo
en el proceso de pago de un sitio web o haciendo
tests del asunto del correo para una campaña de
marketing.
• Un proyecto orientado a datos debe tener una
mentalidad de mejora continua.
• Debe ser un proceso de búsqueda permanente de
que variables, internas o externas, son decisivas para
el negocio.
PDP en Inteligencia Artificial - Juantomás García Molina

Cultura de Datos
• “A data culture isn’t just about deploying technology
alone, it’s about changing culture so that every
organization, every team and every individual is
empowered to do great things because of the data at
their fingertips.” Satya Nadella
• “Everyone in the organization should have access to
as much data as legally possible,” DJ Patil
PDP en Inteligencia Artificial - Juantomás García Molina

Qué servicios/tecnologías se necesitan para
implementar un proyecto orientado a datos
• Espacio de almacenamiento infinito.
• Fácil de usar
• Que facilite el acceso a los datos de todos los
involucrados con el proyecto.
• Que sea una capa de alto nivel.
• Que sea capaz de almacenar toda la información
que genera el proyecto.
PDP en Inteligencia Artificial - Juantomás García Molina

Qué servicios/tecnologías se necesitan para
implementar un proyecto orientado a datos
• Sistema de streaming de la información.
• Toda la información que se genera en el proyecto
se inyecta en un sistema de streaming.
• Esta información esta disponible para cualquier
equipo del proyecto.
• Debe tener un formato normalizado (avro, json) y
en algunos casos debe estar agregada y/o
enriquecida.
PDP en Inteligencia Artificial - Juantomás García Molina

Qué servicios/tecnologías se necesitan para
implementar un proyecto orientado a datos
• Motor de analítica
• Tiene que haber una herramienta que nos permita
hacer analítica interactiva.
• Este motor es la clave de la analítica ágil.
• Debe permitirnos consultar cualquier dato en
prácticamente cualquier formato, cruzarlo con
otras fuentes de información y hacerlo
interactivamente.
PDP en Inteligencia Artificial - Juantomás García Molina

PDP en Inteligencia Artificial - Juantomás García Molina 17
Gestión del Rendimiento y métricas de resultado: lo
que no se mide, no puede mejorarse
► uber: 20.000M de eventos
► linkedin: 2B de eventos
► Extra Ball: Iron Maiden y como organizar giras mundiales

PDP en Inteligencia Artificial - Juantomás García Molina 18
Inteligencia de Procesos y Negocio en Tiempo Real:
decisiones y experimentos Real-Time
► Arquitectura Kappa
► IoT of cars

What’s Kappa Architecture?
July 2, 2014 Jay Kreps coined the term Kappa
Architecture in an article for O’reilly Radar
“Maybe we could call this the Kappa Achitecture, though it may
be too simple of an idea to merit a Greek letter”

Jay has been involved in lots
of projects:
✓ Author of the essay: The
Log: What every software
engineer should know about
real-time data's unifying
abstraction (12/16/2013)
✓ Author of the book I love
Logs
Who is Jay Kreps?

•Involved with projects as:
✓ Apache Kafka
✓ Apache Samza
✓ Voldemort
✓ Azkaban
✓ Ex-Linkedin
✓ Now co-founder and CEO of Confluent
Who is Jay Kreps?

Usual Data Flow

Usual Data Flow

Usual Data Flow

Kappa Architecture Way

Tools we use

Tools we use

Tools we use

✓ If you have an schema spark SQL, is
perfect.
✓ Spark streaming works very fine with spark
and almost each streaming sources.
✓ Structured queries will be a huge advance.
✓ We love Scala, the spirit of Spark.
Some Favorite Spark Features

We love code like this:
Some Favorite Spark Features

• One of our clients wanted to monitor all the
car's information via OBD II
• OBD II is a car interface with the car
electronics.
• Our client developed an app for reading all
the car information throw ODB II with
bluetooth
A Real Use Case

A Real Use Case

• We needed to scale the rest interfaces.
There were too many requests.
• MySQL don’t scale
• Client wanted to do realtime expensive
queries.
First Problems

Some metrics

Architecture v 2.0

Architecture v 3.0

We can have queries like:
“What are the drivers that are not client
of the X gas brand, has a few gas and
are near of gas station of the brand X and
if true, send a notification with a discount
coupon and a link with the route."
Now we’re more flexible!!

• Kappa architecture is not a silver bullet but helps
with a lot of solutions.
• Kafka + spark streaming are our favorite tools
• There are a lots of improvements:
Takeaways
✓ OLAP like Apache Druid
✓ Graph databases like neo4j
✓ Kafka streams and
compacts logs
✓ Apache Beams
✓ Scio Scala bindings

PDP en Inteligencia Artificial - Juantomás García Molina 39
El valor de los datos en la Data Economy: nuevas
tendencias en BI y OI

PDP en Inteligencia Artificial - Juantomás García Molina 40
El valor de los datos en la Data Economy: nuevas
tendencias en BI y OI

PDP en Inteligencia Artificial - Juantomás García Molina
Muchas Gracias
email: juantomas@opensistemas.com
twitter: @juantomas

www.unir.net