Este documento presenta conceptos generales sobre Big Data e impacto en los negocios. Explica que Big Data se refiere a conjuntos de datos muy grandes o complejos que requieren nuevas formas de procesamiento. Describe características como tamaño, diversidad y velocidad de los datos, así como ejemplos de casos de negocio como mejorar la eficiencia operacional y la experiencia del cliente. Finalmente, discute riesgos como privacidad y seguridad, y tendencias futuras como análisis distribuido y computación cognitiva.
2. ¿A qué llamamos
Big Data?
La “Nueva Analítica”:
características diferenciales
Plataformas
tecnológicas
en Big Data
¿Y todo esto, para qué?
Ejemplos de casos de
negocio
Riesgos y
problemas
del Big Data
Yendo más allá:
tendencias de futuro
4. | 12-05-2016 | Atos Codex
Big Data
es un nombre para los juegos de datos que
son tan grandes o complejos que las
aplicaciones tradicionales para procesado
de datos no son adecuadas.
Plantean desafíos en el análisis, captura,
filtrado, búsqueda, compartición,
almacenamiento, transferencia,
visualización, consulta, actualización, y
privacidad.
(Wikipedia USA)
4
¿A qué llamamos Big Data?
Veamos qué dice la Wikipedia…
5. | 12-05-2016 | Atos Codex5
¿A qué llamamos Big Data?
Obviamente, el tamaño SÍ importa…
2009 2011 2012 2013 2014 2016 2017 2018 2019 2021202020152010
En 2009 se empieza a
usar el término
zettabyte para los
ingentes volúmenes de
datos.
Disrupción por
la Nube
El valor estimado de la
Economía de los Datos
Personales es de
1 billón de euros
Los datos M2M sobrepasan
los personales en 2015
1.000 millones de
contadores inteligentes
en 2020
44 zettabytes
0.85
zettabytes
Volumen estimado de los datos digitales
(a nivel mundial)
Fuente: Atos Scientific Community
6. | 12-05-2016 | Atos Codex6
¿A qué llamamos Big Data?
… pero también importa la heterogeneidad
Datos
estructurados
tradicionales
BIG DATA: TAMAÑO + DIVERSIDAD…
Gran Tamaño
No Estructurados
Multimedia
Tiempo
Real
“Basura”
Enlazados
Sociales
Abiertos
▶ Se amplía el “universo” de
datos que podemos procesar
en varias dimensiones:
– Tamaño
– Estructura (o falta de ella)
– Homogeneidad
– Contenido
– “Frescura”
– Orígenes
– Relaciones
Fuente: Atos Scientific Community
BIG DATA
7. | 12-05-2016 | Atos Codex7
¿A qué llamamos Big Data?
Veamos un ejemplo: clientes de un comercio minorista
Transacciones
comerciales
Geolocalización
del móvil
Redes de
comunicaciones
Sensores
(NFC / RFID)
Cámaras
de video
Estadísticas
sitios web
Información
Logística
Cartografía
locales
Redes Sociales
8. | 12-05-2016 | Atos Codex8
¿A qué llamamos Big Data?
Veamos otro ejemplo: un parque eólico marino…
Supervisión y
control (SCADA)
Sensores de
diversos tipos
Información
meteorológica
Información de
estado del mar
Información
Logística
Información de
mantenimiento
Información
operacional
Información
de fabricación
10. | 12-05-2016 | Atos Codex10
La “Nueva Analítica”: características diferenciales
Expandiendo el ámbito del análisis empresarial
Años Meses Días Horas Mins S
Zetta
Exa
Peta
Tera
Analítica
Tiempo
Real
S Mins Horas Días Meses Años
Automati-
zación
Procesos
Soporte
Decisiones
“Ad hoc”
Planificación
Operacional
Planificación
Estratégica
Analítica
Tradicional
Tiempo
Real
Supervisión / Control y
Mantenimiento Predictivo
BigData
Volumen de
Datos
(bytes) PASADO FUTURO
AHORA
Datos
Externos
No
Estructurados
Datos
Internos
No
Estructurados
Fuente: Forrester
11. | 12-05-2016 | Atos Codex11
La “Nueva Analítica”: características diferenciales
Expandiendo el ámbito del análisis empresarial
▶ Analítica Descriptiva
– ¿Qué ha pasado?
▶ Analítica Diagnóstica
– ¿Por qué ha pasado?
▶ Analítica Predictiva
– ¿Qué puede pasar?
▶ Analítica Prescriptiva
– ¿Qué tengo que hacer?
Adaptación
retro-
aliment.
AltaBaja
Informe
Estándar
Consulta
”Drill
Down”
Fore-
casting
Análisis
Impacto
Decisión
Análisis
Estadístico
Predicción
Escenarios
Informe
AdHoc
Analítica Reactiva Analítica Proactiva
Impacto en la toma de decisiones
Tasa
de cambio
y volumen
de datos
Descriptiva Diagnóstica Predictiva Prescriptiva
Fuente: Atos Scientific Community
12. | 12-05-2016 | Atos Codex12
La “Nueva Analítica”: características diferenciales
Hacia una “Economía del Dato” basada en “Plataformas Analíticas”
Analítica
Predictiva
Uso de
mis datos
Innovation
Value Webs
Deep Learning
Modelos
Negocio
Digital
Datos
Producción
Datos
Uso
Datos
Consumidor
Privacidad
Seguridad
ECONOMÍA
DE LOS
DATOS
INTERNET OF
EVERYTHING
Refinar
Interpretar
Datos
útiles
Rentabilidad
Fuente: Atos Scientific Community
Socio
Negocio
Activos
Digitales
Usuarios
Dispositivos
Conectados
Smart
meter
PLATFORMPLATAFORMA
Proveedor Energético
Uso Datos Servicios
PLATAFORMAS ANALÍTICAS
DE MERCADOS MULTILATERALESCÍRCULO “VIRTUOSO” ECONOMÍA DEL DATO
14. | 12-05-2016 | Atos Codex14
Plataformas tecnológicas en Big Data
Bienvenidos al “zoo” tecnológico. (No den de comer a los animales )
Data
Integration
Data
Management
Analytics
Layer
Data
Sources
Real Time
Sensor Data
Smart grid
Platforms
Other Data
(External)
• AMM RT Events
• IEC 61850
• IEC 60870-5-104
• Data historians (PI)
• Other sensor
protocols
• Weather
• Demographics
• Housing
• Social media
• …
• AMI/
AMM
• MDM
• DMS /
SCADA
• GIS
• EAM
• CIS
Analytics
Apps
SQL
Multi-sided
Market
Use case
Revenue
Protection
Use case
Other Use
Cases
SpeedLayer
Batch Layer
Turbo Layer
Serving
Layer
Web
Service
APIs
Web Apps
Mobile
Apps
Integration
with
BI / DWH
Integration
external
Apps
Reporting &
Visualization
Data Scientist Workbench
End User
Applications
Fuente: Atos Codex
15. ¿Y todo esto, para qué?
Ejemplos de casos de
negocio
16. | 12-05-2016 | Atos Codex16
¿Y todo esto, para qué? Casos de negocio
Para resolver los desafíos de las empresas
Crear nuevos modelos de
negocio, e innovar en
productos y servicios
Anticipar necesidades,
demandas y
comportamientos
del cliente
Utilizar la potencia de
la analítica para proteger
sus activos
Mejorar la eficiencia y
la agilidad con procesos
gestionados con los datos
Experiencia
de Cliente
Reinvención
del Negocio
Excelencia
Operacional
Confianza y
Cumplimiento
17. | 12-05-2016 | Atos Codex17
¿Y todo esto, para qué? Casos de negocio
Atos Codex: la familia de soluciones analíticas de Atos.
Con Atos Codex,
proporcionamos un
conjunto extensivo de
soluciones analíticas
focalizadas en el
negocio
Atos Analytics
for Finance
Atos Analytics
for Transports
Atos Analytics
for Public Sector
Atos Analytics
for Health
Atos Analytics
for Telco
Atos Analytics
for Media
Atos Analytics
for Utilities
Atos Analytics
for
Manufacturing
Atos Analytics
for Retail
18. | 12-05-2016 | Atos Codex18
¿Y todo esto, para qué? Casos de negocio
Ejemplo: potenciando la Excelencia Operacional
Impacto de
negocio:
Capacidad de
producción
incrementada
al mejorar la
eficiencia
operacional
QUE HEMOS HECHO PARA UNA
COMPAÑIA DE SERVICIOS
PETROLÍFEROS
El equipo de Atos ha creado una solución
analítica de mantenimiento predictivo que
permite al cliente mejorar la fiabilidad de
equipamiento y reducir el mantenimiento y los
costes de recambios en equipamiento de alto
coste
Los datos se recogen desde 120 sensores que
analizan el rendimiento de la cabeza de
perforación en tiempo real, para observar
anomalías y predecir fallos potenciales.
19. | 12-05-2016 | Atos Codex19
¿Y todo esto, para qué? Casos de negocio
Ejemplo: mejorando la Experiencia de Cliente
QUÉ HEMOS HECHO PARA UN GRAN
OPERADOR MÓVIL
El sector de las Telecomunicaciones es uno de
los más ricos en datos, 90% en tiempo real.
Atos ha desarrollado una solución que usa analítica
en tiempo real para innovar en tres áreas:
▶ Nuevos ingresos, por microsegmentación en
tiempo real, basada de la experiencia y
comportamiento del consumidor.
▶ Mejora de la interacción con el cliente, al
entender mejor la “experiencia de usuario”
▶ Eficiencia de coste por la optimización de
red, adaptada a las demandas del cliente.
Impacto de Negocio:
Mejorar la generación y
protección de ingresos
20. | 12-05-2016 | Atos Codex20
¿Y todo esto, para qué? Casos de negocio
Ejemplo: mejorando la Experiencia de Cliente
21. | 12-05-2016 | Atos Codex21
¿Y todo esto, para qué? Casos de negocio
Ejemplo: mediante la Reinvención de los Negocios
QUÉ HACEMOS PARA LAS EMPRESAS
COMERCIALIZADORAS DE SERVICIOS
(ELECTRICIDAD, GAS, AGUA)
El negocio de estas empresas está sujeto a fuertes
presiones en márgenes, y necesita poder ofrecer
nuevos servicios a sus clientes.
Atos ha desarrollado una plataforma que usa
analítica de datos propios (contadores
inteligentes) y de terceros, y que permite:
▶ Ofrecer nuevos productos (como eficiencia
energética o domótica) para fidelizar al cliente.
▶ Colaborar con socios comerciales, para
nuevos servicios combinados en B2C y B2B.
Impacto de
Negocio:
Obtención de
ingresos
mediante
nuevos
servicios
22. | 12-05-2016 | Atos Codex22
¿Y todo esto, para qué? Casos de negocio
Ejemplo: mediante la Reinvención de los Negocios
Socios de negocio
Curva de consumo
horaria
▶ Fabricantes de
electrodomésticos
▶ Servicios de renovación técnica
▶ ONGs y asociaciones
Platform
Información
Domicilio
Socios de Negocio
Fijación de límite
de consumo y
cálculo de EcoPuntos
Isabel ha intentado muchas veces reducir su
factura eléctrica sin mucho éxito. Por lo que
se ha suscrito al servicio “Asistente Verde”,
que la ofrece sugerencias personalizadas a su
consumo real.
El objetivo individual de ahorro se fija cada
mes. Si no se excede, Isabel gana
“EcoPuntos”, que puede utilizar en productos
recomendados según su patrón de consumo.
Incluso puede donar sus puntos a ONGs o
programas para paliar la “Pobreza Energética”
23. | 12-05-2016 | Atos Codex23
¿Y todo esto, para qué? Casos de negocio
Ejemplo: mediante la Reinvención de los Negocios
24. | 12-05-2016 | Atos Codex
Las Pérdidas No Técnicas (PNT) son una causa creciente de
preocupación para las distribuidoras eléctricas.
Significan unas pérdidas de 3.700 M€/año en Europa
Atos ha creado una solución basada en tecnología Big Data
que utiliza algoritmos de aprendizaje-máquina para
detectar patrones asociados a PNT.
Las reglas de detección se mejoran de forma continua con
información de las inspecciones de campo, para mejorar su
efectividad predictiva. Además, se incluyen herramientas de
campo para la gestión de los procesos asociados a PNT
24
¿Y todo esto, para qué? Casos de negocio
Ejemplo: potenciando la Confianza y el Cumplimiento
La mejora en las predicciones reduce las
pérdidas no técnicas y mejora la eficiencia de
las inspecciones, creciendo del 5% al 40%
Impacto de Negocio:
Reducción de pérdidas
originadas por fraude y
otras causas BENEFICIO DE NEGOCIO
25. | 12-05-2016 | Atos Codex25
¿Y todo esto, para qué? Casos de negocio
Ejemplo: potenciando la Confianza y el Cumplimiento
26. | 12-05-2016 | Atos Codex26
¿Y todo esto, para qué? Casos de negocio
Ejemplo: potenciando la Confianza y el Cumplimiento
Execution of
analytic
processes
for NTL
detection
Configuration
of model for
NTL detection
Revision by
Atos experts
Field
inspections
by utility
Data capture
Optimization
External
Data
Utilities
Data
Unsupervised
Machine
Learning
Business
Heuristics
Supervised
Machine
Learning
Network
Balance
Analytical Toolbox
?
?
?
?
Customized
Analytical
Workflows
Descriptive
Analytics
•k-Nearest Neighbours
•Support Vector Machines
•Random Forest
•Neural Networks
•Clustering
•Consumption Patterns
•Heuristic Queries
•Increasing / decreasing factors
•Descriptive statistics
•Visual exploration
•Consumption balance
•Voltage balance
28. | 12-05-2016 | Atos Codex28
Riesgos y problemas del Big Data
No todo es de color de rosas…
Privacidad
Seguridad
“Prejuicio
algorítmico”
Correlación !=
Causalidad
Personal
especializado
Calidad
del dato
Complejidad
Modelos de
Gobierno
Predicción !=
Predeterminación
30. | 12-05-2016 | Atos Codex30
Yendo más allá: tendencias de futuro
Existen muchas líneas de trabajo para contar con nuevas capacidades
CONVERGENCIA
HPC-BIG DATA
ANALÍTICA
DISTRIBUIDA
ANALÍTICA “RÁPIDA”
(EN MEMORIA)
COMPUTACIÓN
COGNITIVA
ACCESO A DATOS
CON SOPORTE A
PRIVACIDAD
ENTORNOS
COLABORATIVOS
CIENCIA DATOS
GOBIERNO
BIG DATA
1 2 3 4 5 6 7
Visión unificada
de la
computación de
alta capacidad
permitiendo flujos
analíticos sin
fisuras que
aprovechan las
características de
cada mundo.
Combinación de
la Analítica y
los modelos de
Nube
distribuida
(“fog
computing”).
Proporciona
analítica
predictiva y
prescriptiva cerca
del sensor.
Analítica “en
Memoria” que
soporta
proceso en
tiempo real.
Tanto SAP
HANA como
soluciones de
código
abierto.
El campo más
activo del
Aprendizaje
Máquina y la
Inteligencia
Artificial, usando
técnicas como
Deep Learning y
Reinforced
Learning
Capas de acceso a
datos que aplican
de forma
transparente
restricciones
asociadas a la
privacidad en
aplicaciones que
acceden a
repositorios Big
Data
Combinación
de Redes
Sociales
Empresariales
con
herramientas
de Análisis de
Datos para
ciencia de datos
colaborativa
Mejores
métodos y
herramientas
para el
Gobierno de
Datos:
data lineage,
reproducibilidad
de análisis,
calidad del dato.