Josep Taruella, Graph Everywhere

1. Grafos para Optimización de las Operaciones
de los Datos y los Activos IT
OPERATIONS & DATA GRAPH
Josep Tarruella
josep@grapheverywhere.com
+34 677 648 994

2. AGENDA
Quienes somos
Operations & Data Graph
Ejemplo: Data Vault

3. QUIENES SOMOS
SOLUCIONES
3
SOPORTE LOCAL
V
TRAININGS
E
ACELERAR TIME-TO-MARKET
l
+90%
Implementaciones Neo4j
Enterprise en España
+8
años cómo partner de
referencia de Neo4j
# Premier Partner

4. AGENDA
Quienes somos
Operations & Data Graph
Ejemplo: Data Vault

5. Motor recomendación
Fraude
PBC
Customer 360
Patient Journey
Identity Resolution
Machine Learning
Mejora Operación
Negocio
Mejora Operación
IT
Semantic Search
Knowledge Graph
+ Digital
+ Data Driven
+ Complejo

6. Data & IT
Assets
Data & IT
Assets
Operation
OPERATIONS & DATA GRAPH
Soluciones basadas en grafos para
dar soporte a las áreas de tecnología
y orientadas al análisis y
optimización de las operaciones de
los datos y de los activos IT de la
organización

7. ÁREA DE OPERACIONES DE PLATAFORMAS
Planificación Batch
Objetivo: encontrar y optimizar los caminos
críticos. Análisis diaria de +200.000 procesos
batch.
CMDB y Gobierno IT
Objetivo: control de los sistemas y aplicaciones a
nivel de detalle, componentes y sus dependencias
Optimización Consumos
Plataformas Host
Objetivo: evitar picos de consumo. Análisis de
consumo de las aplicaciones y optimización.

8. ÁREA DE DESARROLLO / DevOps
Reducir Downtime de servicios
Objetivo: reducir al mínimo la indisponibilidad
de servicios core. Identificar los paquetes
mínimos de software que debo desplegar en cada
servidor.
“Extra ball”: Menos máquina requerida
Análisis de dependencia de componentes
Objetivo: Capacidad de análisis y previsión de
impacto/simulación para el despliegue de código
nuevo de nuevas aplicaciones o
cambios/evolutivos.
table
progra
m
call
view
jcl
psb
access
type: [query, change]
access
import execute
call
execute
call
id: <tbd>
condition:
<tbd>
copyboo
k
uses
Árbol
de
dependencias
de
un
solo
componente

9. ÁREA DE DATA
Data Governance Operacional
Objetivo: rastrear el flujo de datos a lo largo del
tiempo, linaje. Relación con KPIs de Data Quality y
Glosarios de Negocio
BI Governance Operacional
Objetivo: analizar el uso y la operación de los datos en
el mundo Business Intelligence. Realizar análisis de que
datos se explotan, quienes los explotan, que reports se
parecen, que reports se ven afectados si hay cambios
en tablas...
╒═══════╤═══════╤═══════════╕
│"rep1" │"rep2" │"similitud"│
╞═══════╪═══════╪═══════════╡
│6141556│6141537│1.0 │
├───────┼───────┼───────────┤
│6736358│6736354│1.0 │
├───────┼───────┼───────────┤
│8257518│8116407│1.0 │
└───────┴───────┴───────────┘
Modelado de datos y Operación
Objetivo: Permitir la gestión de modelos extensos y
complejos (miles de tablas) y la operación y
seguimiento de su consumo de una manera global

10. Mallas de
ejecución
API Definition &
dependencies
GIT
CMDB
Deploy
aplicaciones
Modelos
datos
Data
Catalog
Business
Glossary
Data
Products
Uso de los datos
Logs de ejecución
Seguridad y
Control de
acceso
Accesos usuarios
Uso de recursos
Uso de plataformas
Catálogo/Definición Operación
Data & IT Assets

11. AGENDA
Quienes somos
Operations & Data Graph
Ejemplo: Data Vault

12. Data Vault
Data Lake

13. Data Vault
Pros:
• Flexibiliza la evolución del negocio. Modelo
más flexible
• Tracking de orígenes de datos e histórico
• Mayor Independencia de cargas. Consistencia
de los datos
• Una especie de “ontología” del negocio
Limitaciones:
• Complejidad de gestionar modelo
• Cientos/miles de tablas todas relacionadas
• Consultas más complejas que en 3FN
• Imposibilidad de análisis impacto en diferentes
aplicaciones
“Extra ball”:
• Tracking operativo cargas ETL
• Linaje de datos

14. Grafo: Modelo flexible

15. Grafo: Modelo flexible
• Añadimos info ETL

16. Grafo: Modelo flexible
• Añadimos info ETL
• Modelos origen

17. Grafo: Modelo flexible
• Añadimos info ETL
• Modelos origen
• Operación malla
procesos de datos

18. Arquitectura Solución
Data Lake
Data Analyst
DataMart
DataMart
Data Scientist
Datos

19. Arquitectura Solución
Data Lake
Data Analyst
DataMart
DataMart
Data Scientist
Modelado Datos
Metadatos

20. Arquitectura Solución
Data Lake
Data Analyst
DataMart
DataMart
Data Scientist
Modelado Datos
Metadatos
Metadatos ETL
Operación ETL
Inferencia conocimiento

21. Arquitectura Solución
Data Lake
Data Analyst
DataMart
DataMart
Data Scientist
Modelado Datos
Metadatos
Metadatos ETL
Operación ETL
Inferencia conocimiento
Uso de los datos

22. Casos de uso del grafo
Diseño Modelos:
• Herramienta visual de modelado
• Exploración completa de todo el modelo, sin
limitaciones
• Búsqueda, navegación, …
• Modelado con la granularidad completa.
Tabla/Campo/tipo datos
• Acceso de todos los usuarios. Entorno
compartido al repositorio del modelo
• Capacidades analíticas:
• Dependencias entre objetos. Top Down &
Bottom Up
• Análisis de impacto
• Detección activos más valiosos, …

23. Casos de uso del grafo
EndPoints consultas aplicaciones:
• Shortest Path: Para crear SQL dinámicamente
que respondan al requisito
• Detección de consultas duplicadas. Cosine
Similarity
• Queries SQL automáticas con LLM
• Búsquedas en el Modelo
Análisis datos operacionales:
• Análisis de mallas de ejecución
• Creación de escenarios y simulación
• Linaje y dependencia de datos, procesos,
sistemas, …
• Evolución temporal
• Detección de caminos críticos
• Detección cuellos de botella

24. Python
GDS
Depliegue e integración
Mantenimiento
Modelo & Análisis
Modelos analíticos
Microservicios
SQL Gen Búsqueda
Gen AI

25. Connecting Data
Josep Tarruella
josep@grapheverywhere.com
+34 677 648 994