El documento describe el nuevo paradigma de Data Mesh, el cual desafía la centralización de datos. Data Mesh propone descomponer los datos siguiendo dominios de negocio y tratarlos como productos descentralizados y autogobernados. Esto reduce la fricción y aumenta la velocidad al alinear mejor los datos con las necesidades del negocio. Los pilares de Data Mesh incluyen la descomposición de datos en dominios, los datos como productos, infraestructura de autoservicio y la construcción de un ecosistema de datos.

1. Data Mesh
Carlos Fuentes
© 2020 ThoughtWorks
Un nuevo paradigma que desafía la
centralización de los datos

2. Proyectos de Big Data y IA
● El 77% de las empresas informa que la
"adopción empresarial" de las iniciativas
de Big Data e IA sigue representando un
gran desafío para las empresas.
● Gartner dice que el 80% de la información
analítica no generará resultados
comerciales hasta 2022
Algunas estadísticas
© 2020 ThoughtWorks
33%
Exitoso
example
of graphic
77%
Fallido
Fuente: *http://newvantage.com/wp-content/uploads/2018/12/Big-Data-Executive-Survey-2019-Findings.pdf
NewVantage Survey: Julio 2019*

3. Los dos mundos separados
¿Donde viven los datos?
© 2020 ThoughtWorks
Datos
Operacionales
Datos
Analíticos
ETL

4. Data Warehouse
© 2020 ThoughtWorks
Fuente: https://martinfowler.com/bliki/DataLake.html
Con el data warehouse, la
información entrante es limpieada
y organizada en un solo esquema
consistente antes de subirlo al
warehouse...
… el análisis es realizado
directamente sobre información
curada

5. Data Lake
© 2020 ThoughtWorks
Azure Data Factory
Fuente: https://martinfowler.com/bliki/DataLake.html
Con el data warehouse, la
información entrante mantiene
su forma original (data cruda)
… selecionamos y organizamos
la información para cada
necesidad

6. Data Lake en la nube
© 2020 ThoughtWorks Fuente:
https://cloud.google.com/solutions/build-a-data-lake-on-gcp?hl=es

7. Data Lake en la nube
© 2020 ThoughtWorks Fuente:
https://www.trifacta.com/blog/data-preparation-in-aws-data-lake/

8. Arquitectura centralizada (Monolito)
https://martinfowler.com/articles/data-monolith-to-mesh.html
Fuentes Consumidores
Plataforma de Big Data
Centralizada

9. Silos especializados
Ingenierios de Datos / ML
Equipo especializado
Descomposición de la arquitectura alrededor de las etapas del
pipeline
https://martinfowler.com/articles/data-monolith-to-mesh.html
Origen
Equipo multidisciplinarios
Guiados por dominios
Destino
Equipo multidisciplinarios
Guiados por dominios

10. Fuentes Consumidores
Desconexión
Referencia: Zhamak Dehghani 2020

11. 3 grandes problemas
Al momento de escalar?
Referencia: Zhamak Dehghani 2020

12. El nuevo
paradigma...
© 2020 ThoughtWorks

13. Diseño guiado por Dominios (DDD)
● Lenguaje ubicuo
● Contexto limitado
Alinear el diseño con el dominio, las necesidades y la estrategia
de la empresa.
© 2020 ThoughtWorks
Fuente: https://learning.oreilly.com/library/view/hands-on-reactive-programming/9781787284951/f407ac3d-d741-4384-a206-c91613722c09.xhtml

14. https://martinfowler.com/articles/data-monolith-to-mesh.html
Podcasts
Audio
Interacciones del usuario
Sesiones por usuario
Descomponer datos en dominios
Dominios compartidos de origen, consumidor y recién creados

15. Descomponer datos en dominios
Fuente: https://martinfowler.com/articles/data-monolith-to-mesh.html

16. Datos como producto
Datos del
dominio como
producto
● Detectable
● Direccionable
● Confiable
● Auto Descriptivo
● Interoperabilidad
● Seguridad
Referencia: Zhamak Dehghani 2020

17. Infraestructura de datos de autoservicio
Fuente: https://martinfowler.com/articles/data-monolith-to-mesh.html

18. Construir un ecosistema
Construir un ecosistema
Fuente: https://martinfowler.com/articles/data-monolith-to-mesh.html

19. Alinear los datos a los
dominios de negocio
Descentralización
orientada en
dominios
Democratizado,
descubrible y
autoservicio
Reduce la fricción e
incrementa la
velocidad
Interoperabilidad y
confiabilidad
Datos como
producto
Infraestructura
de datos de
autoservicio
Gobernanza de
ecosistemas
Pilares de Data Mesh
© 2020 ThoughtWorks

20. Ejemplo
© 2020 ThoughtWorks

21. INSURANCE CLAIMS DOMAIN
CALL CENTER
CLAIMS SYSTEM
CALL
CENTER
CLAIMS
DATA
PRODUCT
CDC INPUT
DATA PORT
CALL CENTER
CLAIMS
DAILY SNAPSHOTS
ONLINE
CLAIMS SYSTEM
ONLINE
CLAIMS
DATA
PRODUCT
EVENTS INPUT
DATA PORT
ONLINE
CLAIMS
INFINIT EVENTS
LOG
ONLINE
CLAIMS
DAILY SNAPSHOTS
CLAIMS
DATA
PRODUCT
INPUT
DATA PORT
CLAIMS
DAILY SNAPSHOTS
CLAIMS
LIVE EVENTS
Referencia: Zhamak Dehghani 2020

22. MEMBERS DOMAIN
MEMBERS
DATA
PRODUCT
MEMBERS
DAILY SNAPSHOTS
CLAIMS
DATA
PRODUCT
INPUT
DATA PORT
CLAIMS
DAILY SNAPSHOTS
CLAIMS
LIVE EVENTS
MEMBERS ASSISTANCE DOMAIN
MEMBERS
ASSISTANCE
DATA
PRODUCT
INPUT
DATA PORT
MEMBERS
REQUIRING
ASSISTANCE
DAILY SNAPSHOTS
INSURANCE CLAIMS DOMAIN
Referencia: Zhamak Dehghani 2020

23. Call Center
Online Claims
Claims
Member Assistance
Members
© 2020 ThoughtWorks

24. Zalando empresa alemana es el minorista de
moda en línea más grande de Europa que
comercializa más de 100.000 artículos y 1.300
marcas.

25. https://github.com/carlosfuentesp/data-mesh-demo-gcp
https://github.com/carlosfuentesp/TerraformDataMesh

26. 26
Architectura en GCP

27. 27
Para recordar...
Propiedad descentralizada y gobierno federado
Dominio como preocupación de
primera clase
DE HACIA
Propiedad y gobernanza centralizadas
Monolito Distribuido
Pipeline como preocupación de
primera clase
Datos como subproducto
Datos como producto
Referencia: Zhamak Dehghani 2020

28. Referencia: Zhamak Dehghani 2020
Convergencia de los dos mundos
Datos
Operacionales
Datos
Analíticos

29. https://www.infoq.com/articles/architecture-trends-2020/
“Veo que la pregunta de la industria sobre qué es Data Mesh, está
cambiando a Cómo hacer Data Mesh en el nuevo año y, por
supuesto, cómo hacer Data Mesh correctamente en los años
siguientes a medida que crece la adopción”.
Referencia: Zhamak Dehghani 2020

30. Carlos Fuentes
@educharlief
Gracias
© 2020 ThoughtWorks