El documento describe los beneficios de implementar data lakes y data warehouses modernos en AWS. Explica que las organizaciones que generan valor a partir de sus datos tienen mayor crecimiento. Define un data lake y sus características clave como el almacenamiento y cómputo desacoplado. Describe cómo AWS ofrece una variedad de servicios para construir data lakes escalables, realizar análisis interactivos y machine learning sobre grandes volúmenes de datos.

1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Construyendo y governando Data Lakes y
Data Warehouses modernos en AWS
Alejandro Flores
Arquitecto de Soluciones
AWS Mexico
A D B 2 0 1

2. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Muy Importante: Generar valor a partir de los datos
Las organizaciones que generen valor
exitosamente a partir de sus datos
superarán a las demás. De acuerdo a la
encuesta de Aberdeen, las organizaciones
que implementaron un data lake superaron
a otras compañías similares en un 9% de
crecimiento orgánico en ganancias*
24%
15%
Líderes Seguidores
Crecimiento orgánico en
ganancias
*Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, SVP Analytics and Business Intelligence

3. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Los datos están cambiando -> Los analíticos se están
adaptando
Capture y almacene
nuevos datos en
escalas de PB-EB
Realice nuevos tipos de
análisis, a bajo costo
• Machine Learning
• Procesamiento de Big Data
• Análisis en Tiempo Real
• Búsquedas Full-text
Nuevos tipos
de analíticos

4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Definición de un data lake
Un data lake es una arquitectura con un repositorio
de almacenamiento centralizado, virtualmente
ilimitado, capaz de categorizar, procesar, analizar y
poder consumir sets de datos de manera
heterogénea.
Atributos Clave de un data lake:
• Cómputo y almacenamiento desacoplado.
• Ingesta y transformación rápida.
• Seguridad en ambientes multitenant
• Query in place
• Schema on read

5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Almacenamiento en exabytes de datos
Datos staging y datos de consumo.
Carga, Transformación y Catalogación simplificada
Acceso de información a traves de diferentes
herramientas
Innovación a través de diferentes formatos.
AWS
Snowball
AWS
Snowmobile
Amazon
Kinesis
Data Firehose
Amazon Kinesis
Data Streams
Amazon S3
Amazon
Redshift
Amazon
EMR
Amazon
Athena
Amazon
Kinesis Amazon
Elasticsearch
Service
Los data lakes permiten escalar eficientemente y a un bajo
costo
Amazon
Kinesis
Video Streams
AI Services
Amazon
QuickSight

6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
¿Cómo funciona un data lake en AWS?
S3
IAM AWS KMS
OLTP
ERP
CRM
LOB
Devices
Web
Sensors
Social
Kinesis
Construcción de DL’s rápidos
• Identificación, crawl y catalogación de fuentes.
• Ingesta y limpieza de datos.
• Transformación de datos a formatos
optimizados.
Seguridad Simplificada
• Encripción
• Definición de políticas de acceso
• Implementación de auditoría
Habilita análisis self-service y combinados
• Analistas interactúan con toda la información
disponible para análisis desde un único catálogo
de datos.
• Flexibilidad de multiples herramientas de análisis
sobre los mismos datos.
Athena
Amazon
Redshift
AI Services
Amazon
EMR
Amazon
QuickSight
Data
Catalog
Amazon S3

7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Alto Performance
¿Porqué Amazon S3 para el data lake?
SeguroDurable
Disponible
Simple
Escalable y Costeable
Flexible

8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Kinesis—Tiempo Real
Almacena, procesa y analiza videos y datos en tiempo real
Captura, procesa y
almacena streams de
video para análisis
Carga streams de
datos en almacenes
de datos dentro de
AWS
Análisis de streams de
datos usando SQL
Construcción de
aplicación a la medida
para análisis de
streams
Kinesis Video Streams Kinesis Data Streams Kinesis Data Firehose Kinesis Data Analytics
SQL

9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Athena—Análisis Interactivo
Servicio de análisis interactivo de datos en S3 usando SQL
Cero instalación y administración de infraestructura, cero carga de datos
Soporta multiple formatos y definición de esquema bajo demanda.
$
SQL al instante Pago por query Abierto Fácil

10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
La preparación de los datos corresponde al 80% del
trabajo en un data lake
Construcción de sets de entrenamiento
Limpieza y Organización de datos
Recolección de sets de datos
Mining de datos
Redefinición de algoritmos
Otros

11. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
AWS Glue—Catalogación y ETL’s Serverless
Data Catalog
ETL Job
authoring
Descubre datos
e infiere el esquema
Genera código ETL
personalizable en Spark
y Python
Automáticamente descubre datos y descubre
esquemas
Datos disponibles para ETL’s
Genera código automáticamente y que puede ser
personalizado
Calendariza y ejecuta ETL’s
Serverless

12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
AWS Lake Formation
Construye, protege y administra Data Lakes en días.
Construcción de DL’s en
días y no en meses
Construye y despliega un data
lake con simples clicks
Políticas de seguridad
entre diferentes
servicios
Seguridad, gobierno y auditoria de
usuarios y aplicaciones de manera
centralizada
Múltiples estrategias de
análisis
Incrementa la productividad de
usuarios finales y científicos de
datos al permitirles el
descubrimiento y acceso seguro a
los datos desde un catálogo
centralizado

13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Tradicionalmente, los análisis eran de la siguiente manera:
OLTP ERP CRM LOB
Data warehouse
Business intelligence • Datos relacionales
• Escalas de TBs–PBs
• Esquema definido previo a la carga de datos
• Reportes operacionales y a la medida
• Alto capex + $10K–$50K/TB/año inicial

14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Los data lakes extienden el enfoque tradicional
Data warehouse
Business intelligence
OLTP ERP CRM LOB
• Datos relacionales y no relacionales
• Escalas de TBs–EBs
• Diversos motores de análisis
• Análisis y Almacenamiento a bajo costo
Dispositivos Web Sensores Social
Data lake
Procesamiento de Big Data,
tiempo real, machine learning

15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Data lake en AWS
Análisis
• Mayor durabilidad y disponibilidad a escalas de EB’s
• Mejores capacidades de seguridad, cumplimiento y
auditoría
• Control de acceso granular a nivel de objeto
• Mayor desempeño a través de la extracción de
subconjuntos de datos
• Mayores opciones para mover datos a la nube
• 2x integraciones con partners
• Mayor capacidad de análisis de datos con el
portafolio de servicios más amplio hasta el momento
Machine
learning
Movimiento deMovimiento de
Data Lake
en AWS
datos en
tiempo real
datos locales

16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Portafolio de servicios para data lakes, Análisis y IoT
Data lake
en AWS
Almacenamiento | Archiving | Catálogo de Datos
Conecte sus dispositivos a AWS
Streams de Datos en Tiempo Real
Streams de Video en Tiempo Real
Mov. de datos en tiempo real
Enlaces de red dedicados
Dispositivos de seguridad
Contenedor para Transportación de Datos
Migración de Bases de Datos
Mov. de datos DC’s locales
Análisis interactivos
Hadoop & Spark
Data Warehousing
Búsquedas Full-text
Análisis en Tiempo Real
Dashboards & Vistas
Análisis
Servicio Administrado de ML
Imágenes de Deep Learning
Reconocimiento de Video e Imágenes
Interfaces Conversacionales
Video Cámara para Deep-Learning
Procesamiento de Lenguaje Natural
Traducción de Lenguaje
Reconocimiento de Voz
Voz a Texto
Machine learning

17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Portafolio de servicios para data lakes, Análisis y IoT
Amazon SageMaker
AWS Deep Learning AMI
Amazon Rekognition
Amazon Lex
AWS DeepLens
Amazon Comprehend
Amazon Translate
Amazon Transcribe
Amazon Polly
Amazon Athena
Amazon EMR
Amazon Redshift
Amazon Elasticsearch Service
Amazon Kinesis
Amazon QuickSight
AWS Direct Connect
AWS Snowball
AWS Snowmobile
AWS Database Migration Service (AWS DMS)
AWS IoT Core
Amazon Kinesis Data Firehose
Amazon Kinesis Data Streams
Amazon Kinesis Video Streams
Data lake
en AWS
Almacenamiento | Archiving | Catálogo de Datos
AnálisisMachine learning
Mov. de datosMov. de datos en tiempo realDC’s locales

18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
¿Qué significa la modernización de data warehouses?
Fácil de
usar
Extensión del
data lake
Tareas administrativas y
de mantenimiento
simples.
Análisis de datos
directamente en el data
lake en diferentes
formatos.
Cualquier escala de
datos, cargas y
usuarios
Escalación dinámica para
garantizar el desempeño
uniforma ante demanda
impredecible o crecimiento de
datos.
Rapidéz en
generación de
insights
Desempeño consistente
ante crecimiento
concurrente de consultas
y/o usuarios

19. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Redshift
Rápido
Permite el análisis rápido de
cualquier tipo de carga y de
cualquier tipo de caso de
uso.
Escalamiento
Ilimitado
Extiende el
data lake
1/10th
de costo
Dinámicamente escala para
garantizar el performance
aún ante situaciones
impredecibles de demanda
y volúmenes de datos
Análisis de datos en el data
lake de S3, en cualquier
formato y en combinación
con datos locales del
Datawarehouse.
Comience con un costo de
$0.25 la hora, ahorre costos y
tiempo con la simplicidad de
las tareas de administración y
mantenimiento, eliminando
el impacto al negocio debido
a downtimes.
Rápido, simple y costo eficiente
datawarehouse que puede extender los queries hacia
el data lake
Análisis en diferentes formatos
Parquet, ORC, y JSON, usando SQL

20. S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

22. S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Gracias!
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Alejandro Flores
falej@amazon.com