Ejecutar proyectos de Big Data nunca ha sido más sencillo. Con AWS, puede ejecutar Hadoop, Spark, Hive, Flink y marcos similares de forma más rápida y rentable. En este seminario web, aprenderá cómo mejorar el rendimiento del procesamiento de datos y reducir los costos, especialmente en comparación con un entorno local.

1. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
AWSWebinar Series Latinoamérica
Antonia Díaz Fuentealba
Solutions Architect @ AWS
Los beneficios de migrar tus trabajos de Big Data
a la nube de AWS

2. ¿Cómo interactuar durante el evento?
¿Tiene un proyecto y
necesita ayuda de
nuestro equipo
comercial?
Acceda al LIVE CHAT
con este QR code o con
el enlace enviado en el
chat del evento.
Preguntas y respuestas en
vivo durante todo el evento
¡Haga sus preguntas
directamente a los expertos
de AWS!
Haga clic en el signo "?"
y envíe sus preguntas.

3. El recurso más valioso
ya no es petróleo, sino
datos.*
*Copyright: The Economist, 2017, David Parkins

4. Explosión de data Explosión de usuarios Demanda por toma de
decisiones más rápido
con data en tiempo
real
Las nuevas realidades que enfrentan los clientes
.

5. Clientes quieren obtener más valor de sus datos
C O N M U C H O S
C O N S U M I D O R E S
C R E C I M I E N TO
E X P O N E N C I AL
D E S D E N U E V AS
F U E N TE S
C AD A V E Z M Á S
D I V E R S A
AN A L I Z A D A P O R
M U C H AS
AP L I C A C I O N E S

6. Instalación de hardware y software, configuración, patching,
backups
Problemas de performance y alta disponibilidad
Pronóstico de capacidad y escalamiento de los clusters para
cómputo y almacenamiento
Seguridad y compliance
Servicios analíticos auto-administrados son consumidores de
tiempo, complejos, y costosos

7. Por qué Big Data en AWS?
Fácil de construir Infraestructura
más segura
Exhaustiva y
abierta
Escalable y
costo efectivo
1 2 3 4

8. 1. La forma más fácil de construir data lakes y analytics
Data lake
S3
Reporting
Ad Hoc Query
Big Data Analytics
Data Warehousing
Analytics
Machine Learning
AWS Lake
Formation

9. 2. Más exahustiva y abierta
Data, visualización,
fidelización, y
machine learning
Analytics
Infraestructura
y administración
de Data lake
Dashboards Predictive
Analytics
Digital User
Engagement
Data
Data
Warehousing
Big Data
Processing
Interactive
Query
Operational
Analytics
Real-time
Analytics
Serverless
Data Processing
Infrastructure Data Catalog
& ETL
Security &
Management
Migration &
Streaming Services

10. 3. Infraestructura más segura: analytics
Seguridad
Amazon GuardDuty
AWS Shield
AWS WAF
Amazon Macie
VPC
Los clientes requieren múltiples niveles de seguridad, administración de identidad y acceso,
encripción y compliance para mantener su data lake seguro
Indentidad
AWS IAM
AWS SSO
Amazon Cloud Directory
AWS Directory Service
AWS Organizations
Encripción
AWS Certification Manager
AWS Key
Management Service
Encryption at rest
Encryption in transit
Bring your own keys,
HSM support
Compliance
AWS Artifact
Amazon Inspector
Amazon Cloud HSM
Amazon Cognito
AWS CloudTrail

11. 4. Infraestructura más escalable, costo efectiva y de alta
performance para analytics
Cinco tipos de
storage altamente
disponibles e
intelligent tiering
Más de 200 tipos de
instancias líderes en la
industria para cumplir
con las necesidades de
tus cargas de trabajo
Instancias On-
demand, Reserved, y
Spot para reducir
costos
Interfaces de red
con banda ancha
de 100 Gbps para
performance

12. Cómputo y almacenamiento crecen juntos
• Almacenamiento crece con la
capacidad de cómputo
• Requerimientos de cómputo
varían
Muy acoplado
Cómputo
Almacenamiento

13. Replicación incrementa el costo
3x
• Los datos deben replicarse varias
veces
• Típicamente todos los datos residen
en una misma ubicación

14. Recursos no utilizados o insuficientes
0
20
40
60
80
100
120
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Re-procesamiento
Peaks
semanales
Estado natural

15. Competición por los mismos recursos
Hadoop
Hive Spark

16. Limitaciones en implementación de rápidas nuevas versiones
• Transformación a gran escala: Map/Reduce, Hive, Pig, Spark
• Queries interactivas: Impala, Spark SQL, Presto
• Machine Learning: Spark ML, MxNet, Tensorflow
• Notebooks Interactivos: Jupyter, Zeppelin
• NoSQL: HBase
Con un cluster monolítico, pueden haber dependencias entre aplicaciones que impacten la posibilidad de
actualizar las versiones utilizadas. Al no poder actualizar las versiones, las organizaciones limitan su poder
de innovación.

17. Separación de recursos genera silos de datos
Hive Spark Team A

18. El valor de Apache Hadoop y Spark
basado en la nube con Amazon
EMR

19. Amazon EMR
• Servicio administrado para correr aplicaciones del ecosistema de
Hadoop como Spark, Hive, Hadoop, Presto, entre otras
• Capacidad de procesar masivas cantidades de datos
almacenados en Amazon S3 (EMRFS), HDFS, Amazon
DynamoDB, Amazon Redshift, Amazon Kinesis, Kafka, entre
otras fuentes de datos
• Usa clusters transitorios, autoescalamiento, Amazon Simple
Storage Service (Amazon S3), e instancias Spot para disminuir
costos
• Utiliza roles de AWS Identity and Access Management (IAM),
AWS Key Management Service (AWS KMS), encripción de datos
en reposo (almacenamiento) y en tránsito para mantener tus
datos seguros

20. Amazon EMR
Ejecuta fácilmente jobs de Spark, Hive, Presto, HBase, Flink, y otras aplicaciones
de big data en AWS
Mejor performance
a menor costo
Cargas de trabajo de Spark corren
2.4x faster comparado con Open
Source
Reducción de 50–80% en costos
con Intancias EC2 Spot y
Reserved
Cobro por segundo para
flexibilidad
Uso de
almacenamiento
en S3
Procesa datos en S3 de forma
segura con alta performance
usando EMRFS
Escala cómputo y almacenamiento
independente el uno del otro
Últimas
versiones
Actualizado con las últimas
versiones de frameworks open
source en 30 días
Soporte de proyectos open source
como Flink, Hudi
Totalmente administrado, sin
configuración de cluster ni
aprovisionamiento de
infraestructura
Auto-escala vertical y
Horizontal para cumplir con la
demanda
Fácil y escalable

21. Menores costos
Menor TCO
• Menos tiempo de
administración y soporte
de tu Hadoop cluster
• Sin costos previos —
compra de hardware e
instalación
• Ahorra en costos
operativos—espacio,
poder, enfriemiento para
data center
• Valor para el negocio:
agilidad, ventajas
competitivas, governance,
etc.
Costos de soporte Sin Suscripciones
Costos de soporte
On-premises EMR
Server Costs
Hardware—Server, Rack, Chassis,
PDUs, Tor Switches (+Maintenance)
Software—OS, Virtualization Licenses
(+Maintenance)
Network Costs
Network Hardware—LAN Switches,
Load Balancer Bandwidth costs
Software—Network Monitoring
IT Labor Costs
Server admin, virtualization admin,
storage admin, network admin,
support team
Extras
Project planning, advisors, legal,
contractors, managed services, training,
cost of capital

22. Separa almacenamiento y cómputo
Compute
External Metastore
Amazon RDS
AWS Glue
Data
Catalog
Amazon EMR
Amazon Athena
Amazon Redshift
Spectrum
Amazon S3
Storage

23. Aplicaciones Open Source en EMR

24. Recuperación ante desastres incorporada
Cluster 1 Cluster 2
Cluster 3 Cluster 4
Availability Zone B
Amazon S3
Availability Zone A

25. Pausa o Termina clusters
Amazon EMR Amazon EMR
Amazon S3 Amazon S3 Amazon S3

26. Separación lógica de jobs/applicationes
Rediseña clusters de monolíticos a clusters con
propósito:
• Creación de clústeres transitorios y / o persistentes
• Separación de clústeres por aplicación
• Separación de clústeres por versión de la aplicación
• Aislar clústeres específicos del departamento
Traditional Monolithic Cluster
Purpose-built Clusters
vs. Consideraciones de diseño según:
• ¿Cómo envías trabajos o construyes pipelines?
• Conservación de sus datos en S3
• Almacenar metadatos fuera del clúster
• ¿Cuánto tiempo dura el trabajo?
• Qué aplicaciones se necesitan

27. Auto-escala de Amazon EMR:
Reduce hasta 60% de costos
• Entorno completamente administrado para escalar clústeres
automáticamente
• No se requieren configuraciones excepto la capacidad mínima /
máxima
• Más puntos de datos y tiempo de reacción más rápido
• Puede ahorrar entre un 20% y un 60% de costos según el patrón
de carga de trabajo
Auto Scaling group
Amazon EMR

28. Auto-escala nodos con instancias Spot
Resultados:
50% less run-time (14hrs  7hrs)
25% less cost ($140  $105)
La paralelización con Spot puede reducir drásticamente el tiempo de obtención de
información y los costos.
Nodo
Auto Scaling group

29. Instance Node Fleet
• Aprovisionar a partir de una lista de tipos de instancias Spot y On-Demand
• Lanzar en la zona de disponibilidad más óptima según la capacidad / precio
Flotas de instancias para aprovisionamiento avanzado de Spot

30. Arquitectura para costo y escalabilidad

31. Comprensión de clústeres y nodos
• El componente central de Amazon EMR es el
clúster. Un clúster es una colección de
instancias de Amazon Elastic Compute Cloud
(Amazon EC2).
• Cada instancia del clúster se denomina nodo.
• Cada nodo tiene un rol dentro del clúster,
denominado tipo de nodo.
• Amazon EMR también instala diferentes
componentes de software en cada tipo de
nodo, lo que le otorga a cada nodo un rol en
una aplicación distribuida como Apache
Hadoop.

32. Master instance group
EMR cluster
Task instance group
Core instance group
HDFS HDFS
Core nodes pueden
añadirse o quitarse
Master Node siempre
corriendo
Cluster tolera fallas en
los nodos de tareas.
Tipos de nodos en EMR

33. Opciones de implementación de Amazon EMR
AWS ofrece más opciones de instancia que cualquier otro
proveedor de nube. Elija la instancia que ofrezca el mejor
rendimiento o costo para su carga de trabajo, incluido Graviton2.
Aproveche las instancias puntuales, reservadas y bajo demanda
para optimizar los costos.
Configure, implemente, administre y escale EMR en sus entornos
locales, tal como lo haría en la nube. AWS Outposts lleva los
servicios, la infraestructura y los modelos operativos de AWS a
prácticamente cualquier centro de datos, espacio de coubicación
o instalación local.
Utilice EMR para automatizar el aprovisionamiento, la
administración y el escalado de trabajos de Apache Spark en
Amazon Elastic Kubernetes Service (EKS) y aproveche el tiempo
de ejecución de EMR optimizado.
Amazon EMR on Amazon EC2
Amazon EMR on Amazon EKS
Amazon EMR on AWS Outposts

34. File Systems
HDFS
Amazon DynamoDB
Amazon Elastic Block
Store
Amazon S3
Amazon EMR Amazon EMR
EMRFS

35. Optimiza data en reposo
• Particione sus datos para mejorar el rendimiento de lectura
• Leer solo los archivos que necesita la consulta
• Reducir la cantidad de datos escaneados
• Optimizar el tamaño de los archivos
• Evite archivos que sean demasiado pequeños (generalmente, menos de 128 MB)
• Menos archivos, que coinciden estrechamente con el tamaño del bloque
• Menos llamadas a Amazon S3 (listado más rápido)
• Menos solicitudes de red / HDFS
• Comprima el conjunto de datos para minimizar el ancho de banda de Amazon S3 a Amazon EC2
• Asegúrese de utilizar compresión divisible o de que cada archivo tenga el tamaño óptimo para
la paralelización en su clúster
• Los formatos de archivo en columnas como Parquet pueden brindar un mayor rendimiento en las
lecturas

36. Seguridad – Encripción
Supported
Applications
• Spark
• Tez
• MapReduce
• Presto
• HBase
• Hive
• Pig
At-rest data encryption
 For cluster nodes (Amazon EC2 instance volumes)
 Open-source HDFS or LUKS encryption
HDFS (Block-
transfer and
RPC)
Local volumes
(instance
store/EBS)
EMR cluster
At-rest data encryption
 For EMRFS on S3
 Server-side or client-side encryption
(SSE-S3, SSE-KMS, CSE-KMS, or CSE-Custom)
In-transit data encryption
 For EMRFS traffic between Amazon S3 and
cluster nodes (enabled automatically)
 TLS encryption
In-transit data encryption
 For distributed applications
 Open-source encryption functionality

37. Seguridad – Administración de privilegios
1. Identity and Access Management (IAM)
1. Políticas basadas en identidad de IAM
2. Roles de IAM
3. Roles de IAM para requests de EMRFS a Amazon S3
2. Autenticación con Kerberos
3. Secure Socket Shell (SSH)

38. Amazon EMR Notebooks
A managed analytics environment based on Jupyter notebooks
Amazon EMR clusters
User Amazon Simpler
Storage Service
(Amazon S3) bucket
AWS Management
Console for EMR
Amazon EMR–managed
notebook based on Jupyter
notebook
Users
Customer
virtual private
cloud (VPC)
Amazon EMR
VPC

39. Demostration

41. ¡Gracias!
Manténgase informado
sobre las próximas
sesiones
¡Accede a la
programación del
webinar con este código
QR y regístrese!
QR CODE
Cuéntenos qué opina
del seminario web
Haga clic en “salir” para
responder a una
encuesta de
satisfacción rápida