Servicios de bases de datos en AWS

Servicios de Base de Datos en AWS
Mayo, 2017

© 2017, Amazon Web Services
Que esperar de esta sesión
• Aprender la estrategia y visión general de nuestros servicios clave
• Conocer nuestra arquitectura y los clientes clave por servicio
• Entender cuándo utilizar qué servicios para sus aplicaciones

Estrategia
• Comenzar desde el cliente y retroceder.
• Ofrecer servicios administrados.
• Aprovechar la arquitectura de la nube.
• Soportar la migración de aplicaciones y datos de/hacia sus centros de
datos locales
• Múltiples servicios, cada uno optimizado para diferentes casos de uso.

Portafolio de Productos
Traditional Apps
Relational Databases
NoSQL & In-MemoryBig
Data
RDS
Aurora
Database
Migration
Service
Bases de datos Relacionales
DynamoDB
ElastiCache
NoSQL y En memoria
Amazon
Redshift
EMR
Data Pipeline
Athena
Big Data
QuickSight
Elasticsearch
Amazon ML
Analítica

Uso de servicios de base de datos
• Amazon Aurora es el servicio de más rápido crecimiento en la historia
de AWS
• Se han migrado más de 14,000 bases de datos utilizando AWS
Database Migration Service
• En el “Prime Day” DynamoDB sirvió a más de 56,000 millones de
solicitudes adicionales en todo el mundo en comparación con el mismo
día de la semana anterior.

Clientes de Bases de Datos en AWS

Bases de datos
relacionales
Amazon RDS
Amazon
Aurora
Database
Migration
Service

• Soporte de varios motores: Aurora, MySQL, MariaDB,
PostgreSQL, Oracle, SQL Server
• Aprovisionamiento automatizado, corrección, escalado, copia
de seguridad/restauración, recuperación en caso de fallo
• Uso con almacenamiento GP2 o IOPS provisionados
• Alta disponibilidad con RDS Multi-AZ
– SLA de 99,95% para implementaciones de Multi-AZ
Amazon RDS
Amazon Aurora

Puntos claves: Las Bases de Datos
Relacionales son complejas
• Nuestra experiencia con Amazon.com nos enseñó que las bases de
datos relacionales pueden ser complicadas de gestionar y operar
con alta disponibilidad
• ¡Las bases de datos relacionales mal administradas son una causa
principal de caídas en sistemas y por tanto de pérdida de sueño en
el mundo de la tecnología!

Hemos hecho las cosas más baratas, más fáciles y
mejores
• Menor TCO porque tenemos mejor control
• Obtenga más apalancamiento de sus equipos
• Concéntrese en las cosas que lo diferencian
• Alta disponibilidad y replicación en múltiples centros de datos incorporada.
• Disponible en todos los motores, incluidas las ediciones básicas/estándar, no sólo para las
ediciones empresariales
• Ahora incluso un pequeño “startup” puede aprovechar múltiples centros de datos para
diseñar aplicaciones altamente disponibles con más del 99,95% de disponibilidad.

Desarrollos Multi-AZ Altamente Disponibles
• Tolerancia a fallos de nivel empresarial
Solución para producción
Bases de datos
Recuperación de fallo automático
Replicación síncrona
Económico y habilitado con un solo clic

Clientes de Amazon RDS

Airbnb – Amazon RDS para MySQL
• Airbnb migró su base de datos principal de MySQL a Amazon RDS con sólo 15 minutos de
tiempo de inactividad
• RDS simplifica la mayor parte de las tareas administrativas relacionadas con las bases de
datos para que los ingenieros puedan dedicar más tiempo otras funciones
• Utiliza la replicación maestro-esclavo asíncrona para mejorar el rendimiento del sitio web
lanzado a través de la consola RDS o una llamada de API
• Aprovecha la Multi-AZ para la alta disponibilidad

Reinventando las Bases de Datos Relacionales

Preguntas claves
• ¿Qué pasaría si partiéramos de una hoja de papel limpia con la única limitación de que la
base de datos fuera una base de datos relacional?
• ¿Podríamos ofrecer un rendimiento mucho mejor aprovechando la escala masiva de
nuestra nube?
• ¿Podemos darle una base de datos con durabilidad diseñada indistinguible del 100% y la
disponibilidad del 99.99%?
• ... ¿Y podríamos ser mejores y más baratos que las bases de datos comerciales de 30 años
de antigüedad en uso hoy en día?

Si, si podemos, Respuesta = Amazon Aurora
• Un nuevo motor de base de datos relacional, construido desde cero
para aprovechar AWS
• Para todas las nuevas aplicaciones que requieren SQL, recomendamos
Amazon Aurora
• Rendimiento comercial y disponibilidad a precios de código abierto
• Conserva la compatibilidad con MySQL 5.6

Amazon RDS para Aurora
• MySQL compatible con hasta 5 veces mejor rendimiento en el
mismo hardware: 100,000 escrituras/seg. y 500,000 lecturas/seg.
• Escalable hasta 64 TB en una sola base de datos, hasta 15
réplicas de lectura
• Capa de almacenamiento SSD de alta disponibilidad, duradera y
tolerante a fallos: 6 veces replicada en 3 Zonas de disponibilidad
• Cifrado transparente para datos en reposo utilizando AWS KMS
• Procedimientos almacenados en Amazon Aurora pueden invocar
funciones AWS Lambda

Clientes de Amazon Aurora
Servicio con el
crecimiento más rápido
en la historia de AWS

Caso de uso: Analítica y generación de informes casi en tiempo real
Master
Réplica
de
lectura
Volumen de almacenamiento
distribuido compartido
DNS solo lectura
Un cliente de la industria de viajes migró a Aurora la base de
datos de su aplicación principal de informes, a la que acceden
~1,000 usuarios internos.
• Las réplicas se pueden crear, eliminar y escalar en
cuestión de minutos en función de la carga.
• Las consultas de sólo lectura equilibran la carga en la
flotilla de réplicas a través de un DNS. No se necesita
ninguna configuración de aplicación cuando se agregan o
eliminan réplicas.
• El bajo retraso de replicación permite extraer datos
actualizados inmediatamente después de cargarlos.
• Ganancias significativas de rendimiento para las consultas
básicas de análisis - algunas de las consultas que se
ejecutan en 1/100 del tiempo original.
► Hasta Up to 15 réplicas de lectura
► Bajo retraso de replicación – típicamente < 10ms
► “end-point” de lectura con balanceador de
cargas
Réplica
de
lectura
Réplica
de
lectura

Amazon Aurora es ahora compatible con
PostgreSQL
• Compatibilidad con PostgreSQL 9.6 con soporte para PostGIS
• Todas las características que espera de Amazon Aurora incluyendo 15
réplicas de lectura con <10ms de retraso, almacenamiento compartido,
recuperación en caso de errores sin pérdida de datos, 6 veces replicada
en 3 Zonas de disponibilidad, encriptación con AWS KMS
• Disponible ahora en vista previa

Simplifique el monitoreo desde la
consola de administración de AWS
 Carga de la base de datos: identifica
los cuellos de botella de la base de
datos
 Fácil
 Poderoso
 Identificala fuente del cuello de
botella
 “Top SQL”
 Periodo de tiempo ajustable
 Hora, día, semana y más
Max CPU
Información de rendimiento para Amazon RDS

AWS Database Migration Service
• Servicio totalmente administrado para la migración desde el centro
de datos local hasta la nube de AWS con un tiempo de inactividad
mínimo
• Migra datos desde y hacia todos los motores comerciales y de
código abierto más utilizados
• Herramienta de conversión de esquemas que convierte esquemas
de base de datos, procedimientos almacenados y código de
aplicación a un formato de destino diferente.
• Soporta reproducción homogénea y heterogénea de datos
• Una base de datos de terabytes puede ser migrada por tan solo
unos $3

Capacidades de conversión de bases de datos en
SCT
Base de Datos Origen Base de Datos Destino
Microsoft SQL Server  Amazon Aurora, MySQL, PostgreSQL
MySQL  PostgreSQL
Oracle  Amazon Aurora, MySQL, PostgreSQL
Oracle Data Warehouse  Amazon Redshift
PostgreSQL  Amazon Aurora, MySQL
Teradata, Netezza, Greenplum  Amazon Redshift

Clientes de Database Migration Service en AWS

Migración Heterogénea
• Migró de Oracle a PostgreSQL RDS
• Utilizó la herramienta ”AWS Schema Conversion Tool” para
convertir su esquema de base de datos
• Utilizó la replicación en curso (CDC) para mantener las bases
de datos sincronizadas hasta que llegaron a la ventana de
corte
• Beneficios:
• Mayor fiabilidad del entorno de la nube
• Ahorros en los costos de licencias de Oracle
• Informe de evaluación les permiten entender el alcance de la
migración

NoSQL y En Memoria
DynamoDB
ElastiCache

Rápido, Flexible, Escalable
NoSQL
Amazon
DynamoDB

Historia de NoSQL en Amazon

Preguntas claves
• Aurora fue diseñada con una sola restricción
• Compatibilidad con SQL y semántica de la base de datos relacional
• ¿Y si dijéramos no a esta restricción?
• No a SQL = NoSQL
• ¿Podríamos eliminar las cosas que no nos gustan de las bases de
datos relacionales?

Si, si podemos. Respuesta = Amazon DynamoDB
• Base de datos que puede escalar más allá de una sola caja sin cambios en la aplicación
• Puede comenzar de forma pequeña pero sabe que no hay límite para el éxito de la aplicación.
• Si su aplicación se ejecuta rápidamente hoy con 10 usuarios, siempre se ejecutará rápidamente, incluso si
tiene 1M, 10M o 100M de usuarios usando su aplicación.
• No es necesario pasar tiempo optimizando consultas y diagnosticando por qué su aplicación se ejecuta
lentamente
• Ofrece disponibilidad y durabilidad indistinguibles del 100%.
• 99.99% y 60 segundos recuperación en caso de error no son lo suficientemente buenos
• No tienes que manejar nada. Ni siquiera necesita saber qué es una instancia de base de datos
• No hay esquema. Todo lo que necesitas para decirnos es el número de lecturas/seg y escrituras/seg que
quieres ejecutar. Nosotros hacemos el resto

Clientes con Amazon DynamoDB

Lyft incrementa fácilmente su sistema de localización
utilizando DynamoDB
Era tan fácil escalar. Teníamos
dos nodos. Uno era de lectura y
otro de escritura.
Chris Lambert
CTO, Lyft
”
“ • Lyft sirve hasta 8 veces más paseos durante
las horas pico
• La localización del GPS para todos los viajes
fue registrada en el sistema de localización.
• En junio de 2014, Lyft desplegó DynamoDB
en producción.
• Lyft ha movido desde entonces muchos de
sus otras bases de datos a DynamoDB.

Cache en memoria
Memcached o Redis
Administrado; cero admin
Amazon
ElastiCache

Características Principales de ElastiCache
• Totalmenten administrado
• Descubrimiento automático
del nodo de cache
• Colocación de nodo Multi-AZ
• Totalmenten administrado
• Persistente
• Réplicas de lectura
• Multi-AZ recuperación
automática en caso de fallo
• Cluster de Redis

Juegos AdTech Media Móvil Otro
Clientes con Amazon ElastiCache

RDS y ElastiCache están detras de la aplicación de Taxis Grab
La latencia de una llamada de taxi debe
ser baja y permanecer baja incluso en
picos de tráfico de cientos de miles de
solicitudes de taxi por minuto. Utilizamos
ElastiCache para Redis frente a RDS MySQL
para mantener el rendimiento en tiempo
real de nuestros sistemas a cualquier
escala.
Ryan Ooi
Sr. Devops Engineer, Grab
”
“ • Grab es una popular aplicación de taxis en el sudeste asiático.
• El tiempo de respuesta promedio de su API es < 40ms, lo que obliga a
tener una capa en memoria para lograr dicho rendimiento.
• Un pequeño equipo de desarrolladores que previamente intentó
ejecutar Redis en EC2, encontrándose con demasiado trabajo. El uso
de RDS y ElastiCache en Multi-AZ les permitió externalizar toda la
gestión a AWS.

Big Data
Amazon
Redshift
Amazon EMR
Amazon Athena
Data Pipeline

Amazon Redshift
• Almacenamiento de datos relacional, MPP, y que
soporta Petabytes de información
• Totalmente administrado con plataformas SSD y HDD
• Seguridad integrada de extremo a extremo, incluidas las
claves gestionadas por el cliente
• $1,000/TB/año; inicia en 0.25USD/hora

¿Por qué creamos Amazon Redshift?
• Los clientes estaban generando datos en la nube, pero moviéndolos
a su centro de datos local para analizarlos.
• Los clientes habían migrado todo a AWS, excepto sus almacenes de
datos locales.
• Querían cerrar estos centros de datos pero no podían hasta que les
ofreciéramos una solución en la nube

Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
Disponibles para análisis
Datos generados
1990 2000 2010 2020
Puntos claves: La mayoría de los datos caen al
piso
• 90% de los datos en una
compañía nunca son
analizados
• Los altos costos y la
complejidad de un almacén
de datos tradicional hace
complicado justificar el
capital necesario que se
debe invertir.

Preguntas claves
• ¿Podríamos diseñar un sistema barato y suficientemente escalable
para permitirle analizar todos sus datos?
• ¿Podríamos construir un servicio que fuera más rápido, más barato
y más fácil de usar que los sistemas de almacenamiento de datos
tradicionales?

Sí, si podemos. Respuesta = Amazon Redshift
• Un sistema de procesamiento masivo paralelo (MPP) con hasta 128 nodos de poder de cómputo para almacenar y
procesar hasta 2PB de datos comprimidos
• A $1,000/TB/año, es tan barato que puedes analizar todos tus datos
• Puede aprovisionar un petabyte en menos de tres minutos y pagar solo por la hora
• 10x de rendimiento y 1/10 del precio de otras soluciones
• Totalmente administrado con el aprovisionamiento automatizado, la aplicación de parches, la seguridad, la copia de
seguridad, la restauración y la tolerancia a errores integrada

Clientes de Amazon Redshift

NTT Docomo: el proveedor móvil más grande
de Japón
• 68 millones de clientes
• 10s de TBs de datos por día a
través de la red móvil
• 6PB de datos totales (sin
comprimir)
• Ciencia de datos para
operaciones de marketing,
logística, etc.
• Greenplum en su centro de
datos local
• 125 nodos DS2.8XL en el cluster
• 4,500 vCPUs, 30TB RAM
• 6PB de datos sin comprimir
• Consultas analíticas 10x más rápidas
• Reducción del 50% de tiempo para
el despliegue de la nueva aplicación
de BI.
• Significativamente menos
operaciones.

Amazon EMR
• Hadoop, Hive, Presto, Spark, Tez, Impala etc.
• Versión 5.2: Hadoop 2.7.3, Hive 2.1, Spark 2.02, Zeppelin, Presto, HBase 1.2.3 and HBase on S3,
Phoenix, Tez, Flink
• Nuevas aplicaciones agregadas dentro de los 30 días de su versión de código abierto
• Completamente administrado, escalando automáticamente los clústeres con soporte
para precios On-Demand y Spot
• Soporte para sistemas de archivos HDFS y S3 que permiten el cálculo y almacenamiento
de forma separada; Varios clústeres pueden ejecutarse sobre los mismos datos en S3
• Elegible para HIPAA. Soporte para encriptación de extremo a extremo, IAM / VPC,
encriptación de S3 con claves gestionadas por el cliente y AWS KMS

¿Por qué construimos Amazon EMR?
• Los clientes querían utilizar los últimos recursos analíticos de código
abierto para analizar y transformar sus datos
• Los clientes querían utilizar tecnologías como Spark y Presto en
conjunto con servicios de AWS como Amazon S3 y funciones como
EC2 Spot Instances
• Los clientes querían beneficiarse de la elasticidad que AWS ofrece

Clientes de Amazon EMR

Amazon Athena
• Servicio para consultar datos en S3 sin infraestructura para
administrar.
• No se requiere carga de datos; Consulta directamente desde Amazon
S3
• Utilice consultas SQL ANSI estándar con soporte para joins, JSON y
funciones de window.
• Soporte para múltiples formatos incluyendo texto(txt), CSV, TSV,
JSON, Avro, ORC, Parquet
• Pague por consulta sólo cuando esté ejecutando consultas; $5/TB
escaneado; Si comprime sus datos, sus consultas cuestan menos.

¿Por qué construimos Amazon Athena?
• Los clientes querían una forma fácil de ejecutar consultas sobre
datos en Amazon S3 sin infraestructura que administrar
• Los clientes querían un servicio que pudiera complementar el uso
de Amazon Redshift y Amazon EMR
• Los clientes querían dar esta capacidad a cualquier persona en su
empresa y sólo pagar por consulta

Clientes de Amazon Athena

Analítica
QuickSight
Amazon ES
Amazon ML

Como servicio nativo en la nube,
QuickSight combina la velocidad, la
escalabilidad y la facilidad de
implementación de las que nuestros
clientes han llegado a depender con el
valor y la rentabilidad que usted espera de
AWS.
Amazon QuickSight
• Servicio de analítica de negocios rápido y fácil de usar a 1/10 del
costo de las soluciones de BI tradicionales.

Amazon QuickSight
• Reconocimiento automático de fuentes de datos AWS como Redshift de Amazon, RDS y S3
• Conectividad con recursos fuente de terceros como Excel, Salesforce, y otras bases de datos (en nube o en los
centros de datos locales)
• Rendimiento super rápido con SPICE
• Visualizaciones instantáneas con Autograph
• Comparte y colabora en análisis, paneles e historias de forma segura
• Experiencia iPhone nativa y basado en web desde todos los demás dispositivos
• Conjuntos de datos gobernados
• Controles de acceso de usuario
• Integración de Directorio Activo

QuickSight proporciona información en tiempo real en MLB
Advanced Media
QuickSight nos proporciona una
visión en tiempo real de 360
grados de nuestro negocio por
medio de tableros y métricas pre-
construidas que amplían nuestro
uso de datos para tomar
decisiones informadas.
Brandon Sangiovanni
Sr. BI Development Manager
”
“

• Motor de búsqueda y análisis distribuido
• Servicio administrado usando Elasticsearch y
Kibana
• Totalmente administrado; Cero admin
• Altamente disponible y fiable
• Estrechamente integrado con otros servicios
de AWS
Amazon Elasticsearch
Service

Amazon Elasticsearch Liderando Casos de Uso
• Registro Analítico y
Monitoreo Operacional
• Supervise el rendimiento de su
aplicación, servidores web y hardware
• Fácil de usar, poderosas herramientas
de visualización de datos para detectar
problemas en tiempo casi real
• Capacidad de sumergirse en los
registros de una forma intuitivay
granular.
• Kibana proporciona una visualización
rápida y fácil
Búsqueda Tradicional
• La aplicación o el sitio web ofrece
funciones de búsqueda sobre
diversos documentos
• Encargado de hacer que esta base
de conocimientos pueda ser
consultada y accesible
• Funciones clave de búsqueda,
incluyendo coincidencia de texto,
facetado, filtrado, búsqueda difusa,
autocompletar y resaltar
• API de consulta para admitir la
búsqueda de aplicaciones

Media and
Entertainment
Online
Services
Technology Other
Clientes de Amazon Elasticsearch

Caso de Estudio: Plataforma de Desarrollo de
Adobe (Adobe I/O)
• Mas de 200,000 llamadas al API por segundo en picos
• Destinos, tiempos de respuesta, ancho de banda
• Los datos de registro se enrutan con Amazon Kinesis a Amazon Elasticsearch Service,
luego se muestran usando AES Kibana
•
El equipo de Adobe puede ver fácilmente patrones de tráfico y tasas de error,
identificando rápidamente las anomalías y los retos potenciales
Amazon
Kinesis
Streams
Spark Streaming
Amazon
Elasticsearch Service
Fuentes de
datos
1

¿Qué servicio debería usar?
Situación Solución
Aplicación existente
Use el motor actual en RDS
• MySQL  Amazon Aurora, RDS para MySQL
• PostgreSQL  RDS para PostgreSQL
• Oracle, SQL Server  RDS para Oracle, RDS para SQL Server
Aplicación nueva
• Si puede evitar características relacionales  DynamoDB
• Si necesita características relacionales  Amazon Aurora
Almacén de datos y BI • Amazon Redshift y Amazon QuickSight
Análisis ad hoc de datos en S3 • Amazon Athena y Amazon QuickSight
Spark, Hadoop, Hive, HBase • Amazon EMR
Análisis de registros, monitoreo
operacional y búsqueda
• Amazon Elasticsearch Service

Remember to complete your
evaluations!
Recuerde completar
sus evaluaciones

Servicios de bases de datos en AWS

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Servicios de bases de datos en AWS

Similar a Servicios de bases de datos en AWS (20)

Más de Amazon Web Services LATAM

Más de Amazon Web Services LATAM (20)

Último

Último (20)

Servicios de bases de datos en AWS