Servicios de Storage en AWS en el 2016 AWS Summit Buenos Aires

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Servicios de Storage en AWS
Damián Traverso, AWS Solutions Architect
traverso@amazon.com
Mayo 2016 | Santiago de Chile

2. En el mundo …
… constantemente generamos más datos

3. En AWS …
… constantemente innovamos

4. Opciones de Almacenamiento

5. Opciones de almacenamiento en AWS
Amazon
EFS
Amazon
EBS
Amazon EC2
Instance
storage
Amazon
S3
Amazon
Glacier
AWS
Storage
Gateway
Archivos Bloques Objetos Híbrido

6. Integración con otros servicios
Amazon EC2
Amazon VPC
Amazon
CloudFront
AWS CloudTrail
Amazon
CloudWatch
alarms AWS Trusted
Advisor
AWS
IAM
AWS Lambda
Amazon Redshift
Amazon
EMR
Amazon
Kinesis
Amazon SQS
AWS
CloudFormationAmazon SNS

7. Cumplimiento con certificaciones importantes

8. Acelera el acceso a tu información
AWS ImportExport Snowball
• Accelerate PBs with AWS
provided appliances
AWS Storage Gateway
• Up to 120 MB/s cloud upload rate
(4x improvement), and
• 10 Gb networking for VMware
Amazon Kinesis Firehose
• Ingest data streams directly into
AWS data stores (S3, Redshift)
AWS Direct Connect
2015
20152015

9. Amazon S3
Simple Storage Service

10. Demanda de uso
2012 2013 2014 2015
102% de crecimiento por año en
transferencia de/hacia S3

11. 99.999999999%
durability
Buen intento!

12. S3 Buckets / Objetos

13. S3 Sitio Web : Contenido estático

14. Paga solo por lo que uses
1 PB espacio crudo
800 TB espacio usable
600 TB espacio asignado
400 TB datos de la aplicación
Amazon S3

15. Reducción continua de precios
8 reducciones de precio desde su lanzamiento

16. Amazon S3
Nuevas características

17. S3-IA (Infrequent Access)
11 9’s de durabilidad Diseñado para
99.9% disponibilidad
Durabilidad Disponibilidad
Mismo desempeño que
S3 Standard
Desempeño
• Encripción en el servidor
• Usa tus llaves de encripción
• Llaves administradas desde KMS
Seguro
• Reglas de transición
• Control de versiones
• Notificación de eventos
• Métricas
Integración
• Misma experiencia de
usuario
• REST API simple
Fácil de usar

18. Notificaciones por Eventos
Notificaciones a Amazon SNS, Amazon SQS, AWS
Lambda cuando un evento ocurre en S3
Events
SNS topic
SQS queue
Lambda
function

19. Control de versiones
• Mantén, recupera y restaura cada versión de
cada objecto almacenado en tus buckets
• S3 automáticamente agrega nuevas versiones
y matiene los objetos borrados with
marcadores
• Controla fácilmente el número de versiones a
guardar usando políticas de expiración
• Fácil configuración desde la consola

20. Replicación entre regiones
Replicación asíncrona de datos automatizada, rápida y
confiable entre regiones
• Replicación de nuevas peticiones
PUT únicamente
• Replicación 1:1 entre 2 regiones
• Versioning requerido

21. Amazon Glacier
Servicio de archivado

22. $0.007
Por GB / al mes
Última actualización: Marzo 2016
Región: US East

23. $84
Por TB / al año
Última actualización: Marzo 2016
Región: US East

24. 99.999999999 %
Durabilidad

25. 3 – 5 horas
Recuperación de datos

26. Beneficios
• Bajos costos para archivado a largo plazo
• Capacidad de almacenamiento ilimitada
• Mejora la durabilidad
• Sustitución de Cintas

27. Integración S3 - Glacier
→

28. Long Term
Archive
Amazon S3
S3 In-frequent Access
Amazon Glacier
LifeCyclePolicies
Near-line
Storage
Frequently
Accessed Todas las capas
son accesibles desde
una única API
El contenido mas
antiguo se mueve a
Glacier para reducir
costos
automaticamente
Políticas de Ciclo de Vida (Lifecycle Policies)

29. S3 Standard
• Primary data
• 11 9’s of durability
• 2.75c – 3c per
GB/month, $338 -
369 per TB/year
S3 – Infrequent Access
• Active Archives
• Mezzanine files
• 11 9’s of durability
• 1.25c per GB/month,
$154 per TB/year
• 1c per GB for retrievals
Glacier
• Deep/offline archives
• WORM-compliant
data
• 11 9’s of durability
• 0.7c per GB/month,
$86 per TB/year
Data tiering using Life Cycle Policies
Ciclo de Vida de los Objetos

30. Ejemplo de una Lifecycle Policy
→<LifecycleConfiguration>
<Rule>
<ID>archive-in-30-days</ID>
<Prefix>logs/</Prefix>
<Status>Enabled</Status>
<Transition>
<Days>30</Days>
<StorageClass>GLACIER</StorageClass>
</Transition>
<Expiration>
<Days>365</Days>
</Expiration>
</Rule>
</LifecycleConfiguration

31. Amazon Glacier
Nuevas características

32. Glacier – Vault Lock
• Almacenamiento para cumplimiento de normas
• No permite sobre escritura, registro no borrables
• Retención por tiempo <ArchiveAgeInDays>
• Bloqueo de política
• Retención basada en etiquetas

33. Ejemplo: Retención por tiempo
{
"Version" : "2012-10-17",
"Statement" : [
{
"Effect" : "Deny",
"Principal" : {
"AWS" : "*"
},
"Action" : "glacier:DeleteArchive",
"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",
"Condition" : {
"NumericLessThanEquals" : {
"glacier:ArchiveAgeInDays" : 365
}
}
}
]
}
Política

34. Ejemplo: Retención por etiqueta
{
"Version" : "2012-10-17",
"Statement" : [
{
"Effect" : "Deny",
"Principal" : {
"AWS" : "*"
},
"Action" : "glacier:DeleteArchive",
"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",
"Condition" : {
"StringEquals" : {
"glacier:ResourceTag/LegalHold" : "True"
}
}
}
]
}
Política

35. Amazon EBS
Almacenamiento de Bloque

36. Almacenamiento no persistente
• Almacenamiento temporal
• Persistente durante el
tiempo de vida de la
instancia (encendida,
reinicio)
• Se destruye si la instancia
se detiene o se destruye

37. Almacenamiento persistente
• Almacenamiento de bloque
persistente
• Volúmen replicado dentro
de las AZ’s para protección
contra fallas
• Escalamiento vertical hacia
arriba y hacia abajo

38. Reasigna el volúmen a otra instancia

39. Agrupa múltiples volúmenes

40. Baja latencia, alto desempeño
General Purpose (SSD)
Up to 16 TB
10,000 IOPS
Up to 160 Mbps
Provisioned IOPS (SSD)
Up to 16 TB
20,000 IOPS
Up to 320 Mbps

41. Variedad para cualquier tipo de carga
Precio Desempeño
Magnético Propósito
General
IOPS
Provisionados
Caso de uso
Acceso a información
no tan frecuente
Volúmenes de Boot
Peq. a Med. BDs
Des y Pruebas
I/O Intensivo
BDs Relacionales
BDs NoSQL
Medio Disco Magnético SSD SSD
Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS
Latencia
(escrituras
aleatorias)
20–40 ms 1–2 ms 1–2 ms
Disponibilidad Diseñado para 99.999%Diseñado para 99.999% Diseñado para 99.999%

42. Amazon EBS
Snapshots

43. EBS Snapshots
• Regresa a una versión
anterior
• Almacenados en S3
• Útiles para protección
contra fallas, restauración
en otra region,
redimensionamiento de
volúmenes actuales

44. AWS Storage Gateway

45. Qué es AWS Storage Gateway ?
Trabaja con aplicaciones existentes
Seguro, gran durabilidad
Baja latencia para datos frecuentes
Escalable y de bajo costo
Servicio que conecta almacenamiento de nube con un
dispositivo de software ubicado en un centro de datos
local

46. Configuraciones
iSCSI
Bloque
Gateway-stored volumes
Baja latencia para todos tus datos con respaldos
en AWS
Sustitución de librerías físicas con AWS para
respaldos y archivado
Gateway-cached volumes
Gateway-virtual tape library (VTL)
Baja latencia para los datos usados
frecuentemente con toda la información en
almacenada en AWS
iSCSI
VTL

47. Gateway-stored Volumes (GW-Stored)
• Datos primarios almacenados on-prem
• Respaldo asíncrono hacia AWS
• Respaldos almacenados como EBS Snapshots

48. Gateway-cached Volumes (GW-Cached)
• Datos primarios almacenados en AWS
• Datos accesados frecuentemente almacenados on-prem
• Respaldos almacenados como EBS Snapshots

49. Gateway-Virtual Tape Library (GW-VTL)
• Cintas virtuales almacenadas en AWS
• Datos accesados frecuentemente “cacheados” on-prem
• Cintas ilimitadas en VTS (Virtual Tape Shelf)

50. Amazon EFS
Elastic File System

51. Qué es EFS ?
• FS administrado para instancias
• Escalabilidad hasta 1PB
• Desempeño para diferentes cargas
• Altamente disponible y durable
simple elastic scalable
1 2 3

52. Diseñado para diferentes casos de uso
• Repositorio de contenido
• Ambientes de desarrollo
• Directorios de usuario
• Big Data

53. Cómo funciona ?
• Para accesar a FS dentro
de la VPC, se crean “Mount
Targets”
• Un “Mount Target” es un
punto de acceso NFSv4
dentro de la VPC
• Un “Mount Target” consiste
de una IP y un nombre de
DNS
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2
EC2
EC2
EC2
Mount
target

54. Cómo funciona ?
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2
EC2
EC2
EC2
Customer’s file
system

55. EFS es simple
• Totalmente administrado
• No hardware, red
• Integración transparente
con herramientas y
aplicaciones
• NFSv4
• Funciona con APIs de
archivos de Sistemas
Operativos estándares

56. EFS es elástico
• FS crecen y decrecen
automáticamente conforme
se agregan o remueven
archivos
• No es necesario asignar
espacio
• Costo por uso, sin cuota
mínima inicial

57. EFS es escalable
• Pueden crecer a PB
• Rendimiento y IOPS
escalan automáticamente
conforme crece el FS
• Latencia baja, consistente,
sin importar el tamaño del
archivo
• Soporta miles de
conexiones NFS
concurrentes

58. EFS es altamente disponible y durable
• Cada objeto del
FS (directorio,
archivo, link) es
almacenado
redundantemente
en múltiples AZ’s
dentro de la
región
AVAILABILITY
ZONE 1
REGION
AVAILABILITY
ZONE 2
AVAILABILITY
ZONE 3
Amazon
EFS

59. EFS es consistente
• Las instancias se
pueden conectar al FS
desde cualquier AZ de
la región
• Todas las lecturas y
escrituras son
consistentes en todas
las AZ’s (Ej. una
lectura en una AZ
garantiza que tendrá la
información más
reciente, aún si los
datos son escritos en
otra AZ
AVAILABILITY
ZONE 1
REGION
VPC
EC2
EC2
EC2
AVAILABILITY
ZONE 2
AVAILABILITY
ZONE 3
EC2
Write
Read

60. Tres opciones de administración
AWS
Console
AWS
CLI
AWS
SDK

61. Resumen: Portafolio de Almacenamiento en AWS
S3
EFS
Glacier
Storage
Gateway
EBS
• Almacenamiento de Objetos: datos representados por buckets/objects
• Acceso usando APIs sobre internet
• Almacenamiento de archivado: datos representados por vaults/archives
• Almacenamiento de bajo costo, acceso usando APIs sobre internet
• Almacenamiento de bloque (tipo SAN): datos representados como volúmenes
• Baja latencia de acceso desde las instancias EC2
• Almacenamiento de archivo (tipo NAS): datos representados como file system
• Baja latencia de acceso compartido entre múltiples instancias EC2
• Almacenamiento de respaldos y archivado en S3 y Glacier

62. Muchas Gracias
traverso@amazon.com