Servicios de Storage en AWS

591 visualizaciones

Publicado el

Servicios de Storage en AWS en el 2016 AWS Summit Buenos Aires

Publicado en: Tecnología
0 comentarios
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
591
En SlideShare
0
De insertados
0
Número de insertados
52
Acciones
Compartido
0
Descargas
23
Comentarios
0
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.
  • One of the main reasons our customers love S3 is its scalability. S3 automatically scale to accommodate your capacity and performance needs. Customers no longer have to worry about the underlying storage infrastructure or designing for peaks, which is a very error prone and expensive practice.

    Our customers love the maturity and value proposition of the service which is growing rapidly with data transfer rates in and out of S3 growing 95% YoY in Q4 2014 .


  • S3 is highly durable. Your data is stored across three separate facilities giving you geo-redundancy and we can sustain data loss in two facilities simultaneously and your data is still safe, providing a statistical measure of 11 9’s of durability. Consider what it would take to architect for such a level of durability in your own data centres
  • S3 is also very simple to manage. There’s no need to partition data into volumes to accommodate system limitations or performance considerations.
    To store objects in S3, you can create buckets. These are a containers for your objects, unlimited by size or number of objects. These objects, with the right permissions, are addressable over the Internet.
    This means S3 can be used for everything from storing images, to application data, to backups
  • S3 is inexpensive but we also give you the flexibility of using less durable storage for a lower cost. This is a good choice for reproducible or temporary data sets
  • S3 is inexpensive but we also give you the flexibility of using less durable storage for a lower cost. This is a good choice for reproducible or temporary data sets
  • S3 is inexpensive but we also give you the flexibility of using less durable storage for a lower cost. This is a good choice for reproducible or temporary data sets
  • S3 is inexpensive but we also give you the flexibility of using less durable storage for a lower cost. This is a good choice for reproducible or temporary data sets

  • S3 doesn’t just provide you a simple and scalable way to store data. It also provides multiple storage classes or tiers to optimize your costs and adapt to your workflow and performance requirements.

    A lot of media files are consumed only once or few times so you can leverage this for example for mezz files in the media delivery chain, while all the renditions go into S3 as well distributable assets. Glacier can be used for the crown jewels like the originals for Snow White and Cinderella.

    I’d like to start with positioning SIA alongside… customers have been asking for… we have a very compelling information lifecycle story where customers can put data into the right tier based on business value over time. Lifecycle policies further simplify this process and automate it.
  • Servicios de Storage en AWS

    1. 1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Servicios de Storage en AWS Damián Traverso, AWS Solutions Architect traverso@amazon.com Mayo 2016 | Santiago de Chile
    2. 2. En el mundo … … constantemente generamos más datos
    3. 3. En AWS … … constantemente innovamos
    4. 4. Opciones de Almacenamiento
    5. 5. Opciones de almacenamiento en AWS Amazon EFS Amazon EBS Amazon EC2 Instance storage Amazon S3 Amazon Glacier AWS Storage Gateway Archivos Bloques Objetos Híbrido
    6. 6. Integración con otros servicios Amazon EC2 Amazon VPC Amazon CloudFront AWS CloudTrail Amazon CloudWatch alarms AWS Trusted Advisor AWS IAM AWS Lambda Amazon Redshift Amazon EMR Amazon Kinesis Amazon SQS AWS CloudFormationAmazon SNS
    7. 7. Cumplimiento con certificaciones importantes
    8. 8. Acelera el acceso a tu información AWS ImportExport Snowball • Accelerate PBs with AWS provided appliances AWS Storage Gateway • Up to 120 MB/s cloud upload rate (4x improvement), and • 10 Gb networking for VMware Amazon Kinesis Firehose • Ingest data streams directly into AWS data stores (S3, Redshift) AWS Direct Connect 2015 20152015
    9. 9. Amazon S3 Simple Storage Service
    10. 10. Demanda de uso 2012 2013 2014 2015 102% de crecimiento por año en transferencia de/hacia S3
    11. 11. 99.999999999% durability Buen intento!
    12. 12. S3 Buckets / Objetos
    13. 13. S3 Sitio Web : Contenido estático
    14. 14. Paga solo por lo que uses 1 PB espacio crudo 800 TB espacio usable 600 TB espacio asignado 400 TB datos de la aplicación Amazon S3
    15. 15. Reducción continua de precios 8 reducciones de precio desde su lanzamiento
    16. 16. Amazon S3 Nuevas características
    17. 17. S3-IA (Infrequent Access) 11 9’s de durabilidad Diseñado para 99.9% disponibilidad Durabilidad Disponibilidad Mismo desempeño que S3 Standard Desempeño • Encripción en el servidor • Usa tus llaves de encripción • Llaves administradas desde KMS Seguro • Reglas de transición • Control de versiones • Notificación de eventos • Métricas Integración • Misma experiencia de usuario • REST API simple Fácil de usar
    18. 18. Notificaciones por Eventos Notificaciones a Amazon SNS, Amazon SQS, AWS Lambda cuando un evento ocurre en S3 Events SNS topic SQS queue Lambda function
    19. 19. Control de versiones • Mantén, recupera y restaura cada versión de cada objecto almacenado en tus buckets • S3 automáticamente agrega nuevas versiones y matiene los objetos borrados with marcadores • Controla fácilmente el número de versiones a guardar usando políticas de expiración • Fácil configuración desde la consola
    20. 20. Replicación entre regiones Replicación asíncrona de datos automatizada, rápida y confiable entre regiones • Replicación de nuevas peticiones PUT únicamente • Replicación 1:1 entre 2 regiones • Versioning requerido
    21. 21. Amazon Glacier Servicio de archivado
    22. 22. $0.007 Por GB / al mes Última actualización: Marzo 2016 Región: US East
    23. 23. $84 Por TB / al año Última actualización: Marzo 2016 Región: US East
    24. 24. 99.999999999 % Durabilidad
    25. 25. 3 – 5 horas Recuperación de datos
    26. 26. Beneficios • Bajos costos para archivado a largo plazo • Capacidad de almacenamiento ilimitada • Mejora la durabilidad • Sustitución de Cintas
    27. 27. Integración S3 - Glacier →
    28. 28. Long Term Archive Amazon S3 S3 In-frequent Access Amazon Glacier LifeCyclePolicies Near-line Storage Frequently Accessed Todas las capas son accesibles desde una única API El contenido mas antiguo se mueve a Glacier para reducir costos automaticamente Políticas de Ciclo de Vida (Lifecycle Policies)
    29. 29. S3 Standard • Primary data • 11 9’s of durability • 2.75c – 3c per GB/month, $338 - 369 per TB/year S3 – Infrequent Access • Active Archives • Mezzanine files • 11 9’s of durability • 1.25c per GB/month, $154 per TB/year • 1c per GB for retrievals Glacier • Deep/offline archives • WORM-compliant data • 11 9’s of durability • 0.7c per GB/month, $86 per TB/year Data tiering using Life Cycle Policies Ciclo de Vida de los Objetos
    30. 30. Ejemplo de una Lifecycle Policy →<LifecycleConfiguration> <Rule> <ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition> <Days>30</Days> <StorageClass>GLACIER</StorageClass> </Transition> <Expiration> <Days>365</Days> </Expiration> </Rule> </LifecycleConfiguration
    31. 31. Amazon Glacier Nuevas características
    32. 32. Glacier – Vault Lock • Almacenamiento para cumplimiento de normas • No permite sobre escritura, registro no borrables • Retención por tiempo <ArchiveAgeInDays> • Bloqueo de política • Retención basada en etiquetas
    33. 33. Ejemplo: Retención por tiempo { "Version" : "2012-10-17", "Statement" : [ { "Effect" : "Deny", "Principal" : { "AWS" : "*" }, "Action" : "glacier:DeleteArchive", "Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical", "Condition" : { "NumericLessThanEquals" : { "glacier:ArchiveAgeInDays" : 365 } } } ] } Política
    34. 34. Ejemplo: Retención por etiqueta { "Version" : "2012-10-17", "Statement" : [ { "Effect" : "Deny", "Principal" : { "AWS" : "*" }, "Action" : "glacier:DeleteArchive", "Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical", "Condition" : { "StringEquals" : { "glacier:ResourceTag/LegalHold" : "True" } } } ] } Política
    35. 35. Amazon EBS Almacenamiento de Bloque
    36. 36. Almacenamiento no persistente • Almacenamiento temporal • Persistente durante el tiempo de vida de la instancia (encendida, reinicio) • Se destruye si la instancia se detiene o se destruye
    37. 37. Almacenamiento persistente • Almacenamiento de bloque persistente • Volúmen replicado dentro de las AZ’s para protección contra fallas • Escalamiento vertical hacia arriba y hacia abajo
    38. 38. Reasigna el volúmen a otra instancia
    39. 39. Agrupa múltiples volúmenes
    40. 40. Baja latencia, alto desempeño General Purpose (SSD) Up to 16 TB 10,000 IOPS Up to 160 Mbps Provisioned IOPS (SSD) Up to 16 TB 20,000 IOPS Up to 320 Mbps
    41. 41. Variedad para cualquier tipo de carga Precio Desempeño Magnético Propósito General IOPS Provisionados Caso de uso Acceso a información no tan frecuente Volúmenes de Boot Peq. a Med. BDs Des y Pruebas I/O Intensivo BDs Relacionales BDs NoSQL Medio Disco Magnético SSD SSD Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS Latencia (escrituras aleatorias) 20–40 ms 1–2 ms 1–2 ms Disponibilidad Diseñado para 99.999%Diseñado para 99.999% Diseñado para 99.999%
    42. 42. Amazon EBS Snapshots
    43. 43. EBS Snapshots • Regresa a una versión anterior • Almacenados en S3 • Útiles para protección contra fallas, restauración en otra region, redimensionamiento de volúmenes actuales
    44. 44. AWS Storage Gateway
    45. 45. Qué es AWS Storage Gateway ? Trabaja con aplicaciones existentes Seguro, gran durabilidad Baja latencia para datos frecuentes Escalable y de bajo costo Servicio que conecta almacenamiento de nube con un dispositivo de software ubicado en un centro de datos local
    46. 46. Configuraciones iSCSI Bloque Gateway-stored volumes Baja latencia para todos tus datos con respaldos en AWS Sustitución de librerías físicas con AWS para respaldos y archivado Gateway-cached volumes Gateway-virtual tape library (VTL) Baja latencia para los datos usados frecuentemente con toda la información en almacenada en AWS iSCSI VTL
    47. 47. Gateway-stored Volumes (GW-Stored) • Datos primarios almacenados on-prem • Respaldo asíncrono hacia AWS • Respaldos almacenados como EBS Snapshots
    48. 48. Gateway-cached Volumes (GW-Cached) • Datos primarios almacenados en AWS • Datos accesados frecuentemente almacenados on-prem • Respaldos almacenados como EBS Snapshots
    49. 49. Gateway-Virtual Tape Library (GW-VTL) • Cintas virtuales almacenadas en AWS • Datos accesados frecuentemente “cacheados” on-prem • Cintas ilimitadas en VTS (Virtual Tape Shelf)
    50. 50. Amazon EFS Elastic File System
    51. 51. Qué es EFS ? • FS administrado para instancias • Escalabilidad hasta 1PB • Desempeño para diferentes cargas • Altamente disponible y durable simple elastic scalable 1 2 3
    52. 52. Diseñado para diferentes casos de uso • Repositorio de contenido • Ambientes de desarrollo • Directorios de usuario • Big Data
    53. 53. Cómo funciona ? • Para accesar a FS dentro de la VPC, se crean “Mount Targets” • Un “Mount Target” es un punto de acceso NFSv4 dentro de la VPC • Un “Mount Target” consiste de una IP y un nombre de DNS AVAILABILITY ZONE 1 REGION AVAILABILITY ZONE 2 AVAILABILITY ZONE 3 VPC EC2 EC2 EC2 EC2 Mount target
    54. 54. Cómo funciona ? AVAILABILITY ZONE 1 REGION AVAILABILITY ZONE 2 AVAILABILITY ZONE 3 VPC EC2 EC2 EC2 EC2 Customer’s file system
    55. 55. EFS es simple • Totalmente administrado • No hardware, red • Integración transparente con herramientas y aplicaciones • NFSv4 • Funciona con APIs de archivos de Sistemas Operativos estándares
    56. 56. EFS es elástico • FS crecen y decrecen automáticamente conforme se agregan o remueven archivos • No es necesario asignar espacio • Costo por uso, sin cuota mínima inicial
    57. 57. EFS es escalable • Pueden crecer a PB • Rendimiento y IOPS escalan automáticamente conforme crece el FS • Latencia baja, consistente, sin importar el tamaño del archivo • Soporta miles de conexiones NFS concurrentes
    58. 58. EFS es altamente disponible y durable • Cada objeto del FS (directorio, archivo, link) es almacenado redundantemente en múltiples AZ’s dentro de la región AVAILABILITY ZONE 1 REGION AVAILABILITY ZONE 2 AVAILABILITY ZONE 3 Amazon EFS
    59. 59. EFS es consistente • Las instancias se pueden conectar al FS desde cualquier AZ de la región • Todas las lecturas y escrituras son consistentes en todas las AZ’s (Ej. una lectura en una AZ garantiza que tendrá la información más reciente, aún si los datos son escritos en otra AZ AVAILABILITY ZONE 1 REGION VPC EC2 EC2 EC2 AVAILABILITY ZONE 2 AVAILABILITY ZONE 3 EC2 Write Read
    60. 60. Tres opciones de administración AWS Console AWS CLI AWS SDK
    61. 61. Resumen: Portafolio de Almacenamiento en AWS S3 EFS Glacier Storage Gateway EBS • Almacenamiento de Objetos: datos representados por buckets/objects • Acceso usando APIs sobre internet • Almacenamiento de archivado: datos representados por vaults/archives • Almacenamiento de bajo costo, acceso usando APIs sobre internet • Almacenamiento de bloque (tipo SAN): datos representados como volúmenes • Baja latencia de acceso desde las instancias EC2 • Almacenamiento de archivo (tipo NAS): datos representados como file system • Baja latencia de acceso compartido entre múltiples instancias EC2 • Almacenamiento de respaldos y archivado en S3 y Glacier
    62. 62. Muchas Gracias traverso@amazon.com

    ×