AWS Cloud Experience CA: Almacenamiento Inteligente con AWS

Almacenamiento inteligente con AWS
Sofía Romero
Senior Solutions Architect
sofiaro@amazon.com

Agenda
Portafolio de servicios de almacenamiento
Pilares de la optimización de costos
Opciones de clases de almacenamiento de S3
Análisis de clases de S3 y políticas de ciclo de vida
Patrones de optimización de costos
S3 Batch Operations y rendimiento de S3
Transferencia de datos

Servicios de almacenamiento
Amazon Elastic
Block Store
Amazon S3 Amazon Glacier
Transferencia de datos
OnlineOffline
AWS Snow family
AWS Storage
Gateway Family
AWS Direct Connect
Amazon EFS File Sync
Amazon S3
Transfer Acceleration
Storage Partners
Amazon Kinesis
Data Streams
Amazon Kinesis
Video Streams
Amazon Elastic
File System
Object storage
S3 Standard
S3 Intelligent-Tiering
S3 Standard-IA
S3 One Zone-IA
S3 Glacier
DataSync / AWS SFTP
Amazon FSx

Pilares de la optimización de
costos

Disminución de precios y más opciones de
almacenamiento.
1 2
Disminución de precios
S3 Standard
(2006)
Glacier
(2012)
S-IA
(2015)
Z-IA
(H1-2018)
INT
(H2-2018)
Acelerando la
innovación
2006 2018

Pilares de la optimización de costos
Requerimientos
de aplicación
Organización
de datos
Tamaño
correcto
Monitorizar,
Analizar,
Optimizar

Requerimientos de la aplicación
Media
master files
Big Data
File
Sharing
Content
Distribution
Archive
Data
Analytics
Backup &
Restore
Dynamic
Websites
Mobile sync &
backup
Disaster
Recover
Re-creatable
data

Organizar datos con etiquetas de
objetos y prefijos
CustomerID =
3a24xxyz24
Department =
Finance
Project =
FinancialAnalysis
Classification =
Confidential
Environment
= Test
• Control de acceso, análisis de
uso, ciclo de vida y replicación
de objetos
• Hasta 10 etiquetas de
metadatos mutables (par de
valor clave) por objeto
• Completamente personalizable
(Depto., Proyecto, Medio
Ambiente, etc.)
• Etiquetar objetos cuando se
crean, más tarde, o ambos

Monitorear, analizar y clasificar ...
Monitor con inventario de S3,
Amazon CloudWatch, AWS
CloudTrail
Clasificación de clases y
caducidad de la data con la
política de ciclo de vida de S3
… Osimplementedejeque S3 Intelligent-Tieringhagael trabajo y ustedahorraen costosde
almacenamientoautomáticamente
Comprender los patrones de
acceso con S3 Storage Class
Analysis

Opciones de clases de
almacenamiento S3

Elija la clase de almacenamiento que mejor se ajuste
Durabilidad,
Redundancia
Disponibilidad
Acceso
Rendimiento
Características
Duración
≥ 3 AZs 1 AZ
99.99% 99.5%
Milisegundos Horas
Horas AñosFrecuente Infrecuente
0 Bytes 5 Terabytes
Reduzca el costo hasta >80% al elegir la opción de clase de
almacenamiento que mejor se adapte a su caso de uso
2 Regiones
99.9%

Clases de almacenamiento de Amazon S3
Poco frecuenteFrecuente Infrecuente
• Activo, datos de acceso
frecuente
• Acceso en milisegundos
• > 3 AZ
• Desde: $0.0210/GB
• Datos con patrón de
acceso cambiante
• > 3 AZ
• Desde: $ 0.0125 hasta $
0.0210
• Costo x monitoreo de obj.
• Duración min de
almacenamiento
• Datos accedidos de
forma infrecuente
• > 3 AZ
• Desde: $0.0125/GB
• Costo por obtención del
dato por GB
• Min storage duration
• Min object size
S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier
• Datos reproducible
• 1 AZ
• Desde: $0.0100/GB
• Costo por obtención del
dato por GB
almacenamiento y
tamaño
• Datos historicos
• Acceso en min o horas
• > 3 AZ
• Desde: $0.0040/GB
• Costo por obtención
del dato por GB
almacenamiento y
tamaño
S3 Intelligent-
Tiering
S3 Glacier
Deep Archive
• Datos historicos
• Acceso en horas
• > 3 AZ
• Desde: $0.00099/GB
• Costo por obtención
del dato por GB
almacenamiento y
tamaño
N u e v o !N u e v o !

S3 Intelligent-Tiering automatiza el ahorro de costos

S3 Intelligent-Tiering storage class
Optimiza automáticamente los costos de
almacenamiento para datos con patrones de
acceso cambiantes
Mueve objetos entre dos niveles de
almacenamiento:
• Nivel de acceso a frecuente
• Nivel de acceso a infrecuente
Supervisa patrones de acceso y clasifica de
manera automática con granuralidad a nivel
de objeto
Sin impacto en el rendimiento ni sobrecarga
operativa
Acceso a milisegundos, > 3 AZ, tarifa de
monitoreo por objeto, duración mínima de
almacenamiento

La historia detrás de S3 Intelligent-Tiering
S3 Intelligent-Tiering
Nuevaclasede almacenamientoen la nubequeautomatizael ahorrode costosparalosclientes
Levantamiento pesado
Aplicaciones fragmentadas,
limitaciones de recursos y
experiencia
Experiencia incomparable
> 1M S3 clientes,
Trillones de objetos, Millones de
peticiones por segundo
Amazon Machine
Learning
predecir futuros patrones de acceso,
Informar al almacenamiento de
objetos de la forma más rentable
+ +

Casos de uso ideales para S3 Intelligent-Tiering
Optimizacióndinámicade costossinimpactoen el rendimientoy singastosoperativos
Big Data, Data Lakes
Almacenamiento con patrones de
acceso cambiantes utilizados por
múltiples aplicaciones
Enterprises
Almacenamiento accedido por
aplicaciones fragmentadas de varias
organizaciones
Startups
Restricción de recursos y experiencia
para optimizar el almacenamiento
ellos mismos
Amazon S3

Amazon S3 Glacier Deep Archive Nuevo!
No hay cinta
para
gestionar
$0.00099/GB/mes
Menos de 1/4 del
costo de S3 Glacier
Diseñado para la
durabilidad de 11
9’s
Recuperar
datos en
horas
Almacenamiento de menor costo disponible en la nube

Análisis de clases de S3 y políticas de
ciclo de vida

Los clientes ahorran millones de dólares
anualmente con Storage Class Analysis y Lifecycle
Management de S3

Análisis de clases de S3 y políticas de ciclo de vida
U til ic e S3 Sto r ag e Cl as s An al y s is par a
id e n tif ic ar l o s g r u po s d e e d ad d e
al m ac e n amie n to a l o s q u e s e ac c e d e c o n
me n o s f r e c u e n c ia
E s tabl e zc a l a po l ític a d e c ic l o d e v id a d e
S3 par a m o v e r e n d is tin tas c l as e s d e
al m ac e n amie n to s e g ú n l a an tig ü e d ad
d e l o bje to
E x c e l e n te par a c ar g as d e tr abajo
pr e d e c ibl e s ( la a n t i g üed a d d el o bj et o
i n d i c a l a f rec uenc i a d e a c c es o )
An ál is is d e s in to n ía f in a po r bu c k e t,
pr e f ijo o e tiq u e ta d e o bje to

Establezca la política de ciclo de vida de S3
La política de ciclo de vida de S3 para
mover a clases de almacenamiento de
menor costo
Los resultados de S3 Storage Class
Analysis ayudan a configurar una
política de ciclo de vida de S3
Las políticas se basan en la
antigüedad del objeto y se establecen
por grupo, prefijo o etiqueta de
objeto
S3 Standard S3 S-IA S3 Glacier

Ejemplo de políticas de gestión del ciclo
de vida
• Las reglas de ciclo de vida toman medidas basadas en la edad del objeto:
• Mueva todos los objetos de más de 60 días a S3 S-IA, mueva todos los objetos
de más de 180 días a S3 Glacier
S3 Standard S3 S-IA S3 Glacier

• Mueve todos los objetos con más de 180 días al S3 glacier
S3 Intelligent-
Tiering
S3 Glacier
de vida

• Mueva todos los objetos con más de 180 días al S3 Glacier, mueva todos
los objetos con más de 365 días al S3 Glacier Deep Archive
de vida
S3 Intelligent-
Tiering
S3 Glacier S3 Glacier
Deep Archive

Patrones de optimización de
costos

Patrón 1 - Datos de acceso frecuente
C a r a c t e r í s t i c a s d e l a c a r g a d e
t r a b a j o :
• A l m a c e n a m i e n t o d e a c c e s o
f r e c u e n t e ( > 1 0 0 % d e l
a l m a c e n a m i e n t o r e c u p e r a d o )
• A v e c e s o b j e t o s p e q u e ñ o s ~ K B
• D u r a c i ó n d e a l m a c e n a m i e n t o a
v e c e s c o r t a
C a s o s d e u s o c o m u n e s :
• A n á l i s i s d e d a t o s g r a n d e s ,
a l o j a m i e n t o d e s i t i o s w e b
d i n á m i c o s , d a t o s d e s e n s o r e s d e
I o T , s e c u e n c i a s d e A D N ,
s i m u l a c i o n e s f i n a n c i e r a s ,
a l m a c e n a m i e n t o d e o r i g e n p a r a
C D N
C l a s e s d e a l m a c e n a m i e n t o :
• E s t á n d a r S 3 , t a l v e z S 3 I N T

Patrón 2 - Datos de acceso infrecuente
C a r a c t e r í s t i c a s d e l a c a r g a d e t r a b a j o :
• A l o l a r g o d e l t i e m p o , s e a c c e d i ó a l
a l m a c e n a m i e n t o a c c e d i d o ( < 1 0 0 % d e l
a l m a c e n a m i e n t o r e c u p e r a d o d e s p u é s
d e 9 0 d í a s )
• O b j e t o s g r a n d e s ( ~ M B )
• D u r a c i ó n d e a l m a c e n a m i e n t o a l a r g o
p l a z o
• S i n c r o n i z a c i ó n y c o p i a d e s e g u r i d a d
m ó v i l , r e g i s t r o s d e d a t o s , a c t i v o s d e
m e d i o s p a r a j u e g o s , c o n t e n i d o
g e n e r a d o p o r e l c l i e n t e , d a t o s
a l m a c e n a d o s p a r a r e c u p e r a c i ó n d e
d e s a s t r e s
• C i c l o d e v i d a d e S 3 S t a n d a r d a S - I A o
Z - I A p a r a d a t o s r e p r o d u c i b l e s
• U t i l i c e S 3 - I N T y G l a c i e r p a r a
A r c h i v a r

t r a b a j o :
• D a t o s c o n p a t r o n e s d e a c c e s o
c a m b i a n t e s o i m p r e d e c i b l e s .
• M e z c l a d e t a m a ñ o s d e o b j e t o
( t a m a ñ o p r o m e d i o d e o b j e t o ~
M B )
• D u r a c i ó n d e a l m a c e n a m i e n t o a
l a r g o p l a z o
• D a t o s d e e n t r e n a m i e n t o d e
M a c h i n e L e a r n i n g , i m á g e n e s
s a t e l i t a l e s y g e o e s p a c i a l e s ,
r e g i s t r o s d e t r a n s a c c i o n e s
f i n a n c i e r a s , d a t o s d e v e h í c u l o s
a u t ó n o m o s , l a g o s d e d a t o s
• S 3 I N T
Patrón 3 - Datos de acceso cambiante

Patrón 4 - Datos de acceso desconocido
t r a b a j o :
• C a r g a d e t r a b a j o d e s c o n o c i d a
• S o l o s a b e q u e l o s o b j e t o s s o n
g r a n d e s ( ~ M B ) y l a d u r a c i ó n d e l
a l m a c e n a m i e n t o e s l a r g a ( ~
m e s e s )
- > S 3 I N T
t r a b a j o :
• C a r g a d e t r a b a j o d e s c o n o c i d a
• T a m a ñ o d e o b j e t o d e s c o n o c i d o y
o b j e t o s d e c o r t a d u r a c i ó n
( < m e s e s )
C o m i e n c e c o n S 3 S t a n d a r d y ,
d e s p u é s d e a l g ú n t i e m p o , r e a l i c e
e l c i c l o d e v i d a d e l o s o b j e t o s
g r a n d e s e n S 3 I N T

El poder de las clases de almacenamiento
S3
Optimicesucostode almacenamientoutilizandotodaslasclasesde almacenamientoS3
Rendimiento, escalabilidad,
disponibilidad y durabilidad líderes en la
industria
Seguridad incomparable, cumplimiento y
capacidades de auditoría.
Optimización de costes a nivel de objeto
granular.
Clases de almacenamiento que se ajustan
a su carga de trabajo
Conjunto de servicios analíticos como S3
Select, Athena, Redshift y EMR
S-IAZ-IA
Amazon Glacier
Standard
INT
Amazon S3

¿Por qué usar operaciones S3 Batch?
SimpleAhorra tiempo Administrado

S3 Batch Operations
Elegir
objetos
Elegir una
operación
Ver
progreso
Realizar acciones de API a través de miles, millones o miles de millones de objetos

S3 Batch Operations
Elegir
objetos
Elegir una
operación
Ver
progreso
• Informe de
inventario S3
• CSV List

Elegir
objetos
Elegir una
operación
Ver
progreso
• Informe de
inventario S3
• CSV List
• Copy
• Restaurar desde S3 Glacier
• Put Access Control List (ACL)
• Remplazar Tags
• Ejecutar funciones Lambda
S3 Batch Operations

Elegir
objetos
Ver
progreso
• Informe de
inventario S3
• CSV List
• Copy
• Restaurar desde S3 Glacier
• Put Access Control List (ACL)
• Remplazar Tags
• Ejecutar funciones Lambda
• Progreso a nivel de objeto
• Notificaciones de trabajo
• Informe de finalización
S3 Batch Operations
Elegir una
operación

Nueva tasa de rendimiento
Con 3.500 TPS de escritura y TPS de 5.500.
por partición ...
99.9% De los clientes no requieren
implementar hashing
#NoMoreHashing

Escalado de rendimiento en Amazon S3
3,500 PUT tps
5,500 GET tps
ExampleAWSbucket
BucketName/Prefix:
ExampleAWSbucket/LogFiles/
ExampleAWSbucket/LogErrors/
ExampleAWSbucket/…
1st partition

ExampleAWSbucket
BucketName/Prefix:
3,500 PUT tps
5,500 GET tps
3,500 PUT tps
5,500 GET tps
2nd partition
/Log
/…
1st partition

ExampleAWSbucket
BucketName/Prefix:
3,500 PUT tps
5,500 GET tps
2nd partition
/Log
/…
1st partition
3,500 PUT tps
5,500 GET tps
3,500 PUT tps
5,500 GET tps
Files/
Errors/
3rd partition
3,500 PUT tps
5,500 GET tps
…

S3 Select
Seleccione un subconjunto de los datos de su objeto usando
una expresión SQL

Rendimiento mejorado para Data Lakes
A medida que los clientes almacenan conjuntos de datos cada vez más grandes en Amazon S3,
S3 Select ofrece una mejora de rendimiento de hasta el 400%.
Antes
Después

S3 Select soporta:
• CSV, JSON, JSON arrays y formato Parquet
• GZIP, BZIP2, and Snappy compression
• Se integra con Spark, Hive, y Presto usando Amazon EMR

AWS Snowball
Transferencia de datos flexible
Más formas de obtener datos en Amazon S3 y S3 Glacier
AWS Snowball
Edge
AWS Direct
Connect
AWS
Snowmobile
Transfer
Acceleration
AWS Storage
Gateway
Amazon Kinesis
Video Streams
Amazon Kinesis

AWS Transfer for SFTP
Servicio totalmente gestionado que permite la transferencia de datos a
través de SFTP, mientras se almacena en Amazon S3
Migración perfecta de
flujos de trabajo
existentes
Integración nativa con
servicios AWS
Fácil de usarCosto-efectivo
Seguro y compatibleTotalmente gestionado
en AWS

AWS
integrado
AWS
Servicio de transferencia que simplifica, automatiza y acelera el movimiento de datos.
Transferencias
hasta 10 Gbps
por agente.
Pago por
uso
Transferenci
as seguras y
confiables
Replique los datos a
AWS para la
continuidad del
negocio.
Transfiera datos para un
análisis oportuno en la
nube
Migre los datos de la
aplicación activa a AWS
Combina la velocidad y confiabilidad del software de aceleración de
red con la rentabilidad de las herramientas de código abierto
Sencillo
movimiento de
datos a S3 o
Amazon EFS.
AWS DataSync

Poniendo todo junto
Comprenda los requisitos de su aplicación
Organice sus datos
Optimizar en todas las clases de almacenamiento
Optimización de costos en un nivel de objeto
S3 Intelligent-Tiering para ahorro de costos automatizado
INT
S-IAZ-IA
Glacier
Std
✔
✔
✔
✔
✔
AWS Cloud lepermite sermásinnovador, ágily rentable

AWS Cloud Experience CA: Almacenamiento Inteligente con AWS

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a AWS Cloud Experience CA: Almacenamiento Inteligente con AWS

Similar a AWS Cloud Experience CA: Almacenamiento Inteligente con AWS (20)

Más de Amazon Web Services LATAM

Más de Amazon Web Services LATAM (20)

Último

Último (12)

AWS Cloud Experience CA: Almacenamiento Inteligente con AWS