Que hay de nuevo en el Azure Data Lake Storage Gen2

1. Novedades de Azure Data Lake Storage
eduardo.castro@linchpinpeople.com

2. I n f o r m a c i ó n g e n e r a l s o b r e A z u r e D a t a
L a k e S t o r a g e
Integración de AAD, RBAC,
Seguridad de la cuenta de
almacenamiento
Soporte HA/DR a través de
ZRS y RA-GRS
Almacenamiento de blobs
Sistema de archivos jerárquico
Seguridad
Mejoras en el
rendimiento
Escalabilidad y
eficacia de los
costos
Gestión de datos
 Plataforma de almacenamiento
optimizado para Analytics
 Construido sobre Azure
plataforma de almacenamiento
de objetos
 Diseño para un rápido
acristalamiento Rendimiento
 En Precios de almacenamiento
de objetos
 Disponible en todas las regiones
de Azure
 Disponible desde Feb 2019
ADLS API

3. A c c e s o m u l t i p r o t o c o l o c o n B l o b
Integración de AAD, RBAC, Seguridad de la
cuenta de almacenamiento
Soporte HA/DR a través de ZRS y RA-GRS
Almacenamiento de blobs
Sistema de archivos jerárquico
Seguridad
Mejoras en el
rendimiento
API de blob
(GA)
Escala y eficacia
de los costos
ADLS API
Gestión de datos
Analytics
HDFS, Spark/Hive, Data Warehouse,
Machine Learning
Copia de seguridad y archivo
Copias de seguridad del servidor,
almacenamiento de archivos
Datos semiestructurados
Aplicación & Usuario
Aplicaciones Web & Mobile, CDN
Interactivo

4. ¿ Q u é h e m o s h a b i l i t a d o ?
Instantáneas
Eliminación suave
Nivel Premium
Nivel de archivo
Gestión del ciclo de vida
Cuadrícula de eventos
Blob SDK, PowerShell, CLI
Nivel caliente y fresco
Integración de servicios de
Azure
DesarrolloVista previaGa
 El acceso a múltiples protocolos sienta las bases para Capacidades de
Blob Storage para cargas de trabajo de Analytics
 Las capacidades serán habilitado en fases
 Aplicaciones/servicios existentes mediante Blob API sólo el trabajo sin
cambios en el código
 Servicios de Azure habilitados en Gen2
 Azure Stream Analytics
 Captura de Event Hubs
 IOT Hub
 Azure Data Box
 Aplicaciones lógicas
Conector de Power BI, Azure Search (versión preliminar)

5. V i s t a p r e v i a : S D K d e l s i s t e m a d e
a r c h i v o s p a r a A n a l y t i c s
Integración de AAD, RBAC, Seguridad de la
cuenta de almacenamiento
Soporte HA/DR a través de ZRS y RA-GRS
Almacenamiento de blobs
Sistema de archivos jerárquico
Seguridad
Mejoras en el
rendimiento
Blob API
(GA)
Escala y eficacia
de los costos
Gestión de datos
.NET SDK, Python SDK, Java SDK
PowerShell, CLI
Blob API
API de
carpetas
ACL API
ADLS API

6. A c c e s o m u l t i p r o t o c o l o c o n N F S v 3
Integración de AAD, RBAC, Seguridad de la
cuenta de almacenamiento
Soporte HA/DR a través de ZRS y RA-GRS
Almacenamiento de blobs
Sistema de archivos jerárquico
Seguridad
Mejoras en el
rendimiento
Blob API
Escala y eficacia
de los costos
ADLS API
Gestión de datos
API NFS v3 (versión
preliminar)
HPC, IOT, AI
Datos de HPCAutónoma
Medios de comunicación, Genómica
Analytics
HDFS, Spark/Hive, Data Warehouse,
Machine Learning
Copia de seguridad y
archivo
Copias de seguridad de servidores,
almacenamiento de archivos, datos
semiestructurados
Aplicación & Usuario
Aplicaciones web y móviles, CSN,
Interactiva

7. V i s t a p r e v i a : I n t e g r a c i ó n d e E v e n t
G r i d
Centros
de
eventos
Stream
Analytics
Data Factory
PrepararIngerir
Dispositivos y
Sensores
Medio
Registros
Archivos
Databricks
Modelo & Serve
SQL Data
Warehouse
Power BI
Azure Analysis
Services
Data Lake Storage Gen2Aplicaciones
empresariales/personaliz
adas
Cuadrícula de
eventos
Función
 Archivo Y Carpeta los
eventos se capturan
automáticamente para
impulsar el análisis
impulsado por eventos
 Event Grid consume
eventos y los enruta a
los suscriptores
 Los suscriptores con
enlaces web se
suscriben a estos
eventos (Azure Event
Hubs, Azure Functions,
Logic Apps)

8. V i s t a p r e v i a : G e s t i ó n d e l c i c l o d e v i d a
Automatización basada en reglas para la organización de niveles de datos y la gestión de retención
• Hot to Cool
• Hot to Archive
• Cool to Archive
• Deletion
Las reglas son ejecutadas diariamente en la cuenta de almacenamiento
Las reglas se pueden aplicar a contenedores o a un subconjunto de blobs
(utilizando prefijos como filtros)
Hot
Cool
Archive

9. P r ó x i m a m e n t e : C o n s u l t a r á p i d a
 Optimiza acceso a datos estructurados filtrando datos directamente en el
servicio de almacenamiento
 Single file predicate evaluation and column projection para optimizar los
motores de análisis
 Formatos de archivo compatibles: CSV, JSON (otros que se agregarán)
 Ejemplo
SELECT Region, Product, Revenue
FROM file
WHERE Number_Of_Items < 250
AND Sales_Date > '2019-07-01'
1
0
0
0
0
0
0
0
0
0
0
0
0
0
01
11 1
1
1
11
1
1
1
1
1
1
1
1
0
0
0 1
1
1

10. V i s t a p r e v i a : A z u r e S y n a p s e A n a l y t i c s
Azure Data Lake Storage es la base de almacenamiento para Azure Synapse Analytics
Plataforma
Azure
Almacenamiento de Data Lake
Modelo de datos comunes
Seguridad empresarial
Optimizado para Análisis
METASTORE
Seguridad
Administración
Monitoreo
INTEGRACIÓN DE DATOS
Tiempos de ejecución de Análisis
Provisionado BAJO DEMANDA
Factores de forma
SQL
Idiomas
Python .NET Java Scala R
Experiencia Synapse Analytics Studio
Inteligencia Artificial / Aprendizaje Automático / Internet de las cosas
Aplicaciones inteligentes / Inteligencia empresarial