Primeros Pasos con SQL Azure Datawarehouse ( conceptos, cargas de trabajo, Cargando Data, PowerShell, Limitaciones)

2. Agenda

3. SQL Azure Datawarehouse
Saas
Azure
Public
Cloud
Office 365Office 365
AzureAzure
Un almacén de datos relacional como un servicio (PAAS), totalmente gestionado por Microsoft.
Soporta desde lo mas pequeña a lo mas grande de la data según la necesidad.

4. SMP vs MPP

5. SQL Server
Analysis Services
SQL Server Database Engine
Microsoft SQL Server Integration Services
SQL Server Master Data Services
 1011000110
SQL Server Data Quality
Services
Microsoft SQL Azure
and the Windows Azure
Marketplace
Microsoft SharePoint
Server
Microsoft PowerPivot
Technologies
Microsoft Excel
• Data Mining Add-In
• PowerPivot Add-In
• MDS Add-In
Power View
SQL Server
Reporting Services
Reports, KPIs, and Dashboards
DataWarehousingBusinessIntelligence
SQL Server As a Data Warehousing Platform

6. Arquitectura SQL Azure Datawarehouse
Nodo
De Control
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Calculo
Escalamiento de calculo
arriba y abajo
(SLA <= 60 segundos).
Pausa, Detener, Comenzar.
Almacenar
Carga datos a WASB sin
costos de calculo.
Motor de Procesamiento
paralelo masivo(MPP)
Almacenamiento e
Infraestructura de Azure
100 DWU < > 000 DWU
Almacenamiento y calculo se junta, lo
que permite un verdadero servicio
elastico y carga para calculo y
almacenamiento.
Aplicacion o
conexion de
usuario
Carga de Datos
(SSIS, REST, OLE, ADO, ODBC,
WebHDFS, AZCopy, PS) DMS
DMS DMS DMS DMS
DMS(servicio de
movimiento de
datos) se ejecuta en
todos los nodos de
la base de datos.

7. Azure SQL Data Warehouse – Nodo de Control
Nodo
De Control
SQL
DB
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Motor de Procesamiento
paralelo masivo(MPP)
HDInsight
Nodo
De Control
SQL DB
• Terminales para Conexión
• Regular Puerto SQL(TCP 1433)
• Persiste no hay dato
usuario(solo metadata)
• Coordina la actividad de calculo
usando MPP.

8. Azure SQL Data Warehouse – Nodos de Proceso
Nodo
De Control
SQL
DB
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Motor de Procesamiento
paralelo masivo(MPP)
Nodos
De Procesos
Azure SQL Database
SQL DB
Un incremento de DWU
aumentara el numero de
nodos computacionales.

9. Azure SQL Data Warehouse – Blob storage
Nodo
De Control
SQL
DB
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
Nodo
De Proceso
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage [WASB(S)]
Motor de Procesamiento
paralelo masivo(MPP)
• Almacenamiento RA-GRS
• +PBs de
Almacenamiento
• Recopila datos sin
incurrir costos de
proceso

10. Data Warehouse Unit

11. Azure SQL Data Warehouse vs Warehouse Tradicional
Porque elegir la nube?

12. Herramientas de Carga de Datos

14. Azure SQL Runbook
https://docs.microsoft.com/es-es/powershell/resourcemanager/azurerm.sql/v2.4.0/azurerm.sql

15. Azure SQL Runbook
https://docs.microsoft.com/en-us/azure/sql-database/sql-database-manage-automation

16. Business
apps
Custom
apps
IoT - Sensors
and devices
INTELLIGENCE
People
Automated
Systems

17. Detección de Fraudes
Historical
Transaction
Data
Azure SQL
Data
Warehouse
Trend Analysis
Transaction
Detail
Distribution
Management
Intrusion
Analysis
Reference data

18. Predicción de Ventas
Historical Sales
Data
Azure SQL
Data
Warehouse
P&L Analysis
Product trending
Market & Gap
Analysis
Competitor
impact

19. Churn
Data
Sources
Azure SQL
Data
Warehouse
Reduce customer
turnover
What’s hot and
what’s not
Loyalty &
Perception
Scenario
SimulationsData
Sources
Data
Sources

22. Precios

23. Limitaciones
•Solo 32 Consultas actualmente
•Como se obtiene mas? Creando mas instancias
•Máximo de tamaño comprimido es 240 TB
•Potencialmente 1PB descomprimido
•No soporta lo siguiente
•Primary/Foreign Keys
•Identity
•Computed Columns,
•Triggers
•Sequences
•Cursors
•MERGE
•Ahora soporta uniqueidentifiers

24. Bibliografía
https://courses.edx.org/courses/course-v1:Microsoft+DAT220x+1T2017/info
https://mva.microsoft.com/en-US/training-courses/deliver-an-elastic-data-warehouse-as-a-service-
14005?l=vQOw1qcrB_1305192797
https://openedx.microsoft.com/courses/course
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-overview-what-is