Esta presentación es una introducción a los conceptos y casos de uso de Azure SQL Datawarehouse

1. 1
21-Feb-19
Arquitectura y ejemplos
Eduardo Castro, Microsoft Regional Director
Azure SQL Data Warehouse
• Partes de esta presentación están basada en Contenido Público de Microsoft
Ignite

2. 2
21-Feb-19
Sistemas y procesos fragmentados
Múltiples herramientas y conjuntos de habilidades
Información detallada sobre datos desconectados
Alto costo de propiedad
Administre el
volumen y la
variedad de datos
en todos los
repositorios de
datos
Lógica
Mantener datos
históricos de
fuentes variadas
Tradicional
Obtenga
información en
tiempo real sin
afectar el
rendimiento
Operacional
El almacenamiento de datos moderno es desafiante
Arquitecturas de referencia de SQL Server 2016 +
Azure SQL Data Warehouse
Azure Data Lake
Productos de Microsoft Data Warehouse
Administre el
volumen y la
variedad de datos en
todos los repositorios
de datos
Mantener datos
históricos de
fuentes variadas
Obtenga
información en
tiempo real sin
afectar el
rendimiento
LógicaTradicional Operacional

3. 3
21-Feb-19
DW a tu manera
DW integral
Local
Nube
• Escalabilidad elástica para una demanda
impredecible
• Pague por lo que necesita
• Implementación más rápida
• Flexibilidad y elección de la última generación de hardware
• Ofertas fuera de la caja con riesgo reducido y mayor confianza
PRE-INGENIERÍA
+
• Cumple estrictas normas de cumplimiento normativo
• Habilite una gobernanza de datos sólida
CONSTRUYE TU PROPIO
• Almacenamiento de datos local (o IaaS)
• Cargas de trabajo de misión crítica
• Costes iniciales (CAPEX)
SQL Server 2016
• Almacenamiento de datos basado en la nube
• Pague a medida que avanza (OPEX)
• Cargas de trabajo ad hoc
Azure SQL Data Warehouse
Comparación de alto nivel

4. 4
21-Feb-19
Introducción a SQL Data Warehouse
Almacenamiento de datos relacionales completamente administrado como servicio
El primer almacén de datos de nube elástica con capacidades de nivel empresarial
Apoye los conjuntos de datos más pequeños a los más grandes
Introducción a Azure SQL Data Warehouse
DW relacional almacenamiento de datos como un servicio, completamente administrado por Microsoft
Almacenamiento de datos en la nube con de nivel empresarial
Integrado con activos locales y en la nube
Facturación de computación y
almacenamiento
Pague por lo que necesita
Alto rendimiento sin reescribir
aplicaciones
Bajo costo para datos latentes
Infraestructura, gestión y soporte
proporcionados
Escalabilidad a petabytes de datos con el
procesamiento MPP
Redimensionar nodos de computación < 1
minuto
Diseñado para cargas de trabajo "bajo
demanda"
Integrado con la plataforma de Azure y
otros servicios de Microsoft
Permite soluciones híbridas
Basado en la experiencia y la tecnología
de SQL Server

5. 5
21-Feb-19
Escalabilidad elástica
Spin up para cargas de trabajo pesadas, ciclo hacia abajo para la actividad diaria
Compre tiempo a la información basada en lo que necesita, cuando lo necesite
Elija el combo de computación y almacenamiento que satisfaga sus necesidades
Portal

6. 6
21-Feb-19
Administración-PowerShell
C:PS>$ServerName = “DemoServer”
C:PS>$DatabaseName = “SampleDW”
C:PS>$ServiceObjective = “B89B9C6A-4EC2-4EB8-99DB-
6D2807E6AAB”
(DW1000)
C:PS>$Database = Get-AzureSqlDatabase -ServerName
$ServerName
-DatabaseName $DatabaseName
C:PS>Set-AzureSqlDatabase –ServerName $ServerName
–ServiceObject $ServiceObjective
Ejemplo-TSQL
ALTER DATABASE [dbo].[SampleDW]
{
SET SERVICE_OBJECTIVE = 'DW1000'
};

7. 7
21-Feb-19
Pausa
Los datos permanecen en su lugar – sin recarga/restauración de datos
Cuando está en pausa, el almacenamiento a escalabilidad de nube es costo mínimo
Automatizar a través de PowerShell/REST API
$$$$
Vs
MPP frente a la arquitectura SMP

8. 8
21-Feb-19
SQL DW: creación de la base de DB de
SQL
Elastic, petabyte Scale
DW optimizado
99,99% de tiempo de actividad
SLA,
Restauración geográfica
Cumplimiento de Azure (ISO, HIPAA, UE, etc.)
Verdadera experiencia de SQL Server;
Las herramientas existentes solo funcionan
SQL DW
DB DE SQL
Niveles de servicio
Compatibilidad con SQL Server
SQL listo para la empresa para escenarios de DW sofisticados
Las herramientas y scripts de SQL serversql Server existentes solo funcionan
Mejoras continuas en la superficie del lenguaje
Programación modular
(escribir una vez, ejecutar
varias veces)
Ejecución de código más
rápida
Lógica de programación
encapsulada
Mantenimiento más
sencillo de tablas grandes
Mejora el rendimiento
Escalabilidad y
disponibilidad mejoradas
Permite un uso adecuado
y comparaciones de
caracteres en diferentes
idiomas
Tecnología de almacén
columnar para el mejor
rendimiento de consultas
de DW en su clase

9. 9
21-Feb-19
Consulta de datos no estructurados mediante
polybase/T-SQL
Consulta T-SQL
SQL Server Hadoop
Citar:
************************
**********************
*********************
**********************
***********************
$658,39
Jim Gray
Nombre
11/13/58
Dob
Wa
Estado
Ann Smith 04/29/76 ME
Ejemplo TSQL-Setup
-- This is only one time for a database
CREATE MASTER KEY;
CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'SecurePassword';
-- This is required once per a new credential.
CREATE CREDENTIAL ProdCreds ON DATABASE WITH IDENTITY =
‘StorageName', Secret = 'StorageKeyValueGoesHere';

10. 10
21-Feb-19
TSQL de ejemplo: origen de datos
-- Create a data source
CREATE EXTERNAL DATA SOURCE [WebLogSource]
WITH
(
TYPE = HADOOP,
LOCATION = 'wasbs://weblogs@sqldwdemo.blob.core.windows.net/',
CREDENTIAL = ProdCreds
);
TSQL de ejemplo: formato de archivo
-- Create the file format
CREATE EXTERNAL FILE FORMAT [WebLogFormat] WITH
(
FORMAT_TYPE = DELIMITEDTEXT,
FORMAT_OPTIONS
(
FIELD_TERMINATOR = ‘|',
DATE_FORMAT = 'yyyy-MM-dd HH:mm:ss'
)
);

11. 11
21-Feb-19
TSQL de ejemplo: tabla externa
CREATE EXTERNAL TABLE [WebLogs]
(
url VARCHAR(50),
event_date DATE,
user_IP VARCHAR(50)
)
WITH
( LOCATION='weblogs',
DATA_SOURCE = WebLogData,
FILE_FORMAT = WebLogFormat
);
TSQL de ejemplo-consultas
-- Join Local and External tables
SELECT
Day,
Products,
COUNT(*) AS [Visits]
FROM
WebLogs wl
INNER JOIN Products p ON p.Url = wl.url
WHERE
wl.event_date > DATEADD(DAY, -30, GETDATE());

12. 12
21-Feb-19
Simetría
Integrado con Power BI, Azure machine learning y Azure Data Factory
Servicio de aplicaciones Base de datos SQL de Azure
Aprendizaje automático de Azure
Aplicación inteligente
Hadoop
Datos de Azure SQL
Datawarehouse
Power BI
Unidad de almacenamiento de datos (DWU)
Simplemente compre el rendimiento de la consulta que necesita, no solo el
hardware
Cuantificados por objetivos de carga de trabajo: cómo se escanean, cargan y
copian las filas rápidas
Medida de
potencia
Transparencia
Primer servicio DW para ofrecer energía informática a petición, independiente
del almacenamiento
A petición
Analizar filas 1B
100 DWU = 297 seg.
400 DWU = 74 seg.
800 DWU = 37 seg.
1.600 DWU = 19 seg.
Velocidad de
escaneo
Xx Fila de M/sec
Carga Tasa XX K fila/seg.
Tasa de copia
de tabla
Xx Fila de
K/sec
100 DWU

13. 13
21-Feb-19
Presentamos DWU
DWU
Capacidad de la base de datos
CREATE DATABASE MyDB COLLATE
SQL_Latin1_General_CP1_CI_AS
(
EDITION = 'DataWarehouse'
, SERVICE_OBJECTIVE = 'DW400'
, MAXSIZE = 10240 GB
)
; 1TB/DWU100 es buen lugar para
comenzar

14. 14
21-Feb-19
Tempdb Tamaño
0
1000
2000
3000
4000
5000
6000
7000
Capacity (GB)
Gestión de carga
DWU Lectores Escritores
Guía de texto delimitado
• Divida los datos uniformemente en varios
archivos
• Un archivo por lector
• El texto delimitado es el más rápido
El texto comprimido limita el
acceso simultáneo a los
archivos de texto
Dividir datos entre archivos
O
Utilizar un formato de archivo
diferente

15. 15
21-Feb-19
Servicio de movimiento de datos (DMS)
Existe en los nodos de control y computación
Responsable de todo el movimiento de datos de
carga y consulta
Cómo se mueven los datos
Ejemplo simple
SELECT COUNT_BIG(*)
FROM dbo.[FactInternetSales];
SELECT SUM(*)
FROM dbo.[FactInternetSales];
SELECT COUNT_BIG(*)
FROM dbo.[FactInternetSales];
SELECT COUNT_BIG(*)
FROM dbo.[FactInternetSales];
SELECT COUNT_BIG(*)
FROM dbo.[FactInternetSales];
SELECT COUNT_BIG(*)
FROM dbo.[FactInternetSales];
Calcular
Control

16. 16
21-Feb-19
CREATE TABLE [build].[FactOnlineSales]
(
[OnlineSalesKey] int NOT NULL
, [DateKey] datetime NOT NULL
, [StoreKey] int NOT NULL
, [ProductKey] int NOT NULL
, [PromotionKey] int NOT NULL
, [CurrencyKey] int NOT NULL
, [CustomerKey] int NOT NULL
, [SalesOrderNumber] nvarchar(20) NOT NULL
, [SalesOrderLineNumber] int NULL
, [SalesQuantity] int NOT NULL
, [SalesAmount] money NOT NULL
)
WITH
( CLUSTERED COLUMNSTORE INDEX
, DISTRIBUTION = ROUND_ROBIN
)
;
Creación de tablas distribuidas
CREATE TABLE [build].[FactOnlineSales]
(
[OnlineSalesKey] int NOT NULL
, [DateKey] datetime NOT NULL
, [StoreKey] int NOT NULL
, [ProductKey] int NOT NULL
, [PromotionKey] int NOT NULL
, [CurrencyKey] int NOT NULL
, [CustomerKey] int NOT NULL
, [SalesOrderNumber] nvarchar(20) NOT NULL
, [SalesOrderLineNumber] int NULL
, [SalesQuantity] int NOT NULL
, [SalesAmount] money NOT NULL
)
WITH
( CLUSTERED COLUMNSTORE INDEX
, DISTRIBUTION = HASH([ProductKey])
)
;
DISTRIBUCIÓN ROUND ROBIN
1
3
1
4
1
6
1
5
1
7
1
8
2
0
1
9
2
1
2
2
2
4
2
3
2
5
2
6
2
8
2
7
2
9
3
0
3
2
3
1
3
3
3
4
3
6
3
5
3
7
3
8
4
0
3
9
4
1
4
2
4
4
4
3
4
5
4
6
4
8
4
7
4
9
5
0
5
2
5
1
5
3
5
4
5
6
5
5
5
7
5
8
6
0
5
9
0
1
0
2
0
4
0
3
0
5
0
6
0
8
0
7
0
9
1
0
1
2
1
1

17. 17
21-Feb-19
DISTRIBUCIÓN DE HASH
1
3
1
4
1
6
1
5
1
7
1
8
2
0
1
9
2
1
2
2
2
4
2
3
2
5
2
6
2
8
2
7
2
9
3
0
3
2
3
1
3
3
3
4
3
6
3
5
3
7
3
8
4
0
3
9
4
1
4
2
4
4
4
3
4
5
4
6
4
8
4
7
4
9
5
0
5
2
5
1
5
3
5
4
5
6
5
5
5
7
5
8
6
0
5
9
0
1
0
2
0
4
0
3
0
5
0
6
0
8
0
7
0
9
1
0
1
2
1
1
HASH ()N01020301
Unir tablas HASH

18. 18
21-Feb-19
Unir tablas HASH
Bigint
Unir tablas HASH

19. 19
21-Feb-19
Información general sobre Azure SQL Data
Warehouse
Integración con los servicios
de Power BI, ADF y machine
learning
Almacenamiento y
computación separados
Escalabilidad elástica
Escalar-hacia fuera relacional
almacén de datos