Este documento resume los patrones de escalabilidad en Microsoft Azure SQL Database. Ofrece varias opciones para escalar el rendimiento de forma vertical u horizontal. La escalabilidad vertical se logra cambiando entre los diferentes niveles de servicio (Básico, Estándar y Premium), mientras que la horizontal se logra agregando o eliminando bases de datos. También describe las opciones de sharding para escalar hasta miles de bases de datos y el uso de consultas multi-shard para procesar consultas a través de múltiples shards.
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql database - Eduardo Castro
1. Patrones de escalalidad en
Microsoft Azure SQL Database
Expositor: Eduardo Castro, PhD. PASS Regional Mentor. SQL Server MVP
Moderador: Kenneth Ureña
2. Gracias a nuestros auspiciadores
Database Security as Easy as A-B-C
http://www.greensql.com
Hardcore Developer and IT
Training
http://www.pluralsight.com
SQL Server Performance
Try PlanExplorer today!
http://www.sqlsentry.com
3. Próximos SQL Saturday
6 de Diciembre de 2014
https://www.sqlsaturday.com/351/register.aspx
24 de Enero de 2015
https://www.sqlsaturday.com/346/register.aspx
18 de Abril de 2015
https://www.sqlsaturday.com/368/register.aspx
9 de Mayo de 2015
https://www.sqlsaturday.com/373/register.aspx
4. Capítulo Global PASS en Español
4
4
Reuniones semanales todos los miércoles a
las 12PM UTC-5 (Hora de Colombia)
https://www.facebook.com/SpanishPASSVC
5. 5
Asistencia Técnica
Si requiere asistencia
durante la sesión debe
usar la sección de
preguntas que esta en el
menú de la derecha.
Use el botón de Zoom
para ajustar su pantalla
al tamaño deseado
Escriba sus preguntas
en la sección de
preguntas que esta en el
menú de la derecha
6. 6
Eduardo Castro
Eduardo Castro cuenta con más de 17 años de experiencia con herramientas
Microsoft y ha sido reconocido como Most Valuable Professional de Microsoft
SQL Server en más de 10 ocasiones. Eduardo es un orador activo en las
comunidades técnicas de Microsoft y ha sido experto invitado y conferencista
en eventos tales como SQL Server Pass Summit, el Congreso Mundial de
Arquitectura (IWS de IASA), The OpenGroup Enterprise Architecture
Conference, IEEE Congress.
6
7. Fuentes de esta presentación
MSDN Channel 9
7
Microsoft Azure SQL Databases
SQL Azure Scalability
Microsoft Azure SQL Databases Overview
Microsoft Azure Elastic Scale
10. Nube Híbrida
SQL
SQL SQL SQL
SQL Server Private Cloud
Máquinas virtualizadas
10
Plataforma Microsoft SQL
On Premises
Físico
Virtual
Plataforma como un Servicio
SQL SQL
Infraestructura como Servicio
SQL SQL SQL
SQL Server
Máquinas físicas (hierro en bruto)
Base de datos SQL Azure
Bases de datos virtualizados
SQL Server en Azure VM
Máquinas virtualizadas
Menor costo
compartido
Dedicado
costo más alto
Fuera de las
instalaciones
SQL
Administración Superior Baja la Administración
11. 11
Base de datos SQL Azure
Base de datos relacional -como-un-servicio, totalmente administrado por
Microsoft
Diseñado para aplicaciones en la nube
Plataforma de base de datos de
nivel empresarial con la
economía nube
12. SQL Database - Niveles de servicio de base de datos
• •• •••
• •• •••
13. Rendimiento predecible
Web / Business
Básico / Standard /
Premium
Máquina
Escribe
Lee
Memoria
DB 1
DB 2
DB 3
DB 4
DB 7
DB 5 DB 6
DB 8
DB 9
Máquina
Escribe
Lee
Memoria
DB 1
DB 2
DB 3
DB 4
DB 7
DB 5 DB 6
DB 8
DB 9
DB 1
DB 2
DB 3
DB
4
DB 7
DB 5
DB
6
DB 8
DB 9
Vecino ruidoso!
Delimitadores
eliminan vecinos
ruidosos
14. Opciones de escalabilidad en la base de datos SQL
Azure
Rendimiento previsible: escalamiento hacia arriba o
hacia abajo (vertical)
• Cambie de niveles de servicio para una base de datos dada, con base en las necesidades de
14
capacidad / rendimiento
Escalamiento elástico: Horizontal
• Añadir o eliminar bases de datos como más o menos capacidad / rendimiento según sea necesario
15. Opciones de escalabilidad en la base de datos SQL
Azure
15
Premium
Estándar
Básico
Premium
Estándar
Básico Básico Básico Básico Básico Básico
Escalamiento OUT / IN
Escala hacia arriba / abajo
16. 16
Rendimiento escalable
• Básico,Estándar, y Premium proporcionan el aumento de los niveles de rendimiento
• El rendimiento se expresa en unidades de rendimiento de base de datos (DTU)
DTU es una medida combinada de la CPU, IO lectura, IO escritura, y la memoria
• Escala de rendimiento arriba / abajo a través del portal, las API, PS, o T-SQL
para reflejar la demanda real o anticipada
• Base de datos permanece en línea, durante el cambio
• Facturación por hora
B S0
S1
S2
P1
P2
P3
DTU 5 10 20 50 100 200 800
17. Unidad de Rendimiento de Base de Datos- DTU
Cuadro delimitador
DB carga de
trabajo
Representa la capacidad relativa (recursos) asignado a la base de datos
Medida de CPU, la memoria, y lecturas y escrituras
Simplifica las opciones selección de rendimiento
17
Monitoreo
% De Nivel de rendimiento actual
Utilización
75%
Leer
50%
Escribir
50%
UPC
60%
Memoria
Calcular
Escribe
Lee
Memoria
18. Nuevos niveles de rendimiento
Básico Estándar Prima
18
Niveles de Desempeño
(DTU)
5 S0: 10
S1: 20
S2: 50
P1: 100
P2:200
P3: 800
Resultados de ASDB 16600 tx/hora S1: ,520 tx/minuto
S1: ,940 tx/minuto
S2: 2570 tx/minuto
P1: 105 tx/segundo
P2: 228 tx/segundo
P3: 735 tx/segundo
El tamaño máximo de DB 2GB 250GB 500GB
Precio * por hora (mes) 0,0069 dólares (~ $ 5) S0: 0,0208 dólares (~ $ 15)
S1: $ 0,0417 (~ $ 30)
S2: 0,1042 dólares (~ $ 75)
P1: 0,6458 dólares (~ $ 465)
P2: $ 1.292 (~ $ 930)
P3: $ 5.167 (~ $ 3720)
* A partir de 1 de noviembrest
19. RESULTADO
19
UPC
Escribe
Lee
UPC
Escribe
Lee
Gobernanza de Recursos
Las solicitudes de recursos no se rechazan, pero se ponen en cola
La sobrecarga puede dar lugar a transacciones de larga ejecución o posiblidad
de timeout
SELECT * FROM a
JOIN b ON …
UPC
Escribe
Lee
20. La elección de los niveles de desempeño
20
La migración desde on Premises
Crear escenarios de prueba
La migración desde Web & Business
Utilice master.sys.resource_stats
El cambio entre los niveles
Utilice userdb.sys.dm_db_resource_stats
Afinamiento de consultas
sys.dm_exec_query_stats
sys.dm_exec_query_sql_text()
sys.dm_exec_query_plan
sys.dm_exec_requests
sys.dm_exec_sessions
21. Cómo cambiar el Nivel de Rendimiento
21
PowerShell
Set-AzureSqlDatabase
REST
Update Database / ServiceLevelObjectiveId
.NET
Microsoft.WindowsAzure.Management.Sql.
SqlManagementClient
client.Databases.Update(...)
T-SQL
ALTER DATABASE … MODIFY (EDITION = …)
22. 22
Administración de cuotas
Cuota por servidor
6 Servidores por suscripción
Cuotas por DB
1600 DTU
150 bases de datos
Ejemplos
2 P3 = 2x800 DTU = 1600 DTU
160 S0 = 160x10 DTU = 1600 DTU
200 S2 = 200x50 DTU = 10000 DTU
1 P3, 14 S2,10 S0 ... = 1.600 DTU / 25 DB
23. Monitoreo de las base de datos
23
• Monitorear el consumo de recursos y
establecer alertas y notificaciones para guiar
las decisiones de escalablidad
• Métricas incluyen el uso de DTU, el uso de
recursos, el tamaño de la base de datos, la
salud de conexión
• Dashboard para ver resumen del rendimiento
25. Eslastic Scale en SQL Azure
• Escalamiento hasta miles de bases de datos utilizando el patrón de base de
25
datos fragmentadas (Sharding)
• Soporta añadir, divider y combinar “shards” con el movimiento de datos
• Los clientes pueden combinar resultados de la consulta de múltiples “shards”
Shards de SQL Database
26. 26
Conceptos
(1) Base de
Datos
(2) Sharding Clave
(6) Tabla fragmentada
. . .
(3) Shard Map
Manager
(4) Shard
(4) Shard
(5) Shard Set
(8) Shardlet
(7) Tabla
Tabla Cliente
ID de cliente Nombre
1 Alicia
2 Bob
Tabla DataCenter
ID DataCenter Nombre
DC
1 Boston
2 Miami
27. Uso de escalamiento por Sharding
API de cliente .NET
27
Aplicación
Desarrollador
Aplicación
.NET
Shard Map Management (SMM)
• Define grupos de shards para su aplicación
• Maneja mapeo de llaves de enrutamiento
Data Dependent Routing (DDR)
• Enruta solicitudes entrantes para el shard correcto,
por ejemplo, dado un ID de cliente
• Información de enrutamiento se guarda en caché por
eficiencia
Multi-Shard Query (MSQ)
• Procesamiento interactivo a través de varios Shards
• La misma sentencia ejecutada en todos los shards
con UNION ALL
Admin /
DevOps
Servicio de
Gestión
28. Data Dependent Routing (DDR)
using (SqlConnection conn = ShardMap.OpenConnectionForKey(
shardingKey,
connectionString,
ConnectionOptions.Validate));
28
{
using (SqlCommand cmd = new SqlCommand()
{
cmd.Connection = conn;
cmd.CommandText = "SELECT * FROM customers WHERE customer ID =
104";
SqlDataReader sdr = cmd.ExecuteReader();
}
}
29. Data Dependent Routing (DDR)
Caché: mejora el rendimiento de las operaciones de Shards
• Global Shard Map (GSM) - estado de todos los Shards en el Shard Map
• Local Shard Map (LSM) - estado de todos los Shards en un Shard concreto
• Client Cache (eager/lazy) - estado de todos los Shards en los Shard Maps / Shards
29
conocidos
Client App
DDR API
Desarrollador Cache
Shard Map
Manager
GSM
DB
LSM
30. 30
Multi-Shard Query
Cliente App
MSQ API
SELECT count(*)
FROM customers
UNION ALL result set
DB1
[0-100)
DB2 . . .
[100-200)
DB3
[200-300)
DB4
[300-400)
DB5
[400-500)
DB6
[500-600)
DBn
[N - n + 100)
Aplicación
Revelador
Shard Map
Manager
31. Consulta de multiples Shards
using (MultiShardConnection conn = new MultiShardConnection(m_shardMap.GetAllShards(null),
MultiShardTestUtils.GetTestSqlCredential()))
{
using (MultiShardCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "SELECT count(*) FROM customers";
cmd.CommandType = CommandType.Text;
cmd.Policy = MultiShardPolicy.PartialResults;
using (MultiShardDataReader sdr = cmd.ExecuteReader(includeShardNameColumn: true))
{
31
while (sdr.Read())
{
// Now consume results from the data reader…
}
}
}
}
32. Combinación y división de Shards
• Dividir: crear dos shards con base en uno
• Combinar: crear un shards de dos shards distintos
• Mover a un punto: mover un solo tenand a un shard específico
Merge Split
32
DB1
[0-100)
DB2 . . .
[100-200)
DB3
[200-300)
DB4
[300-400)
DB5
[400-500)
DB6
[500-600)
DBn
[N - n + 100)
DB2.1
[0-200)
DB5.1
[400-450)
DB5.2
[450-500)