SlideShare una empresa de Scribd logo
1 de 25
Descargar para leer sin conexión
Foro Microsoft
Big Data y
Analytics
Filtrar > Decidir > Acertar
Nunca fue más fácil
Novedades en el manejo de
Grandes volúmenes de datos
con SQL Server 2014
Enrique Puig Nouselles
e.puig@outlook.es
@epuignouselles
Blog: www.sqlserverpasion.com
DBA at RipLife Gaming Technologies
Objetivos
• ¿Qué desafíos plantea trabajar con grandes volúmenes de datos?
• ¿Qué técnicas existen para afrontar estos desafíos?
• ¿Qué trae SQL Server 2014 para ayudarnos?
Agenda
• Desafíos de las VLT
• Mantenimiento
• Rendimiento
• Novedades de SQL Server 2014
• Reconstrucción online de Índices particionados
• Estadísticas incrementales
• Índices columnares / In-Memory DW
Very Large Tables (VLT)
• Gran cantidad de datos
• Millones/Billones de filas
• Datos estructurados
• OLTP
• Aplicaciones de misión crítica
• Sistemas con elevado número de TPS
• Sistemas con tracking/Logging
• DataWarehouse
• Repositorio histórico de procesos de negocio
• Procesos de carga perdiódicos
Desafíos de las VLT (Very Large
Tables)
Transaccional
Reportes
Índices
Estadísticas
Historificación
RendimientoMantenimiento
Desafíos: Mantenimiento de Índices
• Imprescindible para evitar fragmentación
• Sobrecarga E/S
• Full Scan de las tablas
• Escritura intensiva en Log
• CPU
• Bloqueos
• Soluciones actuales:
• Reorganización vs. Rebuild
• Particionado de datos
Desafíos: Mantenimiento de Índices (II)
Con SQL Server 2014…
• Rebuild Online a nivel de partición
• Lock Priority
• Prioridad del proceso
• MAX_DURATION
• ABORT_AFTER_WAIT
• Reducimos Bloqueos
• Mayor control de Bloqueos
Desafíos: Mantenimiento de
Estadísticas• Ayudan al optimizador -> Planes de ejecución
• Histogramas
• Aconsejable FULLSCAN
• Requieren de E/S
• Impactan en performance
• Soluciones actuales:
• Actualizar estadísticas con muestreos de datos
• Estrategia de actualizaciones
• Varias ventanas de mantenimiento
Desafíos: Mantenimiento de
EstadísticasCon SQL Server 2014…
• Estadísticas Incrementales
• Basadas en particionado de datos
• Definición explícita
Desafíos: Rendimiento consultas
Soluciones actuales
• Índices de cobertura
• Compresión
• Particionado de datos
• Código T-SQL Eficiente
OLTP
Insert/Delete/Update
Select by Key (1 row)
24 x 7 x 365
DataWarehouse
Consultas de negocio
Group By / MAX(), MIN()…
Cargas periódicas
Híbridos
Cargas de trabajo mixtas
Impacto en rendimiento
Desafíos: Rendimiento consultas
Con SQL Server 2014…
• Índices columnares
• Mejoras desde 2012
• Clustered Columnstore Indexes
• Read-Write
• Particionado de datos
• Nuevo tipo de compresión de datos
Desafíos: Historificación de datos
• Movimiento de datos “no activos”
• Almacenamiento de alto rendimiento
• limitado y caro
• Posibles soluciones actuales
• Particionado + Compresión
• Particionado + Compresión + Tabla Hist
• Particionado + compresión + BBDD hist
• Particionado + compresión + Servidor hist
• Otras….
Particionado + Compresión
<=M-6 M-5 M-2M-3M-4 >= MM-1
Particiones comprimidas (PAGE)
Datos “no activos”
Filegroup Readonly
Almacenamiento bajo rendimiento
Particiones sin compresión
Datos “activos”
Primary Filegroup
Almacenamiento Alto rendimiento
dbo.Ventas
Particionado + Compresión + Tabla
Hist
M-2 >= MM-1
dbo.Ventas
<=M-6 M-5 M-3M-4
dbo.Hist_Ventas
Particiones comprimidas (PAGE)
Datos “no activos”
Filegroup Readonly
Almacenamiento bajo rendimiento
Particiones sin compresión
Datos “activos”
Primary Filegroup
Almacenamiento Alto rendimiento
Switch IN/OUT
Particionado + Compresión + BBDD
Hist
M-2 >= MM-1
dbo.Ventas
STG
dbo.Stg_VentasStep1
Switch
OUT
Hist
BBDD
Step2
Movimiento Datos
SSIS/Otros <=M-6 M-5 M-3M-4
dbo.Hist_Ventas
OnPremise/Azure
Particionado + Compresión + Columnar
M-2 >= MM-1
dbo.Ventas
STG
dbo.Stg_Ventas
Particiones comprimidas
Columnstore vs. Columnstore_Archive
Datos “no activos”
Almacenamiento alto rendimiento
Particiones sin compresión
Datos “activos”
Primary Filegroup
Almacenamiento Alto rendimiento
Step1
Switch OUT
<=M-6 M-5 M-3M-4
Step2
Switch IN
Resumen
• Relativo a VLT, SQL Server 2014 nos permite…
• Flexibilidad en Mantenimiento
• Reduciendo impacto en performance
• Consultas analíticas más rápidas
• Reducimos IOPS
• Maximizamos memoria
• Tablas Read-Write
• Reducción de tamaños
• Nuevas capacidades de compresión
• COLUMNSTORE_ARCHIVE
• Aumentan las posibilidades de historificación
Gracias!
Datos de contacto:
Twitter: @epuignouselles
Blog Personal: www.sqlserverpasion.com
Mail: e.puig@Outlook.es
Únete a PASS Spain
Comunidad Española de SQL Server
• Noticias
• Webcasts
• Charlas
• Foro, dudas…
https://www.facebook.com/PASSspanish
SolidQ Summit
Madrid 2014
20, 21, 22 Mayo 2014
• 2 Tracks SQL,BI ,Big Data
• 3 jornadas
• 30 sesiones técnicas
• Mentores de SolidQ
http://summit.solidq.com http://www.gusenet.org
23 charlas variadas
BI, SQL, C#, MVC,
angular, Javascript,
Kinect, NancyFx, Dev, …
¿Preguntas?

Más contenido relacionado

La actualidad más candente

Microsoft Azure SQL Database
Microsoft Azure SQL DatabaseMicrosoft Azure SQL Database
Microsoft Azure SQL DatabaseJoseph Lopez
 
SQL Server Analysis Services
SQL Server Analysis ServicesSQL Server Analysis Services
SQL Server Analysis Servicesjorge Muchaypiña
 
Novedades SQL Server 2012 para desarrolladores
Novedades SQL Server 2012 para desarrolladoresNovedades SQL Server 2012 para desarrolladores
Novedades SQL Server 2012 para desarrolladoresEnrique Catala Bañuls
 
Global azure bootcamp SQL Azure End to End
Global azure bootcamp   SQL Azure End to End Global azure bootcamp   SQL Azure End to End
Global azure bootcamp SQL Azure End to End jorge Muchaypiña
 
Aplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual MachineAplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual MachineJoseph Lopez
 
Introduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch DatabasesIntroduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch DatabasesEduardo Castro
 
SQL Server 2014 Mejoras del DB Engine
SQL Server 2014 Mejoras del DB EngineSQL Server 2014 Mejoras del DB Engine
SQL Server 2014 Mejoras del DB EngineEduardo Castro
 
Casos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL ServerCasos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL ServerEduardo Castro
 
Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...
Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...
Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...Joseph Lopez
 
Introduccion a las Bodegas de Datos
Introduccion a las Bodegas de DatosIntroduccion a las Bodegas de Datos
Introduccion a las Bodegas de DatosJoseph Lopez
 
Sql server analysis services 2008
Sql server analysis services 2008Sql server analysis services 2008
Sql server analysis services 2008Will Flores Soto
 
SQL Server 2014 y La Plataforma de Datos
SQL Server 2014 y La Plataforma de DatosSQL Server 2014 y La Plataforma de Datos
SQL Server 2014 y La Plataforma de DatosJoseph Lopez
 
Polybase
PolybasePolybase
PolybaseSolidQ
 
Mejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerMejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerSpanishPASSVC
 
VMs de alto rendimiento para SQL Server en AWS y Azure
VMs de alto rendimiento para SQL Server en AWS y AzureVMs de alto rendimiento para SQL Server en AWS y Azure
VMs de alto rendimiento para SQL Server en AWS y AzureSpanishPASSVC
 
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...Joseph Lopez
 
Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)SolidQ
 
Planeando e implementando servicios de datos con Microsoft Azure
Planeando e implementando servicios de datos con Microsoft AzurePlaneando e implementando servicios de datos con Microsoft Azure
Planeando e implementando servicios de datos con Microsoft AzureSpanishPASSVC
 
Desarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQL
Desarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQLDesarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQL
Desarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQLRoanny Lamas
 
BI real time analytics
BI real time analyticsBI real time analytics
BI real time analyticsSolidQ
 

La actualidad más candente (20)

Microsoft Azure SQL Database
Microsoft Azure SQL DatabaseMicrosoft Azure SQL Database
Microsoft Azure SQL Database
 
SQL Server Analysis Services
SQL Server Analysis ServicesSQL Server Analysis Services
SQL Server Analysis Services
 
Novedades SQL Server 2012 para desarrolladores
Novedades SQL Server 2012 para desarrolladoresNovedades SQL Server 2012 para desarrolladores
Novedades SQL Server 2012 para desarrolladores
 
Global azure bootcamp SQL Azure End to End
Global azure bootcamp   SQL Azure End to End Global azure bootcamp   SQL Azure End to End
Global azure bootcamp SQL Azure End to End
 
Aplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual MachineAplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual Machine
 
Introduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch DatabasesIntroduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch Databases
 
SQL Server 2014 Mejoras del DB Engine
SQL Server 2014 Mejoras del DB EngineSQL Server 2014 Mejoras del DB Engine
SQL Server 2014 Mejoras del DB Engine
 
Casos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL ServerCasos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL Server
 
Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...
Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...
Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...
 
Introduccion a las Bodegas de Datos
Introduccion a las Bodegas de DatosIntroduccion a las Bodegas de Datos
Introduccion a las Bodegas de Datos
 
Sql server analysis services 2008
Sql server analysis services 2008Sql server analysis services 2008
Sql server analysis services 2008
 
SQL Server 2014 y La Plataforma de Datos
SQL Server 2014 y La Plataforma de DatosSQL Server 2014 y La Plataforma de Datos
SQL Server 2014 y La Plataforma de Datos
 
Polybase
PolybasePolybase
Polybase
 
Mejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerMejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL Server
 
VMs de alto rendimiento para SQL Server en AWS y Azure
VMs de alto rendimiento para SQL Server en AWS y AzureVMs de alto rendimiento para SQL Server en AWS y Azure
VMs de alto rendimiento para SQL Server en AWS y Azure
 
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
 
Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)
 
Planeando e implementando servicios de datos con Microsoft Azure
Planeando e implementando servicios de datos con Microsoft AzurePlaneando e implementando servicios de datos con Microsoft Azure
Planeando e implementando servicios de datos con Microsoft Azure
 
Desarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQL
Desarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQLDesarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQL
Desarrollo de Almacenes de Datos con Sistemas Gestores de Bases de Datos NOSQL
 
BI real time analytics
BI real time analyticsBI real time analytics
BI real time analytics
 

Destacado

MS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTPMS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTPJoseph Lopez
 
INTERBLOQUEOS Y NIVELES DE AISLAMIENTO
INTERBLOQUEOS Y NIVELES DE AISLAMIENTOINTERBLOQUEOS Y NIVELES DE AISLAMIENTO
INTERBLOQUEOS Y NIVELES DE AISLAMIENTOjuan
 
SQL Server - Querying and Managing XML Data
SQL Server - Querying and Managing XML DataSQL Server - Querying and Managing XML Data
SQL Server - Querying and Managing XML DataMarek Maśko
 
Fundamentos sobre los Bloqueos en SQL Server
Fundamentos sobre los Bloqueos en SQL ServerFundamentos sobre los Bloqueos en SQL Server
Fundamentos sobre los Bloqueos en SQL ServerKike Puig
 
02 troubleshooting essentials sql server profiler - sql pass peru
02 troubleshooting essentials   sql server profiler - sql pass peru02 troubleshooting essentials   sql server profiler - sql pass peru
02 troubleshooting essentials sql server profiler - sql pass peruGuillermo Taylor
 

Destacado (6)

MS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTPMS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTP
 
Simultaneidad impedidos por los bloqueos
Simultaneidad impedidos por los bloqueosSimultaneidad impedidos por los bloqueos
Simultaneidad impedidos por los bloqueos
 
INTERBLOQUEOS Y NIVELES DE AISLAMIENTO
INTERBLOQUEOS Y NIVELES DE AISLAMIENTOINTERBLOQUEOS Y NIVELES DE AISLAMIENTO
INTERBLOQUEOS Y NIVELES DE AISLAMIENTO
 
SQL Server - Querying and Managing XML Data
SQL Server - Querying and Managing XML DataSQL Server - Querying and Managing XML Data
SQL Server - Querying and Managing XML Data
 
Fundamentos sobre los Bloqueos en SQL Server
Fundamentos sobre los Bloqueos en SQL ServerFundamentos sobre los Bloqueos en SQL Server
Fundamentos sobre los Bloqueos en SQL Server
 
02 troubleshooting essentials sql server profiler - sql pass peru
02 troubleshooting essentials   sql server profiler - sql pass peru02 troubleshooting essentials   sql server profiler - sql pass peru
02 troubleshooting essentials sql server profiler - sql pass peru
 

Similar a Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014

Aplicaciones difusas manejo de grandes volúmenes de datos
Aplicaciones difusas manejo de grandes volúmenes de datosAplicaciones difusas manejo de grandes volúmenes de datos
Aplicaciones difusas manejo de grandes volúmenes de datosLuis Fernando Aguas Bucheli
 
JASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptx
JASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptxJASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptx
JASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptxIT-NOVA
 
Sql server 2014 y la plataforma de datos
Sql server 2014 y la plataforma de datosSql server 2014 y la plataforma de datos
Sql server 2014 y la plataforma de datosSpanishPASSVC
 
Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014
Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014
Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014SolidQ
 
In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016Joseph Lopez
 
Top BI Enhancements for Sql Server 2012
Top BI Enhancements for Sql Server 2012Top BI Enhancements for Sql Server 2012
Top BI Enhancements for Sql Server 2012BILATAM
 
Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)Enrique Catala Bañuls
 
Implementando un Data Mart con SQL Server 2016
Implementando un Data Mart con SQL Server 2016Implementando un Data Mart con SQL Server 2016
Implementando un Data Mart con SQL Server 2016Raul Martin Sarachaga Diaz
 
Big Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasBig Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasJoseph Lopez
 
Novedades sql server 2008 para developers
Novedades sql server 2008 para developersNovedades sql server 2008 para developers
Novedades sql server 2008 para developersEnrique Catala Bañuls
 
Microsoft Azure Data Environment
Microsoft Azure Data EnvironmentMicrosoft Azure Data Environment
Microsoft Azure Data EnvironmentJoseph Lopez
 
Novedades de SQL Server 2014 para BI
Novedades de SQL Server 2014 para BINovedades de SQL Server 2014 para BI
Novedades de SQL Server 2014 para BISolidQ
 
Indices Columnares en SQL Server 2014
Indices Columnares en SQL Server 2014Indices Columnares en SQL Server 2014
Indices Columnares en SQL Server 2014SpanishPASSVC
 
SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...
SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...
SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...Guillermo Taylor
 
Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016Joseph Lopez
 
Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ...
 Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ... Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ...
Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ...CLARA CAMPROVIN
 
Rendimiento performance
Rendimiento performanceRendimiento performance
Rendimiento performancemelasa7
 

Similar a Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014 (20)

Aplicaciones difusas manejo de grandes volúmenes de datos
Aplicaciones difusas manejo de grandes volúmenes de datosAplicaciones difusas manejo de grandes volúmenes de datos
Aplicaciones difusas manejo de grandes volúmenes de datos
 
JASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptx
JASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptxJASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptx
JASPERSOFT REPORTERÍA INTEGRADA IT-NOVA.pptx
 
Sql server 2014 y la plataforma de datos
Sql server 2014 y la plataforma de datosSql server 2014 y la plataforma de datos
Sql server 2014 y la plataforma de datos
 
Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014
Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014
Novedades deSQL Server 2014 en Motor Relacional | SolidQ Summit 2014
 
In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016
 
Top BI Enhancements for Sql Server 2012
Top BI Enhancements for Sql Server 2012Top BI Enhancements for Sql Server 2012
Top BI Enhancements for Sql Server 2012
 
Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)
 
Data warehouse in R
Data warehouse in RData warehouse in R
Data warehouse in R
 
Implementando un Data Mart con SQL Server 2016
Implementando un Data Mart con SQL Server 2016Implementando un Data Mart con SQL Server 2016
Implementando un Data Mart con SQL Server 2016
 
Big Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasBig Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivas
 
Novedades sql server 2008 para developers
Novedades sql server 2008 para developersNovedades sql server 2008 para developers
Novedades sql server 2008 para developers
 
Microsoft Azure Data Environment
Microsoft Azure Data EnvironmentMicrosoft Azure Data Environment
Microsoft Azure Data Environment
 
Novedades de SQL Server 2014 para BI
Novedades de SQL Server 2014 para BINovedades de SQL Server 2014 para BI
Novedades de SQL Server 2014 para BI
 
Indices Columnares en SQL Server 2014
Indices Columnares en SQL Server 2014Indices Columnares en SQL Server 2014
Indices Columnares en SQL Server 2014
 
SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...
SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...
SqlSat247 Bogota - SQL Server Modo Tabular vs Modo Multidimensional - Pros y ...
 
Fundamentos de BI
Fundamentos de BIFundamentos de BI
Fundamentos de BI
 
PRESENTACIÓN PROFIT
PRESENTACIÓN PROFITPRESENTACIÓN PROFIT
PRESENTACIÓN PROFIT
 
Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016
 
Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ...
 Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ... Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ...
Lo que hay que saber si quieres migrar o actualizar tu versión de Microsoft ...
 
Rendimiento performance
Rendimiento performanceRendimiento performance
Rendimiento performance
 

Último

La electricidad y la electrónica saray 10-2
La electricidad y la electrónica saray 10-2La electricidad y la electrónica saray 10-2
La electricidad y la electrónica saray 10-2SariGarcs
 
tecnologiaactividad11-240323205859-a9b9b9bc.pdf
tecnologiaactividad11-240323205859-a9b9b9bc.pdftecnologiaactividad11-240323205859-a9b9b9bc.pdf
tecnologiaactividad11-240323205859-a9b9b9bc.pdflauralizcano0319
 
.Informe electricidad y electronica.docx
.Informe electricidad y electronica.docx.Informe electricidad y electronica.docx
.Informe electricidad y electronica.docxCamila Ortiz
 
TENDENCIAS DE IA Inteligencia artificial generativa.pdf
TENDENCIAS DE IA Inteligencia artificial generativa.pdfTENDENCIAS DE IA Inteligencia artificial generativa.pdf
TENDENCIAS DE IA Inteligencia artificial generativa.pdfJoseAlejandroPerezBa
 
Análisis de Artefactos Tecnologicos .docx
Análisis de Artefactos Tecnologicos .docxAnálisis de Artefactos Tecnologicos .docx
Análisis de Artefactos Tecnologicos .docxmajovaru19
 
ORIENTACIONES DE INFORMÁTICA-2024.pdf-guia
ORIENTACIONES DE INFORMÁTICA-2024.pdf-guiaORIENTACIONES DE INFORMÁTICA-2024.pdf-guia
ORIENTACIONES DE INFORMÁTICA-2024.pdf-guiaYeimys Ch
 
#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx
#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx
#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptxHugoGutierrez99
 
Trabajo de tecnología primer periodo 2024
Trabajo de tecnología primer periodo 2024Trabajo de tecnología primer periodo 2024
Trabajo de tecnología primer periodo 2024anasofiarodriguezcru
 
BLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docx
BLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docxBLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docx
BLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docxhellendiaz12
 
TECNOLOGIA 11-4.8888888888888888888888888
TECNOLOGIA 11-4.8888888888888888888888888TECNOLOGIA 11-4.8888888888888888888888888
TECNOLOGIA 11-4.8888888888888888888888888ElianaValencia28
 
tecno 2024.pdf sara mineiro palacio 10-6
tecno 2024.pdf sara mineiro palacio 10-6tecno 2024.pdf sara mineiro palacio 10-6
tecno 2024.pdf sara mineiro palacio 10-6SaraMineiropalacio
 
Trabajo de tecnología liceo departamental
Trabajo de tecnología liceo departamentalTrabajo de tecnología liceo departamental
Trabajo de tecnología liceo departamentalEmanuelCastro64
 
Clasificación de Conjuntos de Datos Desequilibrados.pptx
Clasificación de Conjuntos de Datos Desequilibrados.pptxClasificación de Conjuntos de Datos Desequilibrados.pptx
Clasificación de Conjuntos de Datos Desequilibrados.pptxCarolina Bujaico
 
_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf
_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf
_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdfBetianaJuarez1
 
LA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPO
LA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPOLA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPO
LA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPOv16959670
 
La electricidad y la electronica.10-7.pdf
La electricidad y la electronica.10-7.pdfLa electricidad y la electronica.10-7.pdf
La electricidad y la electronica.10-7.pdfcristianrb0324
 
Trabajo de Tecnología .pdfywhwhejsjsjsjsjsk
Trabajo de Tecnología .pdfywhwhejsjsjsjsjskTrabajo de Tecnología .pdfywhwhejsjsjsjsjsk
Trabajo de Tecnología .pdfywhwhejsjsjsjsjskbydaniela5
 
Nomisam: Base de Datos para Gestión de Nómina
Nomisam: Base de Datos para Gestión de NóminaNomisam: Base de Datos para Gestión de Nómina
Nomisam: Base de Datos para Gestión de Nóminacuellosameidy
 
Tecnología Educativa- presentación maestría
Tecnología Educativa- presentación maestríaTecnología Educativa- presentación maestría
Tecnología Educativa- presentación maestríaElizabethLpezSoto
 
Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)JuanStevenTrujilloCh
 

Último (20)

La electricidad y la electrónica saray 10-2
La electricidad y la electrónica saray 10-2La electricidad y la electrónica saray 10-2
La electricidad y la electrónica saray 10-2
 
tecnologiaactividad11-240323205859-a9b9b9bc.pdf
tecnologiaactividad11-240323205859-a9b9b9bc.pdftecnologiaactividad11-240323205859-a9b9b9bc.pdf
tecnologiaactividad11-240323205859-a9b9b9bc.pdf
 
.Informe electricidad y electronica.docx
.Informe electricidad y electronica.docx.Informe electricidad y electronica.docx
.Informe electricidad y electronica.docx
 
TENDENCIAS DE IA Inteligencia artificial generativa.pdf
TENDENCIAS DE IA Inteligencia artificial generativa.pdfTENDENCIAS DE IA Inteligencia artificial generativa.pdf
TENDENCIAS DE IA Inteligencia artificial generativa.pdf
 
Análisis de Artefactos Tecnologicos .docx
Análisis de Artefactos Tecnologicos .docxAnálisis de Artefactos Tecnologicos .docx
Análisis de Artefactos Tecnologicos .docx
 
ORIENTACIONES DE INFORMÁTICA-2024.pdf-guia
ORIENTACIONES DE INFORMÁTICA-2024.pdf-guiaORIENTACIONES DE INFORMÁTICA-2024.pdf-guia
ORIENTACIONES DE INFORMÁTICA-2024.pdf-guia
 
#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx
#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx
#Tare10ProgramacionWeb2024aaaaaaaaaaaa.pptx
 
Trabajo de tecnología primer periodo 2024
Trabajo de tecnología primer periodo 2024Trabajo de tecnología primer periodo 2024
Trabajo de tecnología primer periodo 2024
 
BLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docx
BLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docxBLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docx
BLOG, EXCEL AVANZADO, MÉTODOS ESTADÍSTICOS..docx
 
TECNOLOGIA 11-4.8888888888888888888888888
TECNOLOGIA 11-4.8888888888888888888888888TECNOLOGIA 11-4.8888888888888888888888888
TECNOLOGIA 11-4.8888888888888888888888888
 
tecno 2024.pdf sara mineiro palacio 10-6
tecno 2024.pdf sara mineiro palacio 10-6tecno 2024.pdf sara mineiro palacio 10-6
tecno 2024.pdf sara mineiro palacio 10-6
 
Trabajo de tecnología liceo departamental
Trabajo de tecnología liceo departamentalTrabajo de tecnología liceo departamental
Trabajo de tecnología liceo departamental
 
Clasificación de Conjuntos de Datos Desequilibrados.pptx
Clasificación de Conjuntos de Datos Desequilibrados.pptxClasificación de Conjuntos de Datos Desequilibrados.pptx
Clasificación de Conjuntos de Datos Desequilibrados.pptx
 
_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf
_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf
_Planificacion Anual NTICX 2024.SEC.21.4.1.docx.pdf
 
LA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPO
LA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPOLA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPO
LA ELECTRICIDAD Y LA ELECTRÓNICA TRABAJO EN GRUPO
 
La electricidad y la electronica.10-7.pdf
La electricidad y la electronica.10-7.pdfLa electricidad y la electronica.10-7.pdf
La electricidad y la electronica.10-7.pdf
 
Trabajo de Tecnología .pdfywhwhejsjsjsjsjsk
Trabajo de Tecnología .pdfywhwhejsjsjsjsjskTrabajo de Tecnología .pdfywhwhejsjsjsjsjsk
Trabajo de Tecnología .pdfywhwhejsjsjsjsjsk
 
Nomisam: Base de Datos para Gestión de Nómina
Nomisam: Base de Datos para Gestión de NóminaNomisam: Base de Datos para Gestión de Nómina
Nomisam: Base de Datos para Gestión de Nómina
 
Tecnología Educativa- presentación maestría
Tecnología Educativa- presentación maestríaTecnología Educativa- presentación maestría
Tecnología Educativa- presentación maestría
 
Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)Análisis de los artefactos (nintendo NES)
Análisis de los artefactos (nintendo NES)
 

Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014

  • 1. Foro Microsoft Big Data y Analytics Filtrar > Decidir > Acertar Nunca fue más fácil
  • 2. Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014 Enrique Puig Nouselles e.puig@outlook.es @epuignouselles Blog: www.sqlserverpasion.com DBA at RipLife Gaming Technologies
  • 3. Objetivos • ¿Qué desafíos plantea trabajar con grandes volúmenes de datos? • ¿Qué técnicas existen para afrontar estos desafíos? • ¿Qué trae SQL Server 2014 para ayudarnos?
  • 4. Agenda • Desafíos de las VLT • Mantenimiento • Rendimiento • Novedades de SQL Server 2014 • Reconstrucción online de Índices particionados • Estadísticas incrementales • Índices columnares / In-Memory DW
  • 5. Very Large Tables (VLT) • Gran cantidad de datos • Millones/Billones de filas • Datos estructurados • OLTP • Aplicaciones de misión crítica • Sistemas con elevado número de TPS • Sistemas con tracking/Logging • DataWarehouse • Repositorio histórico de procesos de negocio • Procesos de carga perdiódicos
  • 6. Desafíos de las VLT (Very Large Tables) Transaccional Reportes Índices Estadísticas Historificación RendimientoMantenimiento
  • 7. Desafíos: Mantenimiento de Índices • Imprescindible para evitar fragmentación • Sobrecarga E/S • Full Scan de las tablas • Escritura intensiva en Log • CPU • Bloqueos • Soluciones actuales: • Reorganización vs. Rebuild • Particionado de datos
  • 8. Desafíos: Mantenimiento de Índices (II) Con SQL Server 2014… • Rebuild Online a nivel de partición • Lock Priority • Prioridad del proceso • MAX_DURATION • ABORT_AFTER_WAIT • Reducimos Bloqueos • Mayor control de Bloqueos
  • 9. Desafíos: Mantenimiento de Estadísticas• Ayudan al optimizador -> Planes de ejecución • Histogramas • Aconsejable FULLSCAN • Requieren de E/S • Impactan en performance • Soluciones actuales: • Actualizar estadísticas con muestreos de datos • Estrategia de actualizaciones • Varias ventanas de mantenimiento
  • 10. Desafíos: Mantenimiento de EstadísticasCon SQL Server 2014… • Estadísticas Incrementales • Basadas en particionado de datos • Definición explícita
  • 11.
  • 12. Desafíos: Rendimiento consultas Soluciones actuales • Índices de cobertura • Compresión • Particionado de datos • Código T-SQL Eficiente OLTP Insert/Delete/Update Select by Key (1 row) 24 x 7 x 365 DataWarehouse Consultas de negocio Group By / MAX(), MIN()… Cargas periódicas Híbridos Cargas de trabajo mixtas Impacto en rendimiento
  • 13. Desafíos: Rendimiento consultas Con SQL Server 2014… • Índices columnares • Mejoras desde 2012 • Clustered Columnstore Indexes • Read-Write • Particionado de datos • Nuevo tipo de compresión de datos
  • 14.
  • 15. Desafíos: Historificación de datos • Movimiento de datos “no activos” • Almacenamiento de alto rendimiento • limitado y caro • Posibles soluciones actuales • Particionado + Compresión • Particionado + Compresión + Tabla Hist • Particionado + compresión + BBDD hist • Particionado + compresión + Servidor hist • Otras….
  • 16. Particionado + Compresión <=M-6 M-5 M-2M-3M-4 >= MM-1 Particiones comprimidas (PAGE) Datos “no activos” Filegroup Readonly Almacenamiento bajo rendimiento Particiones sin compresión Datos “activos” Primary Filegroup Almacenamiento Alto rendimiento dbo.Ventas
  • 17. Particionado + Compresión + Tabla Hist M-2 >= MM-1 dbo.Ventas <=M-6 M-5 M-3M-4 dbo.Hist_Ventas Particiones comprimidas (PAGE) Datos “no activos” Filegroup Readonly Almacenamiento bajo rendimiento Particiones sin compresión Datos “activos” Primary Filegroup Almacenamiento Alto rendimiento Switch IN/OUT
  • 18. Particionado + Compresión + BBDD Hist M-2 >= MM-1 dbo.Ventas STG dbo.Stg_VentasStep1 Switch OUT Hist BBDD Step2 Movimiento Datos SSIS/Otros <=M-6 M-5 M-3M-4 dbo.Hist_Ventas OnPremise/Azure
  • 19. Particionado + Compresión + Columnar M-2 >= MM-1 dbo.Ventas STG dbo.Stg_Ventas Particiones comprimidas Columnstore vs. Columnstore_Archive Datos “no activos” Almacenamiento alto rendimiento Particiones sin compresión Datos “activos” Primary Filegroup Almacenamiento Alto rendimiento Step1 Switch OUT <=M-6 M-5 M-3M-4 Step2 Switch IN
  • 20. Resumen • Relativo a VLT, SQL Server 2014 nos permite… • Flexibilidad en Mantenimiento • Reduciendo impacto en performance • Consultas analíticas más rápidas • Reducimos IOPS • Maximizamos memoria • Tablas Read-Write • Reducción de tamaños • Nuevas capacidades de compresión • COLUMNSTORE_ARCHIVE • Aumentan las posibilidades de historificación
  • 21. Gracias! Datos de contacto: Twitter: @epuignouselles Blog Personal: www.sqlserverpasion.com Mail: e.puig@Outlook.es
  • 22. Únete a PASS Spain Comunidad Española de SQL Server • Noticias • Webcasts • Charlas • Foro, dudas… https://www.facebook.com/PASSspanish
  • 23.
  • 24. SolidQ Summit Madrid 2014 20, 21, 22 Mayo 2014 • 2 Tracks SQL,BI ,Big Data • 3 jornadas • 30 sesiones técnicas • Mentores de SolidQ http://summit.solidq.com http://www.gusenet.org 23 charlas variadas BI, SQL, C#, MVC, angular, Javascript, Kinect, NancyFx, Dev, …

Notas del editor

  1. In this session we will take a closer look at the unique design points of Microsoft SQL Server’s in-memory solution and the significant impact it can have on your business.
  2. Now lets take a closer look at how we can impact your business with our in-memory technology. We are the only provider to date that can speed transactions as well as queries and insights with in-memory technology optimized for each workload: OLTP, data warehousing, and analytics. With our new in-memory OLTP engine in SQL Server 2014, we have customers that have seen up to 30x faster transaction processing. I am not talking about query speed, but actual transaction write speed, up to 30x faster. I know many of you might be thinking, well Oracle and other database vendors are talking 100x. What they are talking about is query speed, not transactional speed. We are the only vendor that delivers an in-memory engine designed for OLTP transaction performance increase. There’s also built-in In-Memory columnstore for data warehousing workloads to speed queries. We were already benchmarking over 100x performance gains with many customers in the SQL Server 2012 release of the in-memory columnstore. With SQL Server 2014, the in-memory columnstore gets even better, we will talk about that in just a few minutes. Again, we can also increase query speed by over 100x.Finally we offer business users the ability to analyze data and data models much faster with built-in in-memory capabilities for Excel through PowerPivot, and Analysis Services. The benefit is that you can analyze billions of rows of data per second in Excel. Meaning a business user can analyze data of nearly any size with the tools they are most familiar with.This is what we mean when we say “driving real-time business with real-time insights.” We can significantly speed your transaction business tied to your revenue stream. We can massively speed the process to analyze both real-time transaction data, along with historical and third party data from IT or business users. This is why we are already seeing in-memory technologies transforming the way businesses run.
  3. Now lets take a closer look at how we can impact your business with our in-memory technology. We are the only provider to date that can speed transactions as well as queries and insights with in-memory technology optimized for each workload: OLTP, data warehousing, and analytics. With our new in-memory OLTP engine in SQL Server 2014, we have customers that have seen up to 30x faster transaction processing. I am not talking about query speed, but actual transaction write speed, up to 30x faster. I know many of you might be thinking, well Oracle and other database vendors are talking 100x. What they are talking about is query speed, not transactional speed. We are the only vendor that delivers an in-memory engine designed for OLTP transaction performance increase. There’s also built-in In-Memory columnstore for data warehousing workloads to speed queries. We were already benchmarking over 100x performance gains with many customers in the SQL Server 2012 release of the in-memory columnstore. With SQL Server 2014, the in-memory columnstore gets even better, we will talk about that in just a few minutes. Again, we can also increase query speed by over 100x.Finally we offer business users the ability to analyze data and data models much faster with built-in in-memory capabilities for Excel through PowerPivot, and Analysis Services. The benefit is that you can analyze billions of rows of data per second in Excel. Meaning a business user can analyze data of nearly any size with the tools they are most familiar with.This is what we mean when we say “driving real-time business with real-time insights.” We can significantly speed your transaction business tied to your revenue stream. We can massively speed the process to analyze both real-time transaction data, along with historical and third party data from IT or business users. This is why we are already seeing in-memory technologies transforming the way businesses run.
  4. Las very Large Tables son, comosunombreindica, tablasmuygrande… tablasquecontienen del orden de Millones o inclusobillones de filas.El origen o la generación d eestastablas en el mundo de los datosestructurados (el mundorelacional), suelevenirpor dos vias:Bien poraplicaciones de negocio con unacargatransaccionalmuyalta, normalmenteaplicaciones d emission críticaque se ejecutan 24x7x365O bienpordiseño, comoes el caso del datawarehousequeestadiseñado para almacenarinformaciónhistórica de uno o variosprocesos de negocio.
  5. Estas Very Large tables suelengenerarproblemas y presentandesafios a los DBAs, quetenemosqueingeniarnoslas y adaptarnos a laslimitacionesquetenemos de Hardware.Los principals desafios se puedenclaisificar en términos de rendimiento y Mantenimiento… en cuanto a rendimientodistinguiriamos entre rendimientoTransaccional o de Reporting, dependiendo de la carga de trabaja del Sistema en el quetrabajeY en cuanto a mantenimientopues un poco lo de siempre… mantenimiento de índices, estadísticas y la historificación de datos.
  6. Vamos a empezar hablando del mantenimiento de índices. El mantenimiento de índices y el de estadísticas es muy importante para los DBAs, creo que esto es algo que ya sabemos
  7. Ahora con SQL Server ya podemos reconstruir índices a nivel de partición con la Opción ONLINE, que como ya sabéis reduce los bloqueos y además al ser en una única partición reduce el tiempo.Adicionalmente también se han añadido opciones para asignar prioridades a las operaciones Online, como reconstrucción de índices o switch de particiones, en caso de que hayan transacciones que bloqueen estas operaciones. Or lo que tenemos mas capacidad para decidir como actuar en cada momento.
  8. Now lets take a closer look at how we can impact your business with our in-memory technology. We are the only provider to date that can speed transactions as well as queries and insights with in-memory technology optimized for each workload: OLTP, data warehousing, and analytics. With our new in-memory OLTP engine in SQL Server 2014, we have customers that have seen up to 30x faster transaction processing. I am not talking about query speed, but actual transaction write speed, up to 30x faster. I know many of you might be thinking, well Oracle and other database vendors are talking 100x. What they are talking about is query speed, not transactional speed. We are the only vendor that delivers an in-memory engine designed for OLTP transaction performance increase. There’s also built-in In-Memory columnstore for data warehousing workloads to speed queries. We were already benchmarking over 100x performance gains with many customers in the SQL Server 2012 release of the in-memory columnstore. With SQL Server 2014, the in-memory columnstore gets even better, we will talk about that in just a few minutes. Again, we can also increase query speed by over 100x.Finally we offer business users the ability to analyze data and data models much faster with built-in in-memory capabilities for Excel through PowerPivot, and Analysis Services. The benefit is that you can analyze billions of rows of data per second in Excel. Meaning a business user can analyze data of nearly any size with the tools they are most familiar with.This is what we mean when we say “driving real-time business with real-time insights.” We can significantly speed your transaction business tied to your revenue stream. We can massively speed the process to analyze both real-time transaction data, along with historical and third party data from IT or business users. This is why we are already seeing in-memory technologies transforming the way businesses run.
  9. Now lets take a closer look at our unique in-memory design points—from our engineers deciding to make in-memory pervasive by building it in to the data platform to how we have made it easy to implement in-memory into your applications.