Descargado 38 veces
Subido porEnrique Puig
Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014
El documento presenta los desafíos y soluciones en el manejo de grandes volúmenes de datos (very large tables, VLT) con SQL Server 2014, enfocándose en el mantenimiento de índices, estadísticas y rendimiento de consultas. Destaca las nuevas funcionalidades como la reconstrucción online de índices, estadísticas incrementales e índices columnares que mejoran la eficiencia y flexibilidad en el manejo de datos. Se concluye que estas innovaciones permiten consultas analíticas más rápidas, maximizan la memoria y ayudan en la historificación de datos.
Más contenido relacionado
La actualidad más candente
Similar a Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014
Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014
- 1. Foro Microsoft Big Datay Analytics Filtrar > Decidir > Acertar Nunca fue más fácil
- 2. Novedades en elmanejo de Grandes volúmenes de datos con SQL Server 2014 Enrique Puig Nouselles e.puig@outlook.es @epuignouselles Blog: www.sqlserverpasion.com DBA at RipLife Gaming Technologies
- 3. Objetivos • ¿Qué desafíosplantea trabajar con grandes volúmenes de datos? • ¿Qué técnicas existen para afrontar estos desafíos? • ¿Qué trae SQL Server 2014 para ayudarnos?
- 4. Agenda • Desafíos delas VLT • Mantenimiento • Rendimiento • Novedades de SQL Server 2014 • Reconstrucción online de Índices particionados • Estadísticas incrementales • Índices columnares / In-Memory DW
- 5. Very Large Tables(VLT) • Gran cantidad de datos • Millones/Billones de filas • Datos estructurados • OLTP • Aplicaciones de misión crítica • Sistemas con elevado número de TPS • Sistemas con tracking/Logging • DataWarehouse • Repositorio histórico de procesos de negocio • Procesos de carga perdiódicos
- 6. Desafíos de lasVLT (Very Large Tables) Transaccional Reportes Índices Estadísticas Historificación RendimientoMantenimiento
- 7. Desafíos: Mantenimiento deÍndices • Imprescindible para evitar fragmentación • Sobrecarga E/S • Full Scan de las tablas • Escritura intensiva en Log • CPU • Bloqueos • Soluciones actuales: • Reorganización vs. Rebuild • Particionado de datos
- 8. Desafíos: Mantenimiento deÍndices (II) Con SQL Server 2014… • Rebuild Online a nivel de partición • Lock Priority • Prioridad del proceso • MAX_DURATION • ABORT_AFTER_WAIT • Reducimos Bloqueos • Mayor control de Bloqueos
- 9. Desafíos: Mantenimiento de Estadísticas•Ayudan al optimizador -> Planes de ejecución • Histogramas • Aconsejable FULLSCAN • Requieren de E/S • Impactan en performance • Soluciones actuales: • Actualizar estadísticas con muestreos de datos • Estrategia de actualizaciones • Varias ventanas de mantenimiento
- 10. Desafíos: Mantenimiento de EstadísticasConSQL Server 2014… • Estadísticas Incrementales • Basadas en particionado de datos • Definición explícita
- 12. Desafíos: Rendimiento consultas Solucionesactuales • Índices de cobertura • Compresión • Particionado de datos • Código T-SQL Eficiente OLTP Insert/Delete/Update Select by Key (1 row) 24 x 7 x 365 DataWarehouse Consultas de negocio Group By / MAX(), MIN()… Cargas periódicas Híbridos Cargas de trabajo mixtas Impacto en rendimiento
- 13. Desafíos: Rendimiento consultas ConSQL Server 2014… • Índices columnares • Mejoras desde 2012 • Clustered Columnstore Indexes • Read-Write • Particionado de datos • Nuevo tipo de compresión de datos
- 15. Desafíos: Historificación dedatos • Movimiento de datos “no activos” • Almacenamiento de alto rendimiento • limitado y caro • Posibles soluciones actuales • Particionado + Compresión • Particionado + Compresión + Tabla Hist • Particionado + compresión + BBDD hist • Particionado + compresión + Servidor hist • Otras….
- 16. Particionado + Compresión <=M-6M-5 M-2M-3M-4 >= MM-1 Particiones comprimidas (PAGE) Datos “no activos” Filegroup Readonly Almacenamiento bajo rendimiento Particiones sin compresión Datos “activos” Primary Filegroup Almacenamiento Alto rendimiento dbo.Ventas
- 17. Particionado + Compresión+ Tabla Hist M-2 >= MM-1 dbo.Ventas <=M-6 M-5 M-3M-4 dbo.Hist_Ventas Particiones comprimidas (PAGE) Datos “no activos” Filegroup Readonly Almacenamiento bajo rendimiento Particiones sin compresión Datos “activos” Primary Filegroup Almacenamiento Alto rendimiento Switch IN/OUT
- 18. Particionado + Compresión+ BBDD Hist M-2 >= MM-1 dbo.Ventas STG dbo.Stg_VentasStep1 Switch OUT Hist BBDD Step2 Movimiento Datos SSIS/Otros <=M-6 M-5 M-3M-4 dbo.Hist_Ventas OnPremise/Azure
- 19. Particionado + Compresión+ Columnar M-2 >= MM-1 dbo.Ventas STG dbo.Stg_Ventas Particiones comprimidas Columnstore vs. Columnstore_Archive Datos “no activos” Almacenamiento alto rendimiento Particiones sin compresión Datos “activos” Primary Filegroup Almacenamiento Alto rendimiento Step1 Switch OUT <=M-6 M-5 M-3M-4 Step2 Switch IN
- 20. Resumen • Relativo aVLT, SQL Server 2014 nos permite… • Flexibilidad en Mantenimiento • Reduciendo impacto en performance • Consultas analíticas más rápidas • Reducimos IOPS • Maximizamos memoria • Tablas Read-Write • Reducción de tamaños • Nuevas capacidades de compresión • COLUMNSTORE_ARCHIVE • Aumentan las posibilidades de historificación
- 21. Gracias! Datos de contacto: Twitter:@epuignouselles Blog Personal: www.sqlserverpasion.com Mail: e.puig@Outlook.es
- 22. Únete a PASSSpain Comunidad Española de SQL Server • Noticias • Webcasts • Charlas • Foro, dudas… https://www.facebook.com/PASSspanish
- 24. SolidQ Summit Madrid 2014 20,21, 22 Mayo 2014 • 2 Tracks SQL,BI ,Big Data • 3 jornadas • 30 sesiones técnicas • Mentores de SolidQ http://summit.solidq.com http://www.gusenet.org 23 charlas variadas BI, SQL, C#, MVC, angular, Javascript, Kinect, NancyFx, Dev, …
- 25.
Notas del editor
- #2 In this session we will take a closer look at the unique design points of Microsoft SQL Server’s in-memory solution and the significant impact it can have on your business.
- #3 Now lets take a closer look at how we can impact your business with our in-memory technology. We are the only provider to date that can speed transactions as well as queries and insights with in-memory technology optimized for each workload: OLTP, data warehousing, and analytics. With our new in-memory OLTP engine in SQL Server 2014, we have customers that have seen up to 30x faster transaction processing. I am not talking about query speed, but actual transaction write speed, up to 30x faster. I know many of you might be thinking, well Oracle and other database vendors are talking 100x. What they are talking about is query speed, not transactional speed. We are the only vendor that delivers an in-memory engine designed for OLTP transaction performance increase. There’s also built-in In-Memory columnstore for data warehousing workloads to speed queries. We were already benchmarking over 100x performance gains with many customers in the SQL Server 2012 release of the in-memory columnstore. With SQL Server 2014, the in-memory columnstore gets even better, we will talk about that in just a few minutes. Again, we can also increase query speed by over 100x.Finally we offer business users the ability to analyze data and data models much faster with built-in in-memory capabilities for Excel through PowerPivot, and Analysis Services. The benefit is that you can analyze billions of rows of data per second in Excel. Meaning a business user can analyze data of nearly any size with the tools they are most familiar with.This is what we mean when we say “driving real-time business with real-time insights.” We can significantly speed your transaction business tied to your revenue stream. We can massively speed the process to analyze both real-time transaction data, along with historical and third party data from IT or business users. This is why we are already seeing in-memory technologies transforming the way businesses run.
- #4 Now lets take a closer look at how we can impact your business with our in-memory technology. We are the only provider to date that can speed transactions as well as queries and insights with in-memory technology optimized for each workload: OLTP, data warehousing, and analytics. With our new in-memory OLTP engine in SQL Server 2014, we have customers that have seen up to 30x faster transaction processing. I am not talking about query speed, but actual transaction write speed, up to 30x faster. I know many of you might be thinking, well Oracle and other database vendors are talking 100x. What they are talking about is query speed, not transactional speed. We are the only vendor that delivers an in-memory engine designed for OLTP transaction performance increase. There’s also built-in In-Memory columnstore for data warehousing workloads to speed queries. We were already benchmarking over 100x performance gains with many customers in the SQL Server 2012 release of the in-memory columnstore. With SQL Server 2014, the in-memory columnstore gets even better, we will talk about that in just a few minutes. Again, we can also increase query speed by over 100x.Finally we offer business users the ability to analyze data and data models much faster with built-in in-memory capabilities for Excel through PowerPivot, and Analysis Services. The benefit is that you can analyze billions of rows of data per second in Excel. Meaning a business user can analyze data of nearly any size with the tools they are most familiar with.This is what we mean when we say “driving real-time business with real-time insights.” We can significantly speed your transaction business tied to your revenue stream. We can massively speed the process to analyze both real-time transaction data, along with historical and third party data from IT or business users. This is why we are already seeing in-memory technologies transforming the way businesses run.
- #5 Las very Large Tables son, comosunombreindica, tablasmuygrande… tablasquecontienen del orden de Millones o inclusobillones de filas.El origen o la generación d eestastablas en el mundo de los datosestructurados (el mundorelacional), suelevenirpor dos vias:Bien poraplicaciones de negocio con unacargatransaccionalmuyalta, normalmenteaplicaciones d emission críticaque se ejecutan 24x7x365O bienpordiseño, comoes el caso del datawarehousequeestadiseñado para almacenarinformaciónhistórica de uno o variosprocesos de negocio.
- #6 Estas Very Large tables suelengenerarproblemas y presentandesafios a los DBAs, quetenemosqueingeniarnoslas y adaptarnos a laslimitacionesquetenemos de Hardware.Los principals desafios se puedenclaisificar en términos de rendimiento y Mantenimiento… en cuanto a rendimientodistinguiriamos entre rendimientoTransaccional o de Reporting, dependiendo de la carga de trabaja del Sistema en el quetrabajeY en cuanto a mantenimientopues un poco lo de siempre… mantenimiento de índices, estadísticas y la historificación de datos.
- #7 Vamos a empezar hablando del mantenimiento de índices. El mantenimiento de índices y el de estadísticas es muy importante para los DBAs, creo que esto es algo que ya sabemos
- #8 Ahora con SQL Server ya podemos reconstruir índices a nivel de partición con la Opción ONLINE, que como ya sabéis reduce los bloqueos y además al ser en una única partición reduce el tiempo.Adicionalmente también se han añadido opciones para asignar prioridades a las operaciones Online, como reconstrucción de índices o switch de particiones, en caso de que hayan transacciones que bloqueen estas operaciones. Or lo que tenemos mas capacidad para decidir como actuar en cada momento.
- #12 Now lets take a closer look at how we can impact your business with our in-memory technology. We are the only provider to date that can speed transactions as well as queries and insights with in-memory technology optimized for each workload: OLTP, data warehousing, and analytics. With our new in-memory OLTP engine in SQL Server 2014, we have customers that have seen up to 30x faster transaction processing. I am not talking about query speed, but actual transaction write speed, up to 30x faster. I know many of you might be thinking, well Oracle and other database vendors are talking 100x. What they are talking about is query speed, not transactional speed. We are the only vendor that delivers an in-memory engine designed for OLTP transaction performance increase. There’s also built-in In-Memory columnstore for data warehousing workloads to speed queries. We were already benchmarking over 100x performance gains with many customers in the SQL Server 2012 release of the in-memory columnstore. With SQL Server 2014, the in-memory columnstore gets even better, we will talk about that in just a few minutes. Again, we can also increase query speed by over 100x.Finally we offer business users the ability to analyze data and data models much faster with built-in in-memory capabilities for Excel through PowerPivot, and Analysis Services. The benefit is that you can analyze billions of rows of data per second in Excel. Meaning a business user can analyze data of nearly any size with the tools they are most familiar with.This is what we mean when we say “driving real-time business with real-time insights.” We can significantly speed your transaction business tied to your revenue stream. We can massively speed the process to analyze both real-time transaction data, along with historical and third party data from IT or business users. This is why we are already seeing in-memory technologies transforming the way businesses run.
- #13 Now lets take a closer look at our unique in-memory design points—from our engineers deciding to make in-memory pervasive by building it in to the data platform to how we have made it easy to implement in-memory into your applications.