http://www.sqlserversi.com - Visión general de los proyectos de Business Intelligence, basados en Microsoft SQL Server 2000, DTS y Analysis Services 2000.
2. Salvador Ramos
MVP SQL Server
MCP SQL Server
Columnista de dotNetManía
Mi web: www.helpdna.net
webmaster@helpdna.net
3. Tecnologías OLTP vs OLAP
OnLine Transaction Processing
Sistemas transaccionales, enfocados a
gestionar un gran número de transacciones
concurrentes
Permiten insertar, actualizar, borrar y
consultar una pequeña cantidad de registros
OnLine Analytical Processing
Enfocados al análisis de grandes cantidades
de datos
Proporcionan respuestas rápidas y complejas
4. Tecnologías OLTP vs OLAP
OLTP OLAP
Orientado a lo operativo Orientado a temas
(procesos)
Predomina la Predomina la consulta.
actualización Datos históricos
Se accede a pocos Procesos masivos, se
registros accede a muchos
registros
Datos altamente Datos Denormalizados
normalizados
Estructura relacional Estructura
multidimensional
Rápidos tiempos de Respuesta masiva, no
respuesta. inmediata
Estructura estática Estructura dinámica,
abundantes cambios
5. Business Intelligence
“Conjunto de herramientas y servicios
destinado a la gestión eficiente del
conocimiento y la información en
empresas y organizaciones”
Nos permite:
Convertir los datos en información
Tomar mejores decisiones rápidamente
Utilizar un método razonable para la gestión
empresarial
6. Solución Microsoft BI
Colaboración BI Visualización
Análisis Análisis
de datos Geoespacial
Gestión de Análisis
Proyectos Ventas y Márketing
Creación de Sitios
B2B y B2C
7. Componentes
Herramientas de
análisis y reporting
ERP Aplicación 1
CRM ETL ETL
Aplicación 2
DataWarehouse
Cubos
Analysis Services
Aplicación N
OLTP Area intermedia Area presentación Acceso a datos
8. Datawarehouse
Almacén de datos procedentes de los
sistemas OLTP. Repositorio colectivo
Almacén de datos centralizado
Datos organizados en grupos temáticos
Los datos son:
Consistentes
Depurados
Históricos (no volátiles)
Suministra datos rápida y eficientemente
Datamarts
9. DTS herramienta ETL
Conjunto de servicios para ETL
Modelo de objetos e interfaces gráficos
Pueden ser utilizados desde entornos de
desarrollo que soporten COM
Incluyen asistentes que facilitan las tareas
Diseñador de paquetes
10. DTS herramienta ETL
Permiten operar con los datos:
Importación
Exportación
Transporte
Transformación
Los datos pueden proceder de
Cualquier fuente Ole Db
Cualquier fuente ODBC
Ficheros planos
11. Diseño de un DW
Definir objetivos y requerimientos
Revisar los informes actuales
Investigar todas las posibles fuentes de
información que alimentarán el DW
Diseño y modelado
Definir las tablas del área intermedia, que
alimentarán dimensiones y tablas de hechos
Realizar los precálculos necesarios
Crear índices y vistas
Elegir el esquema más adecuado:
Estrella (star)
Copo de nieve (snowflacke)
12. Diseño de un DW
Estrategia de extracción y transformación
Decidir en cada caso si se realizará una
extracción completa o incremental
Diseño del sistema de extracción incremental
Utilizar triggers, replicación u otras técnicas
Transformación de los datos
Asegurar la validez, integridad y utilidad de
los datos
Comprobar que todas las claves externas
encuentren valores, y evitar claves nulas
(ej: sustituirlas por 0 -> „Sin familia‟)
13. BBDD Multidimensionales
Son contenedores de cubos relacionados
y objetos que comparten
La unidad de almacenamiento es el cubo
(en los SGDBR es la tabla)
14. Opciones de almacenamiento
MOLAP
Almacenamiento en estructura
multidimensional de Analysis Services
Mayor rapidez de respuesta
ROLAP
Almacenamiento en base de datos relacional
Para grandes volúmenes de datos
HOLAP
Híbrido
Respuesta rápida y gran cantidad de datos en
origen
15. Elementos de la base de datos
Origenes de datos
Cubos
Dimensiones compartidas
Modelos de minería de datos
Funciones de base de datos (seguridad)
Sólo autenticación windows
16. Cubos Producto
Id
Tabla de
Hechos Cliente
Id
Nombre Nombre
Tamaño Provincia
Tabla de Hechos … …
Claves externas Tiempo
Fecha
Medidas Año
Mes
Dimensiones Dia
…
Producto1
Producto1
Producto2
Producto2
Producto 3
Producto 3
17. Dimensiones
Agregaciones
Son sumas precalculadas de los datos para
acelerar el tiempo de respuesta
Jerarquías y niveles
Miembros
18. Tipos de dimensiones
Regulares
Virtuales (a partir de propiedades)
Padre-Hijo o Primario-Secundario
Según su ámbito
Privadas
Compartidas
19. Medidas y Miembros calculados
Medidas
Conjunto de valores de una columna de la
tabla de hechos del cubo
Miembros calculados
Medidas calculadas mediante una fórmula
MDX
20. Tipos de cubos
Normales
Vinculados
Apuntan a un cubo de otro servidor
Virtuales
Se crean a partir de varios cubos existentes
(‘equivalentes a vistas en SGDBR’)
23. El lenguaje MDX
MultiDimensional eXpressions
(Lenguaje de expresiones multidimensionales)
Es el equivalente a SQL para bases de
datos multidimensionales
También tiene una instrucción SELECT
SELECT <espec-eje>, <espec-eje> …
FROM <espec-cubo>
WHERE <espec-rebanador>
Nos permite crear Miembros calculados y
Conjuntos con nombre
Dispone de múltiples funciones avanzadas
25. Conectividad
PivotTable Service (PTS)
Es el cliente de los servicios OLAP
Proporciona la interfaz para conectarnos
desde las aplicaciones
ADO MD
(ActiveX Data Objects MultiDimensional)
ADO MD .Net
26. Herramientas cliente OLAP
SQL Server 2000 Reporting Services
Microsoft Excel
Microsoft Data Analyzer
Herramientas desarrolladas por nosotros
AddIn para Excel
Aplicaciones asp o asp.net
Webparts para Sharepoint
Herramientas de terceros
27. Microsoft Excel
Consultas ad-hoc
Para mostrar datos utiliza
Tablas dinámicas
Gráficos dinámicos
Necesita MS Query instalado
Se puede publicar en web (OWC)
29. Microsoft Data Analyzer
Herramienta para usuarios
Facilita el análisis de datos de negocio
Interfaz muy amigable
Consultas ad-hoc
Formas de visualización
Gráfico de barras
Gráfico de tarta
Datos numéricos
31. Agenda
(seguir si da tiempo)
Tecnologías OLTP vs OLAP
Business Intelligence
Diseño de Datawarehouse y soluciones
OLAP
Introducción a Data Mining
Introducción al lenguaje MDX y
herramientras cliente OLAP
Novedades de OLAP y DTS en
SQL Server 2005
32. Novedades DTS
DTS, ahora „Integration Services‟
Se ha reescrito todo el código
Servicio windows independiente
Incrementa su potencia y funcionalidad
Incrementa su rendimiento
Nuevo entorno de desarrollo
MS Development Evironment
Integrados con la plataforma .Net
33. Novedades DTS
Nuevo entorno de desarrollo, en vez de
crear un paquete DTS, se crean proyectos
„Data Transformation Project‟
36. Novedades Analysis Services
Nuevas herramientas
2000
Enterprise Manager
Query Analyzer
Analysis Manager
Report Manager
2005
BI Development Studio (BIDS)
Orientado a Soluciones y Proyectos (similar a vs.net)
Incluye un Debugger
SQL Server Management Studio
37. Novedades Analysis Services
Mejoras para el modelado de datos
Data Source Views
Tenemos una capa más de abstracción
Podemos trabajar de forma desconectada
Podemos renombrar entidades
Intellicube, nos facilita la construcción de
cubos
el Repository (por defecto en Access), se
sustituye por metadatos en XML
Deployment Wizard (facil despliegue)
38. Novedades Analysis Services
UDM – Unified Dimensional Model
Se integran todos los tipos de Data Sources
Combina las mejores características de los
modelos relacionales y OLAP
Querys interactivas con mejor rendimiento
Alto rendimiento gracias a Proactive
Caching
39. Novedades Analysis Services
KPI Framework
Nuevos tipos de dimensiones
Nuevos algoritmos de Data Mining
MDX Scripts (servidor) y MDX Debugging