Fundamentos teóricos de los almacenes de datos. Metodologías y herramientas para el desarrollo de almacenes de datos.

1. Almacenes de datos
Ing. Roanny Lamas López

2. Distribución de horas
C CP L S Eval. Total
Tema 1: Fundamentos teóricos
de los almacenes de datos.
2 - - 2 - 4
Tema 2: Análisis y diseño de
almacenes de datos.
2 2 6 2 2 14
Tema 3: Carga y Explotación de
almacenes de datos.
4 - 20 - 6 30
Totales 8 2 26 4 8 48

3. Introducción
Sistemas de
Bases de Datos I
Sistemas de
Bases de Datos II
Sistemas
Gestores de
Bases de
Datos
Relacionales
Modelo
Relacional
Aplicaciones
informáticas
Contexto
empresarial
Orientadas
a procesos

4. Introducción
• Sistemas de Información
de Clientes
• Sistemas Financieros
• Sistemas de Ventas
• Sistemas de Producción
• Sistemas de Recursos
Humanos
• Sistemas de Marketing
¿Cuántos zapatos vendimos
el último mes?
¿Cuántos zapatos del 41 de
color rojo se vendieron el
último mes en la zona
norte; comparados con las
ventas del mismo mes el
año pasado?

5. Introducción
• Sistemas de Información
de Clientes
• Sistemas Financieros
• Sistemas de Ventas
• Sistemas de Producción
• Sistemas de Recursos
Humanos
• Sistemas de Marketing
¿Cuántos zapatos vendimos
el último mes?
¿Cuántos zapatos del 41 de
color rojo se vendieron el
último mes en la zona
norte; comparados con las
ventas del mismo mes el
año pasado?

6. Introducción
Gran
volumen de
información
Entorno
empresarial
competitivo
Mercado
global
• Mejor control sobre
las áreas de la
empresa.
• Alerta oportuna.
• Seguimiento de
indicadores.
• Respuestas rápidas
a las preguntas del
negocio.
C
o
n
t
e
x
t
o
N
e
c
e
s
i
d
a
d
Solución
Almacenes
de datos

7. Tema 1: Fundamentos teóricos
de los almacenes de datos.
Conferencia 1: Metodologías y herramientas para el
desarrollo de almacenes de datos.

8. Objetivos
•Caracterizar la tecnología de almacenes de datos, así
como las metodologías y herramientas para su
implementación.

9. Sumario
•Sistemas de información.
• Introducción a los almacenes de datos*.
• Metodologías para el desarrollo de DW.
• Arquitectura de un DW.
• Tecnologías para desarrollar DW.
*Data Warehouse - DW

10. Bibliografía
• DEVLIN, Barry. Data Warehouse: From Architecture to
Implementation. Addison-Wesley, 1997. ISBN 9780201964257.
• INMON, W. H. Building the Data Warehouse. John Wiley & Sons,
2005. ISBN 9780471774235.
• KIMBALL, Ralph and ROSS, Margy. The Data Warehouse Toolkit:
The Complete Guide to Dimensional Modeling. John Wiley &
Sons, 2011. ISBN 9781118082140.

11. Sistemas de información
Un sistema de información es un conjunto de
elementos orientados al tratamiento y administración
de datos e información, organizados y listos para su uso
posterior, generados para cubrir una necesidad u
objetivo.

12. Sistemas de información
Nivel
estratégico
Nivel táctico
Nivel operativo
Nivel
transaccional

13. Sistemas de información
Nivel
estratégico
Nivel táctico
Nivel operativo
Nivel
transaccional
Cubren el núcleo
de operaciones
tradicionales de
captura masiva de
datos y servicios
básicos de
tratamiento de
datos.
Trabajadores
Gerentes de
nivel medio

14. Sistemas de información
Nivel
estratégico
Nivel táctico
Nivel operativo
Nivel
transaccional
Facilitar la gestión
independiente de
la información por
parte de los
niveles
intermedios de la
organización.
Gerentes de
alto nivel

15. Sistemas de información
Nivel
estratégico
Nivel táctico
Nivel operativo
Nivel
transaccional
Orientados a
soportar la toma
de decisiones y
facilitar la labor de
dirección.
Ejecutivos

16. Sistemas de información
Nivel
estratégico
Nivel táctico
Nivel operativo
Nivel
transaccional
Sistemas
informacionales
Sistemas
operacionales

17. Sistemas de información
Sistemas operacionales:
Son aquellos que tienen como objetivo reflejar el
estado y funcionamiento de las empresas
/organizaciones, registrando las transacciones u
operaciones diarias de los principales procesos o
actividades que realizan.
Procesamiento Transaccional en Línea (OLTP)

18. Sistemas de información
Sistemas informacionales:
Son aquellos que tienen como objetivo mantener
disponible un compendio de información histórica
garantizando una fuente única, contribuyendo a
realizar análisis y toma de decisiones estratégicas a
largo plazo.
Procesamiento Analítico en Línea (OLAP)

19. Sistemas de información
Nivel
estratégico
Nivel táctico
Nivel operativo
Nivel
transaccional
Sistemas
informacionales
Sistemas
operacionales
Almacenes
de
datos

20. Sistemas operacionales ↔ informacionales
Sistemas operacionales
Sistemas
informacionales
Sistemas
informacionales
Data
Warehouse

21. OLTP vs OLAP
Sistemas
operacionales
(OLTP)
Sistemas
informacionales
(OLAP)
Base de datos
orientada al proceso
Base de datos
orientada al análisis

22. OLTP vs OLAP
Sistemas operacionales Sistemas informacionales
Pocos registros Muchos registros
Actualizan datos Leen datos
Tiempo de respuesta crítico
Tiempo de respuesta no tan
crítico
Usuarios: operativos
Usuarios: directivos y
administradores
Datos operacionales Datos relevantes

23. Toma de decisiones
La toma de decisiones es el proceso de identificación
de un problema u oportunidad y la selección de una
alternativa de acción entre varias existentes.

24. Sistemas para el Soporte de Decisiones*
Son aquellos que tienen como objetivos medir, evaluar
y controlar los principales indicadores del negocio,
buscando identificar, proyectar o predecir tendencias a
partir de los datos acumulados.
*Decision Support System(DSS)

25. Inteligencia de negocio*
Conjunto de estrategias y herramientas enfocadas a la
administración y creación de conocimiento mediante
el análisis de datos existentes en una organización.
*Inteligencia empresarial, Business intelligence (BI)

26. Avances en los sistemas de información
Conocimiento
Datos
R
e
f
i
n
a
m
i
e
n
t
o
Estadísticas
y reportes
Modelo relacional
SGBD
Almacenes de
Datos + OLAP
Minería de
datos
Modelos, reglas,
patrones
1970 1980 1990 2000

27. Almacén de Datos
“Simplemente es un almacén de datos único, completo
y consistente, obtenido de una variedad de fuentes y
puesto a disposición de los usuarios terminales de tal
manera que ellos puedan entenderlo y usarlo en un
contexto empresarial”.
Barry Devlin (1997)

28. Almacén de Datos
Es una fuente de datos de la empresa que puede ser
consultada.
• No debe ser organizada con ayuda del modelo
entidad/relación
• Es frecuentemente modificada, a partir de datos
correctos.
Ralph Kimball (1998)

29. Almacén de datos
“Un almacén de datos es una colección de datos
•orientados a temas,
•integrados,
•no volátiles y
•variables en el tiempo,
organizados para soportar necesidades empresariales”.
W. H. Inmon (1992)

30. Metodologías de desarrollo
• Hefesto
• SQLBI
• Inmon
• Kimball
Bill Inmon Ralph Kimball

31. Metodología Hefesto
• La construcción e implementación de un almacén de
datos puede adaptarse muy bien a cualquier ciclo de
vida de desarrollo de software.
• No se recomienda utilizar metodologías con largas
fases de captura de requisitos y de análisis.
• Fases de desarrollo y de despliegue relativamente
cortas.

32. Metodología SQLBI
Avalada por Microsoft y orientada totalmente a sus
herramientas: Microsoft SQL Server, Microsoft SQL
Server Analysis Services y su oferta más completa en
este campo que es Microsoft Suite for Business
Intelligence.

33. Metodologías de desarrollo
Enfoques
bottom-up
(Ascendente)
top-down
(Descendente)

34. Mercado de datos*
Es un repositorio de información, similar a un almacén
de datos, pero orientado a un área o departamento
específico de la organización.
Ralph Kimball (1998)
*Data Mart - DM

35. Metodología Inmon
Data Mart
Data Mart
Data Mart
Data
Warehouse
Modelo relacional

36. Metodología Kimball
Data Mart
Data Mart
Data Mart
Data
Warehouse
Modelo dimensional

37. Metodología Kimball
Ciclo de vida dimensional del negocio:
• Centrarse en el negocio
• Construir una infraestructura de información
adecuada
• Realizar entregas en incrementos significativos
• Ofrecer la solución completa

38. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto

39. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Planificación
del proyecto

40. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Definición
de
requisitos
del
negocio

41. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Diseño
Arquitectura
técnica

42. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Selección de
productos e
instalación

43. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Modelo
Dimensional

44. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Diseño
Físico

45. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Diseño de
procesos
ETL

46. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Especificación
Aplicación
Usuario

47. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Desarrollo
Aplicación
Usuario

48. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Integración
y
despliegue

49. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Mantenimiento
y crecimiento

50. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto
Gestión del proyecto

51. Metodología Kimball
Planificación
del proyecto
Definición
de
requisitos
del
negocio
Diseño Arquitectura
Selección de productos e
instalación
Modelo
Dimensional
Diseño
Físico
Diseño
de
procesos
ETL
Integración
y
despliegue
Mantenimiento
y crecimiento
Especificación
Aplicación Usuario
Desarrollo
Aplicación Usuario
Gestión del proyecto

52. Arquitectura de un Almacén de Datos
OLTP
Datos
antiguos
Fuentes
externas
Datos de
oficina
Reportes
Informes
OLAP
Minería
de datos
Almacén
Datos
Metadatos
ETL

53. Herramientas
Oracle:
• Oracle OLAP
• JOLAP
• OWB

54. Herramientas
Oracle:
• Oracle OLAP
• JOLAP
• OWB
Plataforma integrada de data
warehousing y business
intelligence que contiene
funcionalidad ETL, OLAP y data
mining en la base de datos.
Oracle cambia el planteamiento
tradicional ofreciendo una base
de datos integrada relacional-
multidimensional.

55. Herramientas
Oracle:
• Oracle OLAP
• JOLAP
• OWB
Hyperion, IBM, Oracle y
Sun Microsystems se unen
para crear una nueva
plataforma independiente
que permita la creación,
almacenamiento, acceso y
manejo de datos y
metadatos en servidores
OLAP.

56. Herramientas
Oracle:
• Oracle OLAP
• JOLAP
• OWB
Oracle Warehouse Builder es el
producto tradicional de Oracle
para la creación del esquema del
DW, definición de jerarquías y
medidas, mapeo de las fuentes
de información, ejecución y
mantenimiento de las actividades
de ETL y herramientas para
mejorar la calidad de la
información.

57. Herramientas
Microsoft :
• SSAS
• SSIS
• SSRS
• MDX
• SQL Server

58. Herramientas
Microsoft :
• SSAS
• SSIS
• SSRS
• MDX
• SQL Server
Ofrece funciones de OLAP y
minería de datos para
aplicaciones de Inteligencia de
Negocio. Permite diseñar,
crear y administrar
estructuras
multidimensionales y
visualizar modelos de minería
de datos.

59. Herramientas
Microsoft :
• SSAS
• SSIS
• SSRS
• MDX
• SQL Server
Es una plataforma para
crear soluciones de
integración de datos de alto
rendimiento, incluidos los
paquetes de extracción,
transformación y carga (ETL)
para el almacenamiento de
datos.

60. Herramientas
Microsoft :
• SSAS
• SSIS
• SSRS
• MDX
• SQL Server
Dispone de una gama completa
de herramientas y servicios listos
para usar, para crear,
implementar y administrar
informes para la organización,
así como de características de
programación que permitirán
extender y personalizar la
funcionalidad de los informes.

61. Herramientas
Microsoft :
• SSAS
• SSIS
• SSRS
• MDX
• SQL Server
MultiDimensional
eXpressions o expresiones
multidimensionales es un
lenguaje de consulta para
bases de datos
multidimensionales.

62. Herramientas
Microsoft :
• SSAS
• SSIS
• SSRS
• MDX
• SQL Server
Es una plataforma global de
base de datos que ofrece
administración de datos
empresariales con
herramientas integradas de
inteligencia de negocios.

63. Herramientas
Hadoop (BigData):
•Hive™
•HiveQL
Apache Hadoop es un
framework de software que
soporta aplicaciones
distribuidas bajo una licencia
libre. Permite a las
aplicaciones trabajar con
miles de nodos y petabytes
de datos.

64. Herramientas
Hadoop (BigData):
•Hive™
•HiveQL
Permite la creación de un
datawarehouse sobre tecnología
Hadoop, mediante el
almacenamiento de grandes
cantidades de datos y su análisis a
través de una interfaz SQL. Hive es
compatible con diversas
herramientas de generación de
informes e inteligencia de negocio
como Pentaho.

65. Herramientas
Hadoop (BigData):
•Hive™
•HiveQL
Es la interfaz SQL que ofrece
Hive para ser capaz de
manejar la información
almacenada por Hadoop.

66. Herramientas
Pentaho:
•Es una suite de herramientas de inteligencia de
negocio, con licencia de software libre, para la
gestión y toma de decisiones empresariales.
•Permite realizar análisis multidimensional,
presentación de informes, minería de datos,
tableros de control, así como el montaje de
cuadros de mandos.

67. Herramientas

68. Herramientas
Pentaho Analysis Services:
Su nombre de desarrollo es Mondrian. Es un servidor
OLAP (procesamiento analítico en línea) escrito en
Java. Es compatible con MDX (expresiones
multidimensionales) y el lenguaje de consulta XML
para el análisis (XMLA).

69. Herramientas
Pentaho Reporting:
Es la herramienta con la cual el usuario es capaz de
crear informes usando datos de fuentes externas.
Estos informes son generados en XML y pueden ser
exportados a diversos tipo de archivos finales, como
puede ser PDF, HTML o documentos de texto.

70. Herramientas
Pentaho DashBoard:
Se utiliza para crear cuadros de mando en la interfaz
final de la herramienta web (Pentaho BI Server). Estos
cuadros de mando podrán realizar funciones de
consulta y análisis de los datos.

71. Herramientas
Pentaho Data Mining:
Se emplea para extraer información implícita en los
datos. Desarrollado con el motor de minería de datos
Weka. Permite extraer patrones, clusterizar, clasificar
o extraer reglas de asociación de los datos.

72. Herramientas
Pentaho Data Integration:
Es la herramienta que proporciona mediante una
interfaz de usuario sencilla e intuitiva la posibilidad de
manipulación de los datos desde una fuente externa e
independiente a la herramienta. Permite implementar
los procesos de extracción, transformación y carga de
datos.

76. Conclusiones

77. Orientación del Estudio Independiente
Dividir el aula en 4 equipos para desarrollar el Seminario #1 de la
asignatura “Principales tendencias y arquitecturas de almacenes
de datos. Componentes y estándares de las tecnologías de
almacenes de datos”.
Temas:
1- Tendencias actuales en el desarrollo de almacenes de datos.
2- Arquitecturas para el diseño de almacenes de datos.
3- Componentes de las tecnologías de almacenes de datos.
4- Estándares existentes para soluciones de almacenes de datos.

78. Almacenes de Datos
Ing. Roanny Lamas López