Este documento presenta varios patrones avanzados de búsqueda (lookup) en SSIS, incluyendo el uso de caché completa, parcial y sin caché, búsqueda incremental en la fuente y en el ETL utilizando hash, integración de datos de múltiples fuentes, limpieza de datos, carga de dimensiones y hechos actuales, y carga de hechos históricos. También anuncia cursos en Power BI, un máster en BI y un máster en Big Data y Analytics.

1. Buscando a Nemo (patrones avanzados de
búsqueda en SSIS)
Miguel Egea
Ruben pertusa

2. Ruben
Pertusa
Miguel
Egea
BUSCANDO A DEMO : PATRONES DE BÚSQUEDA CON LOOKUP

3. Agenda
Introducción
Lookup 101
Patrones

4. Esta sesión
Búsqueda
(Lookup)
Patrones
SSIS

5. ETL-DW
Integración
SSIS

6. Patrones
Solución general reutilizable a
algún problema dentro de un
contexto dado de diseño de
software

7. Búsqueda
(Lookup)

8. Agenda
Introducción
Lookup 101
Patrones

9. Cache Mode: Full Cache

10. Cache Mode: Full Cache
Una consulta a la BD
Conjunto entero de datos en memoria
Tiempo adicional al principio
Lookups muy rápidos

11. Cache Mode: No Cache
Una consulta por cada fila en el flujo.
Solamente una fila en memoria
Sin tiempo adicional de inicio.
Latencia y respuesta de la BD,
determinan el desempeño

12. Cache Mode: Partial Cache
Inicia cache vacío
Si la llave NO existe en cache
consulta a la BD
Múltiples filas en memoria
Sin tiempo adicional de inicio

13. Nemo: Cache Mode

14. Agenda
Introducción
Lookup 101
Patrones

17. Incremental
en la fuente
Incremental
en el ETL

18. Incremental en la fuente
✔

19. Incremental en la fuente
Completa Incremental
✔

20. Incremental en la fuente
✔
• Identificar y segregar cambios en las
fuentes y solo LEER datos nuevos o
cambiados.
Intención
• Aumentar el desempeño del ETL,
disminuir la carga de trabajo para la
fuente y para ETL.
Motivación
• Carga de datos, abundantes pero poco
volátiles o de carga muy frecuente.
Aplicabilidad
Búsqueda
con Hash

21. Incremental en la fuente
✔
Búsqueda
con Hash
Consulta a la llave
natural y HashBytes
Consulta a la dimensión
por valores ya cargados
Descarta filas existen
Lee atributos de filas
nuevas o cambiadas

22. Nemo: Búsqueda
con Hash en BD

23. Incremental en el ETL
✔
• Identificar y segregar cambios en el ETL
y solo cargar datos nuevos o cambiados.
Intención
• Aumentar el desempeño del ETL,
disminuir la carga de trabajo para la
fuente y para ETL.
Motivación
• Carga de datos, abundantes pero poco
volátiles o de carga muy frecuente.
Aplicabilidad
Búsqueda
con Hash

24. Incremental en el ETL
✔
Búsqueda
con Hash
Consulta COMPLETA
a la fuente
Calcula valor HASH
Lee Llave Primaria y
Hash del DW y descarta
los que existen.

25. Nemo: Búsqueda
con Hash en ETL

26. Integración
de datos
Limpieza
de datos

27. Integración de datos
• Combinar múltiples fuentes de
información (BD) y proveer una
vista unificada de los datos.
Intención
• Hacer la integración en MEMORIA
y sin necesidad de ordenamientos.
Motivación
• Fuentes relacionales (SQL, Oracle,
DB2, etc.) heterogéneas.
Aplicabilidad

28. Integración de datos
Consulta COMPLETA
a la fuente primaria
Busca (JOIN) los datos
de la fuente secundaria
Maneja posible valores
no encontrados

29. Nemo: Integración
de datos

30. Limpieza de Datos
• Validar y combinar datos de fuentes
usando atributos de texto no
precisos.
Intención
• Usar coincidencia aproximadas de
texto y grados de similitud.
Motivación
• Integrar fuentes externas o fuentes
relacionales sin llaves primarias
comunes.
Aplicabilidad

31. Limpieza de Datos
Consulta COMPLETA
a la fuente primaria
Busca (JOIN) los datos
de forma aproximada
Maneja diferentes
niveles de confianza y
similitud

32. Nemo: Limpieza
de Datos

33. Dimensiones
Hechos
Actuales
Hechos
Históricos

34. • Reemplazar las “llaves primarias naturales”
por llaves subrogadas” de datos actuales
Intención
• Obtener llaves subrogadas de dimensiones
basados en la ultima versión de la fila
Motivación
• En Dimensiones copo de nieve, leer la llave
de las tablas superiores. En tablas de
hechos, obtener las llaves de la dimensión
Aplicabilidad
Carga Dimensiones y Hechos

35. Carga Dimensiones y Hechos
Consulta a nivel granular
de la dimensión
Busca (JOIN) los datos
con el DW, usando llave
primaria
Maneja posible valores
no encontrados

36. Carga Dimensiones y Hechos
Consulta a hechos y
llaves naturales
“Reemplaza” llaves
primarias por llaves
subrogadas de
Dimensiones
Maneja posible valores
no encontrados

37. Nemo: Dimensiones
y Hechos

38. • Reemplazar las “llaves primarias
naturales” por llaves subrogadas” en
datos históricos con Dimensiones tipo 2.
Intención
• Obtener llaves subrogadas de
dimensiones basados en la versión
histórica de la fila
Motivación
• En tablas de hechos, obtener las llaves
de la dimensión apropiadas.
Aplicabilidad
Hechos Históricos

39. Hechos Históricos
Consulta a hechos, llaves
naturales y fechas
“Reemplaza” llaves
primarias por llaves
subrogadas de
Dimensiones

40. Hechos Históricos
Procesamiento
sincrónico por Fila
Llenado de Cache con
conexión ADO.NET
Estructura de Datos
IComparable, en Listas
con Búsqueda Binaria

41. Dory: Hechos
Históricos

42. Conclusiones
Introducción
Lookup 101
Patrones

44. Power BI para usuarios de negocio
45
Curso online
Clases virtuales presenciales
14, 15, 16, 21, 22 y 23 de Julio
De 16 a 20 h
Máster en BI 4ª Edición (Inicio Octubre 2014)
- Clases presenciales virtuales
- 450 horas (60 ECTS)
- SolidQ – UPM
- Clases + trabajo práctico + proyecto
- Beca de hasta 1.300 € para los primeros inscritos.
Máster en Big Data &Analytics
1ª Edición (Inicio Octubre 2014)
- Clases presenciales virtuales
- 1 año (60 ECTS) UMA
- Clases + trabajo práctico + proyecto
Información e inscripción:
http://university.solidq.com / ibinfo@solidq.com