Los procesos de extracción transformación y carga de datos suelen ser el impacto en tiempo más grande de todos los procesos construcción de soluciones de inteligencia de negocios. Los estudios lo situan entre el 60% y el 80% del tiempo total de construcción de una solución. Durante la sesión veremos como podemos aprovecharnos de nuestros propios metadatos y el lenguaje BIML de Varigence de forma gratuita para automatizar este tipo de procesos.
1. BIML para automatizar patrones de ETL
13 de Mayo 2015 (12 pm GMT -5)
Ahias Portillo
Resumen:
Los procesos de extracción transformación y carga de datos suelen
ser el impacto en tiempo más grande de todos los procesos
construcción de soluciones de inteligencia de negocios. Los
estudios lo situan entre el 60% y el 80% del tiempo total de
construcción de una solución. Durante la sesión veremos como
podemos aprovecharnos de nuestros propios metadatos y el
lenguaje BIML de Varigence de forma gratuita para automatizar
este tipo de procesos.
Está por comenzar:
Próximos Eventos
Moderador: Kenneth Ureña
Always ON de 0 a 100, lecciones
aprendidas de la vida real para
un DRP
27 de Mayo
Jesus Gil
Descubriendo los datos
espaciales con SQL Server
3 de Junio
John Bulla
Resolviendo problemas de Calidad
de Datos con Data Quality Services
17 de Junio
Mary Arcia
2. Manténgase conectado a nosotros!
Visítenos en http://globalspanish.sqlpass.org
/SpanishPASSVC
lnkd.in/dtYBzev
/user/SpanishPASSVC
/SpanishPASSVC
4. 4
Oportunidades de Voluntariado
PASS no pudiera existir sin personas apasionadas y
dedicadas de todas partes del mundo que dan de su
tiempo como voluntarios.
Se un voluntario ahora!!
Para identificar oportunidades locales visita
volunteer.sqlpass.org
Recuerda actualizar tu perfil en las secciones de
“MyVolunteering” y MyPASS para mas detalles.
6. BIML para automatizar patrones de ETL
20 de Mayo de 2015
Miguel Egea
MCT, ex-MVP SQL Server,
Technical Advisor y mentor en SolidQ
Pass Spanish Group – SqlSaturday España
Moderador: Kenneth Ureña
7. 7
¿Qué es BIML?
- Business Intelligence Markup Language
- Inspirado en “Project Vulcan” (Microsoft)
- Desarrollado por Varigence en 2008
- Sintaxis XML con codigo .NET embebido en el
BimlScript (optional)
- Tres opciones de impelmentación
- Mist (Varigence´s payment IDE)
- BIDS Helper (Open Source)
- BimlScript.com (Online code editor)
7
9. 9
Desventajas
- Necesitamos conocer C# or VB (para usar
scripts)
- La mayoría de las veces, Intellisense no
funciona cuando detecta sintaxis non-XML. En
resumen no hay Intellisense for C# or VB
- La complejidad de un paquete depende de tu
conocimiento de BIML (*)
9
10. 10
Advantages
- Facilita la creación y cambio de paquetes
- Se acabaron las tareas aburridas y repetitivas
- Reusabilidad : desde 2005 a 2014
- Flexibility: La complejidad de un paquete
depende de tu conocimiento de BIML (*)
- Decremento del tiempo de desarrollo: Tremina
en un dia lo que antes te costaba tres o cuatro
dias.
13. BIML dinámico(I)
- Extender las capacidades de BIML’s con C# or
VB
- Posiblidades nuevas como: bucles sobre tablas,
añadir expresiones, parametrización …
- Crear paquetes SSIS de una forma interactiva
- En conclusión: “usar BIML en un FrameWork”
13
14. BIML dinamico (II)
- Si necesitamos crear varios paquetes con la
misma estructura (ejem: cargar datos a
staging)
- Creando una plantilla BIML, podemos:
- Iterar sobre tablas
- Crear las tablas de destino
- Cambiar el nombre del paquete
- Cambiar connection strings (si es necesario)
- …
14
15. BIML – Como funciona
- Introduciendo bloques de código:
- Directivas:
- <#@ … #>
- Bloques de código
- <# … #>
- Bloques de control de expresión
- <#= … #>
15
17. Conclusiones
- Reusabilidad de paquetes:
- Menos esfuerzo
- Menos tiempo
- Escalabilidad (estático a dinámico)
- Puede ser que la curva de aprendizaje sea muy
dificil al principio pero los resultados merecen
la pena
- Basicamente: Excelente relación coste beneficio
17
18. Always ON de 0 a 100, lecciones aprendidas de la vida real
para un DRP 27 de Mayo (12 pm GMT -5)
Jesus Gil
Resúmen:
En esta sesión vamos a hablar de los pasos a considerar cuando ustedes
quieran diseñar/construir un DRP. Esta sesión es sobre casos de la vida
real, lecciones duras aprendidas al implementar, desarrollar y sobre todo
hacer el paso de la muerte en un ambiente real de un DRP #SQLServer
#AlwaysON
Próximo Evento
Notas del editor
Crearemos un BIML dinámico que recorra todas las tablas de AdVentureWorks y genere paquetes de carga de Staging.
Pasos:
Leer todas las tablas
Inferir la Metadata
Crear un paquete que cree las tablas en destino, o en el miso paquete le ponemos if not exists que la cree
Truncamos la tabla
Dataflow básico con origen -> destino
- A esto hay que darle una vuelta porque no me gustan algunas cosas, sobre todo como las he expresado (amén del ingles de patio de colegio)