SlideShare una empresa de Scribd logo
1 de 23
Automatizando la limpieza de datos con SSIS
5 de Marzo de 2014

José L. Rivera, MBA, MCITP, MCSA
MCITP SQL Server 2008 (DBA, DD, BI)
PASS Global Spanish Chapter Leader
Consultant at Nagnoi, LLC
/SQLConqueror

• Líder del Capítulo Global PASS en Español
• VP - Puerto Rico PASS
• Azure VC Webmaster
• Profesional de Bases de Datos con mas de 10 años
usando SQL Server y tecnologías relacionadas
• Especializado en ETL e Inteligencia de Negocios
• Blog: http://sqlconqueror.com
• Email: jose@sqlconqueror.com
Agenda
•
•
•
•

Resumen de las capacidades de Data Quality Services (DQS)
Soporte nativo para limpieza de datos en SSIS
Soporte a normas de coincidencia (Matching Policy) en SSIS
Manejo de Dominios en Excel (export/import)
Resumen de las capacidades de Data
Quality Services (DQS)
Data Quality Services (DQS)
Data Quality Services (DQS)
• Descubrimiento de Conocimiento
(Knowledge Discovery)
• Manejo de Dominios
(Domain Management)

• Normas de Coincidencia
(Matching Policy)
• Servicios de Referencia de Datos
(Reference Data Services)
http://technet.microsoft.com/en-us/library/hh213015.aspx
Data Quality Services (DQS)
• Limpieza de Datos
(Data Cleansing)
• Coincidencia de Datos
(Data Matching)
• Perfilado y Notificaciones
(Profiling and Notifications)

http://technet.microsoft.com/en-us/library/hh213015.aspx
Data Quality Services (DQS)
• Monitoreo de Actividades
(Activity Monitoring)
• Configuración
(Configuration)
• Seguridad de DQS
(DQS Security)

http://technet.microsoft.com/en-us/library/hh213015.aspx
Soporte nativo para limpieza de datos en
SSIS
Componente SSIS – Limpieza de Datos
Componente SSIS – Actualización de Dominios
• Este componente maneja la retroalimentación de los dominios con
la información de los proyectos
• CodePlex
SSIS DQS Domain Value Import
https://domainvalueimport.codeplex.com/
Soporte a normas de coincidencia
(Matching Policy) en SSIS
Componente SSIS – Normas de Coincidencia
• No hay un componente nativo para realizar estas operaciones

• CodePlex
SSIS DQS Matching Transformation
https://ssisdqsmatching.codeplex.com/
Componente SSIS – Normas de Coincidencia
Manejo de Dominios en Excel
(export/import)
Excel ->DQS
DQS -> Excel
1

2

3
Manténgase conectado a nosotros!
Visítenos en http://globalspanish.sqlpass.org

/SpanishPASSVC
lnkd.in/dtYBzev
/user/SpanishPASSVC
/SpanishPASSVC
Calendario de Sesiones
Fecha

19 Marzo

Conferenciante

Guillermo Taylor
SQL Server MVP
….

Tema

….
…

Diagnóstico y resolución de problemas en SQL Server

9 Abril

Enrique Cátala
SQL Server MVP
Mentor para SolidQ

En mi día a día como consultor me encuentro con una gran
variedad de problemas relacionados directa o indirectamente con
SQL Server. El diagnóstico de las causas reales de estos problemas
suele requerir analizar tanto el hardware como el software de la
plataforma. Presentar el diagnóstico y la resolución de problemas
reales así como los procesos y herramientas utilizadas es el objetivo
de esta sesión.
Programa de Reconocimiento
Programa de Voluntario Sobresaliente
•

PASS le invita a nominar a su voluntario favorito para ser “Voluntario Sobresaliente del Mes”

•

Enviar nominaciones en todo momento a: VolunteerRecognition@sqlpass.org
Favor proveer:
• Información de contacto del nominado,
• una lista breve de los programas de PASS que a participado el nominado
• los años que lleva activo en la comunidad
• una corta descripción por el cual considera que esta persona debe ser reconocida

•

Los nominados seleccionados serán anunciados en la edición del boletín PASS Connector y recibirán un
certificado de apreciación.
JOIN US for our second annual event to get the best learning for
analyzing, managing, and sharing business information and
insights through the Microsoft Data Platform of technologies.
November 4 - 7 |
Seattle, WA

http://www.sqlpass.org/summit/2014
Manténganse Conectados!
•

Solicite su suscripción gratuita en sqlpass.org

•
•
•
•

Linked In: Professional Association for SQL Server
Facebook: Professional Association for SQL Server Group
Twitter: @SQLPASS
The PASS Blog: sqlpass.org

Más contenido relacionado

Similar a Automatizando la limpieza de datos con SSIS

Novedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAP
Novedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAPNovedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAP
Novedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAP
Joseph Lopez
 
BD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOS
BD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOSBD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOS
BD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOS
guestfd36060
 
Sql server 2005_envio
Sql server 2005_envioSql server 2005_envio
Sql server 2005_envio
persolato
 
Sql server data tools la nueva generación de herramientas de desarrollo de ba...
Sql server data tools la nueva generación de herramientas de desarrollo de ba...Sql server data tools la nueva generación de herramientas de desarrollo de ba...
Sql server data tools la nueva generación de herramientas de desarrollo de ba...
John Bulla
 

Similar a Automatizando la limpieza de datos con SSIS (20)

Administrando SQL Server, mejores practicas para un DBA
Administrando SQL Server, mejores practicas para un DBAAdministrando SQL Server, mejores practicas para un DBA
Administrando SQL Server, mejores practicas para un DBA
 
Novedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAP
Novedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAPNovedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAP
Novedades de MS SQL Server 2012 para ambientes tecnológicos OLTP y OLAP
 
SQL Server 2014 y La Plataforma de Datos
SQL Server 2014 y La Plataforma de DatosSQL Server 2014 y La Plataforma de Datos
SQL Server 2014 y La Plataforma de Datos
 
Sql server 2014 y la plataforma de datos
Sql server 2014 y la plataforma de datosSql server 2014 y la plataforma de datos
Sql server 2014 y la plataforma de datos
 
Diplomado Técnico SQL Server 2012 - Sesión 1/8
Diplomado Técnico SQL Server 2012 - Sesión 1/8Diplomado Técnico SQL Server 2012 - Sesión 1/8
Diplomado Técnico SQL Server 2012 - Sesión 1/8
 
Diplomado Técnico SQL Server 2012 - Sesión 8/8
Diplomado Técnico SQL Server 2012 - Sesión 8/8Diplomado Técnico SQL Server 2012 - Sesión 8/8
Diplomado Técnico SQL Server 2012 - Sesión 8/8
 
Diplomado Técnico SQL Server 2012 - Sesión 7/8
Diplomado Técnico SQL Server 2012 - Sesión 7/8Diplomado Técnico SQL Server 2012 - Sesión 7/8
Diplomado Técnico SQL Server 2012 - Sesión 7/8
 
24 Horas Español 2014 - ALM para el desarrollo de base de datos SQL Server
24 Horas Español 2014 - ALM para el desarrollo de base de datos SQL Server24 Horas Español 2014 - ALM para el desarrollo de base de datos SQL Server
24 Horas Español 2014 - ALM para el desarrollo de base de datos SQL Server
 
BD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOS
BD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOSBD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOS
BD_EQ1_INVESTIGACION_APORTACION_SQLSERVER2008EXPRESS_TODOS
 
Mejores Prácticas de SQL Server para implementar SharePoint Server
Mejores Prácticas de SQL Server para implementar SharePoint ServerMejores Prácticas de SQL Server para implementar SharePoint Server
Mejores Prácticas de SQL Server para implementar SharePoint Server
 
TriggerDB Brochure
TriggerDB BrochureTriggerDB Brochure
TriggerDB Brochure
 
Creando Reportes personalizados en ERP - MS Dynamics AX 2012 y SQL Server 2012
Creando Reportes personalizados en ERP - MS Dynamics AX 2012 y SQL Server 2012Creando Reportes personalizados en ERP - MS Dynamics AX 2012 y SQL Server 2012
Creando Reportes personalizados en ERP - MS Dynamics AX 2012 y SQL Server 2012
 
Servicios de datos en Microsoft Azure
Servicios de datos en Microsoft AzureServicios de datos en Microsoft Azure
Servicios de datos en Microsoft Azure
 
SEMANA 1 Introduccion.pptx
SEMANA 1 Introduccion.pptxSEMANA 1 Introduccion.pptx
SEMANA 1 Introduccion.pptx
 
Sql server 2005_envio
Sql server 2005_envioSql server 2005_envio
Sql server 2005_envio
 
24 HOP edición Español - Alm para el desarrollo de base de datos sql server -...
24 HOP edición Español - Alm para el desarrollo de base de datos sql server -...24 HOP edición Español - Alm para el desarrollo de base de datos sql server -...
24 HOP edición Español - Alm para el desarrollo de base de datos sql server -...
 
Herramientas Monitoreo SQL Server
Herramientas Monitoreo SQL Server Herramientas Monitoreo SQL Server
Herramientas Monitoreo SQL Server
 
Ingeniería de software - Harriague y Asociados
Ingeniería de software - Harriague y AsociadosIngeniería de software - Harriague y Asociados
Ingeniería de software - Harriague y Asociados
 
Sql server data tools la nueva generación de herramientas de desarrollo de ba...
Sql server data tools la nueva generación de herramientas de desarrollo de ba...Sql server data tools la nueva generación de herramientas de desarrollo de ba...
Sql server data tools la nueva generación de herramientas de desarrollo de ba...
 
Construyendo hechos y dimensiones lentamente cambiantes para tu dw
Construyendo hechos y dimensiones lentamente cambiantes para tu dwConstruyendo hechos y dimensiones lentamente cambiantes para tu dw
Construyendo hechos y dimensiones lentamente cambiantes para tu dw
 

Más de SpanishPASSVC

Más de SpanishPASSVC (20)

Creación de un modelo de análisis predictivo en la nube
Creación de un modelo de análisis predictivo en la nubeCreación de un modelo de análisis predictivo en la nube
Creación de un modelo de análisis predictivo en la nube
 
Analizando la performance del subsistema de IO
Analizando la performance del subsistema de IOAnalizando la performance del subsistema de IO
Analizando la performance del subsistema de IO
 
AlwaysON Lecciones Aprendidas
AlwaysON Lecciones AprendidasAlwaysON Lecciones Aprendidas
AlwaysON Lecciones Aprendidas
 
Data Science con Microsoft R Server y SQL Server 2016
Data Science con Microsoft R Server y SQL Server 2016Data Science con Microsoft R Server y SQL Server 2016
Data Science con Microsoft R Server y SQL Server 2016
 
Mejoras de Rendimiento para Replicación Transaccional
Mejoras de Rendimiento para Replicación TransaccionalMejoras de Rendimiento para Replicación Transaccional
Mejoras de Rendimiento para Replicación Transaccional
 
Como leer planes de ejecución
Como leer planes de ejecuciónComo leer planes de ejecución
Como leer planes de ejecución
 
AlwaysOn en SQL Server 2016
AlwaysOn en SQL Server 2016AlwaysOn en SQL Server 2016
AlwaysOn en SQL Server 2016
 
VMs de alto rendimiento para SQL Server en AWS y Azure
VMs de alto rendimiento para SQL Server en AWS y AzureVMs de alto rendimiento para SQL Server en AWS y Azure
VMs de alto rendimiento para SQL Server en AWS y Azure
 
Tecnicas avanzadas de monitoreo
Tecnicas avanzadas de monitoreoTecnicas avanzadas de monitoreo
Tecnicas avanzadas de monitoreo
 
Principios de diseño para procesos de ETL
Principios de diseño para procesos de ETLPrincipios de diseño para procesos de ETL
Principios de diseño para procesos de ETL
 
Planeando e implementando servicios de datos con Microsoft Azure
Planeando e implementando servicios de datos con Microsoft AzurePlaneando e implementando servicios de datos con Microsoft Azure
Planeando e implementando servicios de datos con Microsoft Azure
 
Mejores prácticas para SQL Server en ambientes virtualizados
Mejores prácticas para SQL Server en ambientes virtualizadosMejores prácticas para SQL Server en ambientes virtualizados
Mejores prácticas para SQL Server en ambientes virtualizados
 
Mejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerMejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL Server
 
La receta de la abuela para mejores cargas de datos
La receta de la abuela para mejores cargas de datosLa receta de la abuela para mejores cargas de datos
La receta de la abuela para mejores cargas de datos
 
Introducción a Azure Machine Learning
Introducción a Azure Machine LearningIntroducción a Azure Machine Learning
Introducción a Azure Machine Learning
 
Cuadros de mando el todo es más que la suma de las partes
Cuadros de mando el todo es más que la suma de las partesCuadros de mando el todo es más que la suma de las partes
Cuadros de mando el todo es más que la suma de las partes
 
Automatizando la generación de Datawarehouses a través de metadatos
Automatizando la generación de Datawarehouses a través de metadatosAutomatizando la generación de Datawarehouses a través de metadatos
Automatizando la generación de Datawarehouses a través de metadatos
 
Descubriendo el corazón de la optimización “Estadísticas más que un concepto”
Descubriendo el corazón de la optimización “Estadísticas más que un concepto”Descubriendo el corazón de la optimización “Estadísticas más que un concepto”
Descubriendo el corazón de la optimización “Estadísticas más que un concepto”
 
Administrando soluciones de Power BI
Administrando soluciones de Power BIAdministrando soluciones de Power BI
Administrando soluciones de Power BI
 
Vista 360 grados de DataZen - Juan Alvarado
Vista 360 grados de DataZen - Juan AlvaradoVista 360 grados de DataZen - Juan Alvarado
Vista 360 grados de DataZen - Juan Alvarado
 

Último

redes informaticas en una oficina administrativa
redes informaticas en una oficina administrativaredes informaticas en una oficina administrativa
redes informaticas en una oficina administrativa
nicho110
 

Último (12)

Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
 
Buenos_Aires_Meetup_Redis_20240430_.pptx
Buenos_Aires_Meetup_Redis_20240430_.pptxBuenos_Aires_Meetup_Redis_20240430_.pptx
Buenos_Aires_Meetup_Redis_20240430_.pptx
 
Innovaciones tecnologicas en el siglo 21
Innovaciones tecnologicas en el siglo 21Innovaciones tecnologicas en el siglo 21
Innovaciones tecnologicas en el siglo 21
 
investigación de los Avances tecnológicos del siglo XXI
investigación de los Avances tecnológicos del siglo XXIinvestigación de los Avances tecnológicos del siglo XXI
investigación de los Avances tecnológicos del siglo XXI
 
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxPROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
 
Avances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estosAvances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estos
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNIT
 
redes informaticas en una oficina administrativa
redes informaticas en una oficina administrativaredes informaticas en una oficina administrativa
redes informaticas en una oficina administrativa
 
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxEL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
 
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptxEVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
 
How to use Redis with MuleSoft. A quick start presentation.
How to use Redis with MuleSoft. A quick start presentation.How to use Redis with MuleSoft. A quick start presentation.
How to use Redis with MuleSoft. A quick start presentation.
 
Avances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanaAvances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvana
 

Automatizando la limpieza de datos con SSIS

  • 1. Automatizando la limpieza de datos con SSIS 5 de Marzo de 2014 José L. Rivera, MBA, MCITP, MCSA MCITP SQL Server 2008 (DBA, DD, BI) PASS Global Spanish Chapter Leader Consultant at Nagnoi, LLC
  • 2. /SQLConqueror • Líder del Capítulo Global PASS en Español • VP - Puerto Rico PASS • Azure VC Webmaster • Profesional de Bases de Datos con mas de 10 años usando SQL Server y tecnologías relacionadas • Especializado en ETL e Inteligencia de Negocios • Blog: http://sqlconqueror.com • Email: jose@sqlconqueror.com
  • 3. Agenda • • • • Resumen de las capacidades de Data Quality Services (DQS) Soporte nativo para limpieza de datos en SSIS Soporte a normas de coincidencia (Matching Policy) en SSIS Manejo de Dominios en Excel (export/import)
  • 4. Resumen de las capacidades de Data Quality Services (DQS)
  • 6. Data Quality Services (DQS) • Descubrimiento de Conocimiento (Knowledge Discovery) • Manejo de Dominios (Domain Management) • Normas de Coincidencia (Matching Policy) • Servicios de Referencia de Datos (Reference Data Services) http://technet.microsoft.com/en-us/library/hh213015.aspx
  • 7. Data Quality Services (DQS) • Limpieza de Datos (Data Cleansing) • Coincidencia de Datos (Data Matching) • Perfilado y Notificaciones (Profiling and Notifications) http://technet.microsoft.com/en-us/library/hh213015.aspx
  • 8. Data Quality Services (DQS) • Monitoreo de Actividades (Activity Monitoring) • Configuración (Configuration) • Seguridad de DQS (DQS Security) http://technet.microsoft.com/en-us/library/hh213015.aspx
  • 9. Soporte nativo para limpieza de datos en SSIS
  • 10. Componente SSIS – Limpieza de Datos
  • 11. Componente SSIS – Actualización de Dominios • Este componente maneja la retroalimentación de los dominios con la información de los proyectos • CodePlex SSIS DQS Domain Value Import https://domainvalueimport.codeplex.com/
  • 12. Soporte a normas de coincidencia (Matching Policy) en SSIS
  • 13. Componente SSIS – Normas de Coincidencia • No hay un componente nativo para realizar estas operaciones • CodePlex SSIS DQS Matching Transformation https://ssisdqsmatching.codeplex.com/
  • 14. Componente SSIS – Normas de Coincidencia
  • 15. Manejo de Dominios en Excel (export/import)
  • 18. Manténgase conectado a nosotros! Visítenos en http://globalspanish.sqlpass.org /SpanishPASSVC lnkd.in/dtYBzev /user/SpanishPASSVC /SpanishPASSVC
  • 19. Calendario de Sesiones Fecha 19 Marzo Conferenciante Guillermo Taylor SQL Server MVP …. Tema …. … Diagnóstico y resolución de problemas en SQL Server 9 Abril Enrique Cátala SQL Server MVP Mentor para SolidQ En mi día a día como consultor me encuentro con una gran variedad de problemas relacionados directa o indirectamente con SQL Server. El diagnóstico de las causas reales de estos problemas suele requerir analizar tanto el hardware como el software de la plataforma. Presentar el diagnóstico y la resolución de problemas reales así como los procesos y herramientas utilizadas es el objetivo de esta sesión.
  • 20. Programa de Reconocimiento Programa de Voluntario Sobresaliente • PASS le invita a nominar a su voluntario favorito para ser “Voluntario Sobresaliente del Mes” • Enviar nominaciones en todo momento a: VolunteerRecognition@sqlpass.org Favor proveer: • Información de contacto del nominado, • una lista breve de los programas de PASS que a participado el nominado • los años que lleva activo en la comunidad • una corta descripción por el cual considera que esta persona debe ser reconocida • Los nominados seleccionados serán anunciados en la edición del boletín PASS Connector y recibirán un certificado de apreciación.
  • 21. JOIN US for our second annual event to get the best learning for analyzing, managing, and sharing business information and insights through the Microsoft Data Platform of technologies.
  • 22. November 4 - 7 | Seattle, WA http://www.sqlpass.org/summit/2014
  • 23. Manténganse Conectados! • Solicite su suscripción gratuita en sqlpass.org • • • • Linked In: Professional Association for SQL Server Facebook: Professional Association for SQL Server Group Twitter: @SQLPASS The PASS Blog: sqlpass.org