Este documento trata sobre la importancia de la calidad de datos para las empresas. Muchas empresas ignoran los problemas con sus datos, como datos personales incorrectos de clientes, direcciones incorrectas y números de teléfono erróneos. La calidad de datos ofrece ventajas como información precisa para la toma de decisiones y ahorros de costos. Sin embargo, las empresas generalmente no logran eliminar la no calidad de datos por sí solas debido a mitos como que es demasiado caro o complejo. Se recomienda elegir un especialista local en calidad de datos.
Qué es un Histograma estadístico teoria y problema
Guía para empresas: Comprendiendo la importancia de la calidad de datos
1. Comprendiendo qué es la calidad de datos
e implantando un entorno de datos limpio y controlado.
Guía para empresas
2. Una cuestión incómoda
La mayoría de empresas y
administraciones públicas saben que
existe un problema con los datos, pero
generalmente lo ignoran.
Sigma Data Services - www.datoslimpios.es
3. Resumiendo:
La calidad de datos realmente importa a muy pocas
empresas.
Veamos porqué y si merece la pena hacer algo más por los
datos o no.
Sigma Data Services - www.datoslimpios.es
4. Algunos ejemplos de porqué controlar la calidad de las
cosas es importante para las empresas y también para la
sociedad…
Sigma Data Services - www.datoslimpios.es
5.
6. Si sabes que tus datos son uno de los activos más
importantes de tu negocio, entonces…
¿De qué sirven tantos sistemas informáticos y tanta
inversión si no te preocupas por los datos?
Sigma Data Services - www.datoslimpios.es
7. ¿Es importante para tu negocio?
Si te dijera que tus bases de datos tienen …
30% de datos personales de clientes incorrectos o inexistentes
20% de direcciones postales incorrectas
15% de teléfonos incorrectos
7% de clientes duplicados
5% de e-mails incorrectos
… ¿es importante para tu negocio?
Sigma Data Services - www.datoslimpios.es
8. Hay algo más:
El problema no sólo es tener los datos así (de mal), sino no
saber qué datos están afectados, porqué y desde cuándo.
(Por cierto los costes de la no calidad de datos suelen estar sobre el 5% de
los ingresos de una entidad)
Sigma Data Services - www.datoslimpios.es
9. Qué organizaciones están más afectadas
Todas sufren sus consecuencias en mayor o menor
medida, aunque la no calidad impacta más sobre ciertos
sectores:
Empresas con cientos de miles o millones de clientes particulares con
pequeño valor
Con miles de clientes de alto valor
Con gran actividad y control de la relación
Con gran actividad de marketing directo o de comunicación
Administraciones públicas
Sigma Data Services - www.datoslimpios.es
10. ¿Cuál es el coste de la no calidad?
¿Cuánto gasta en servidores?
¿Y en desarrollar aplicaciones?
¿Y en licencias de productos?
¿Y en mantener la base de datos?
¿Y en desarrollar interfaces?
¿Y en acceso a Internet?
¿Y en marketing relacional?
¿Y en atención al cliente?
¿Y en actividad comercial?
La no calidad de datos cuesta entre el 15% - 20%
de estos capítulos. Es decir, mucho.
Sigma Data Services - www.datoslimpios.es
12. ¿Qué es la no calidad de los datos?
Es la degradación continua de los
datos identificativos y de contacto de
personas físicas y jurídicas:
• Clientes y potenciales
• Empleados y candidatos
• Proveedores
• Ciudadanos,
• Suscriptores
• …
Sigma Data Services - www.datoslimpios.es
14. ¿Qué es la calidad de datos?
Es un conjunto de
metodologías, actividades, técnicas y
productos destinados a reducir la no calidad de
los datos.
Objetivo:
Mantener los datos en el mejor estado
posible:
Datos correctos, sin errores
Datos actualizados, de forma continua
Datos únicos, sin duplicidades
Datos controlados, conociendo el porqué de su
situación
Sigma Data Services - www.datoslimpios.es
15. Datos básicos a tratar
Los datos básicos de personas (individuales o
empresas) son los que nos permiten
identificar unívocamente una persona y
contactarla por correo
postal, electrónico, teléfono y SMS:
Nombre, 2 apellidos
Nombre de empresa
Sexo / Empresa
DNI, NIF, CIF, Nº Tarjeta residencia, Nº Pasaporte
Dirección postal
Dirección electrónica
Teléfono fijo, teléfono móvil
Sigma Data Services - www.datoslimpios.es
16. Ficha estándar de datos
Nombre Fernando Jurado Úbeda
Dirección P. Casal 10 1D (Urb. Quinta de Goya)
Código Postal No consta
Localidad Madrid
DNI 50.159.894-X
Teléfono 1 91 526 570
Teléfono 2 647 937 259
E-mail fjurado@sigma
La ficha estándar de datos no aporta ninguna
información precisa sobre validez, actualización y
origen de cada dato.
Sigma Data Services - www.datoslimpios.es
17. Ficha de datos normalizada y controlada
Campo Valor Estado Fecha alta Fecha revisión Origen
Nombre Fernando Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Apellido_1 Jurado Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Apellido_2 Úbeda Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Sexo Varón Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
NIF 50159894X Inválido 05-01-2008 10-02-2009 Sigma_Norma_01
Tipo_via Calle Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Denom_via Pablo Casals Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Cod_via 2812334400-100 Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Numero 10 Encontrado 05-01-2008 10-02-2009 Sigma_GeoCal_01
Piso_puerta 1ºD Separado 05-01-2008 22-03-2009 Bd_clientes_01
Resto_dir Urbanización Quinta de Goya Separado 05-01-2008 22-03-2009 Bd_clientes_01
Cp 28011 Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Localidad Madrid Encontrado 05-01-2008 22-03-2009 Bd_clientes_01
Municipio Madrid Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Provincia Madrid Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Tel_fijo 91526570 Inválido 05-01-2008 22-03-2009 Sigma_Norma_01
Tel_movil 647937259 Válido 05-01-2008 22-03-2009 Sigma_Norma_01
Email <deleted> Inválido 05-01-2008 01-04-2009 Sigma_Norma_01
Duplicados 3 --- --- Sigma Data Services - www.datoslimpios.es
01-04-2009 Sigma_Norma_01
18. Qué ventajas aporta la calidad de datos
Para la dirección:
Información precisa en todo momento para
toma de decisiones
Análisis e informes confiables, a tiempo
Para equipo técnico:
Control sobre los contenidos de los datos
Aumenta su productividad de forma
exponencial
Para clientes, empleados, ciudadanos:
Comunicaciones libres de error
Servicio de alto nivel
Para la empresa en su conjunto:
Enormes ahorros de costes
Sigma Data Services - www.datoslimpios.es
19. Entorno de datos limpio y controlado
=
Control + Ahorro
(saber qué, cuáles, porqué y cuánto)
Sigma Data Services - www.datoslimpios.es
21. Mito Nº 1
“Nuestros informáticos
pueden hacerlo”
Reconózcalo ya:
sus informáticos no poseen la experiencia
ni los recursos para hacerlo correctamente;
¡Están dedicados a los sistemas de nóminas y ventas!
Sigma Data Services - www.datoslimpios.es
22. Mito Nº 2
“Tenemos los mejores sistemas
informáticos del mercado”
¡Estamos hablando de datos, no de sistemas!
Sigma Data Services - www.datoslimpios.es
23. Mito Nº 3
“Los datos están bien,
los limpiamos hace tres años”
¿Sus datos están realmente bien? ¿Cómo lo sabe?
¿Su oficina sólo la limpia cada tres años?
¿Cuándo fue la última vez que auditó sus datos?
¿Cuántos clientes tiene (exactamente)?
Sigma Data Services - www.datoslimpios.es
24. Mito Nº 4
“Es demasiado caro”
Respuesta incorrecta:
la calidad de datos se paga por sí misma,
desde el primer día.
En realidad es una gran inversión
a corto, medio y largo plazo
Sigma Data Services - www.datoslimpios.es
25. Mito Nº 5
“Es demasiado complejo”
Respuesta correcta:
Déjelo en manos de verdaderos especialistas:
Poseen las herramientas y el conocimiento para auditar sus
datos y proponer un plan de calidad continuo
Sigma Data Services - www.datoslimpios.es
26. Mito Nº 6
“Nuestro ERP y CRM
ya incluye calidad de datos”
SAP, Navision, Siebel, … efectivamente incluyen sistemas de
calidad de datos, pero por desgracia son sistemas pensados
para datos USA, UK, … y sólo incluyen calidad instantánea.
Exija un sistema de calidad de datos totalmente adaptado a
España, que pueda convivir fácilmente con
sus sistemas y que permita un plan continuado
Sigma Data Services - www.datoslimpios.es
28. Sus datos son su principal activo.
Dedique el tiempo que merecen.
Sigma Data Services - www.datoslimpios.es
29. Por dónde empezar
1. Identifique dónde están los datos de personas
2. Seleccione los campos a tratar
3. Identifique los procesos y aplicaciones que actualizan datos
4. Identifique los diferentes departamentos y usuarios que
utilizan estos datos y qué hacen con ellos
5. Trace un plan:
Audite la calidad de las bases de datos inicialmente
Limpieza inicial masiva
Fusión de bases de datos
Adapte y mejore los procesos
Auditorías periódicas de datos y scorecard
Sigma Data Services - www.datoslimpios.es
30. El Ciclo de la Calidad de Datos
Limpiar
Auditar
Adaptar Fusionar
Sigma Data Services - www.datoslimpios.es
31. Elija un verdadero especialista local
Existen soluciones que prometen calidad de datos,
pero sólo unas pocas están diseñadas para la
realidad de los datos españoles:
• Nombres compuestos,
abreviaturas
• Dos apellidos, acentos
• Patronímicos español
y latinoamericanos
• Particularidades idiomáticas:
cuatro lenguas cooficiales,
sintaxis múltiple
• Particularidades de vías,
abreviaturas, nombres antiguos
• No hay una única base de calles
(Correos, INE)
• Códigos postales demasiado amplios
• …
Sigma Data Services - www.datoslimpios.es
32. La diferencia entre soluciones está en:
Cómo resuelven técnicamente las particularidades españolas
El conocimiento de la realidad española: INE, Correos, etc.
La estrategia de búsqueda y comparación
El grado de calidad de los resultados: no es lo mismo el 85%
que el 99%
La arquitectura técnica del sistema: entornos sobre los que
corre, niveles de integración, interoperabilidad, base de datos
El precio: el coste debe multiplicar los ahorros
Sigma Data Services - www.datoslimpios.es
34. sigmadq
GUI
Es una Plataforma de
Herramientas y Servicios de
calidad de datos.
Capa de negocio:
captura, interface
s
• Multiplataforma
• Diferentes niveles de
Motores: validación;
integración normalización; deduplicación
• Capas independientes
• Productos software o servicios
Sigma Data Services - www.datoslimpios.es
35. sigmadq · características
Tecnología avanzada Mejores resultados Flexibilidad
• Diseñado y desarrollado • Adaptado 100% a las • Preparado para
desde cero particularidades integrarse en cualquier
• Java EE - españolas entorno y aplicación
Multiplataforma • Alta precisión en • No requiere hardware
• Independiente de la capa resultados especial
de negocio • Velocidad de proceso • Tecnología propia
• Aprendizaje inteligente • Mejor relación calidad / • Flexibilidad ante cambios
• Combina varias técnicas precio
de comparación
Sigma Data Services - www.datoslimpios.es
36. sigmadq · productos
sigma profiler
Auditoría y validación
Cuadro de mandos
sigma normalizator
Corrección
Normalización y georeferenciación
Deduplicación
sigma data government
Master Data Management
sigma mailer screener
Solución de filtrado para mailings masivos
Sigma Data Services - www.datoslimpios.es
37. Portal de servicios de calidad de datos
Todas nuestras soluciones están
disponibles como servicios en:
www.datoslimpios.es
El Portal de Servicios de
Calidad de Datos
Sigma Data Services - www.datoslimpios.es
38. Contacto
SIGMA DATA SERVICES S.L.
Av. M-40, Nº 19 Oficina 5
28925 Alcorcón · Madrid · España
Tel.: 91 485 53 06
Fax: 91 485 53 09
info@sigma-data.com
www.sigma-data.com
Contacto comercial
Fernando Jurado
Tel.: (+34) 647 937 259
E-mail: fjurado@sigma-data.com
Sigma Data Services - www.datoslimpios.es