Datawarehouse

1. 1

2. 2
2
Creando el próximo Data Warehouse:
Integración y calidad de datos
Caso Práctico
Pei Yung Chan
Sales Consultant
pychan@informatica.com

3. 3
Agenda
• Presentación corporativa
• Procesos de integración y calidad de datos
• Uso de PowerCenter como herramienta de integración de
datos
• Ejemplo de un Data Warehouse con calidad
• Utilización de procesos y reglas de calidad de datos
• Uso de PowerAnalyzer como herramienta de análisis y
reporting

4. 4
4
Presentación corporativa

5. 5
Nuestra Misión
Enabling The Information Economy
Ayudamos a las organizaciones a
obtener una ventaja competetiva
mediante la optimización de la
gestión de sus datos a traves de
herramientas de acceso, integración
y calidad del dato.

6. 6
Clientes +3.200 clientes
Productos Plataforma de Integración y Calidad de Datos
Ciclo de vida del Dato (Acceso, Validación,
Transformación y Entrega)
Compañía Nasdaq: INFA
Más de 1.400 empleados
Analistas Reconocida como "Líder" en el Data Integration
y Data Quality magic Quadrant de Gartner (2008).
Informatica es la única compañía de software de
integración independiente.
Líderes en Integración de Datos

7. 7
Informatica
Resultados Record / Foco único
• Beneficios: $391 million
• Crecimiento
últimos 3-años: 21% por año
• Clientes: 3,200+
• 91 del Fortune 100
• 80%+ del Dow Jones
• 20 Organizaciones
Guvernamentales
• Partners: 400+
• Major SI, ISV, OEM and
On-Demand Leaders
• Empleados: 1,500+ $100
$150
$200
$250
$300
$350
$400
$450
2004 2005 2006 2007

8. 8
Las necesidades empresariales
Necesidades
del negocio
Mejorar
decisiones y
cumplir con la
normativa
Modernizar el
negocio y
reducir los
costes de TI
Fusiones y
adquisiciones
Mejorar la
eficiencia del
servicio al cliente
Externalización
de servicios
Incrementar la
Eficiencia con los
colaboradores
externos
Iniciativas
de TI
Business
Intelligence
Eliminación de
sistemas
legados
Consolidación
de aplicaciones
Hubs de
productos,
Clientes
BPO
Saas
B2B
Integration
Proyectos
Data
Warehouse
Data
Migration
Data
Consolidation
Master Data
Management
Data
Synchronization
B2B Data
Exchange

9. 9
= Less for more
Hand Coding
Data
Warehouse
Data
Migration
Data
Consolidation
Master Data
Management
Data
Synchronization
B2B Data
Exchange
Solución de integración de datos
Data
Warehouse
Data
Migration
Data
Consolidation
Master Data
Management
Data
Synchronization
B2B Data
Exchange
The extended enterprise – data everywhere
B2B
Unstructured
Application Database
On-Demand
HIPAA
SEPA
NAACHA
SWIFT

10. 10
Continuamos de la
misma manera
o
Lo gestionamos
diferente

11. 11
Aprovechar el valor de los datos
Ciclo de vida de la integración de datos
Data
Warehouse
Data
Migration
Data
Consolidation
Master Data
Management
Data
Synchronization
B2B Data
Exchange

12. 12
The Informatica Platform
To Enable Business Imperatives
On-demand Integration Enterprise Data Integration B2B Data Integration
Data Quality Across the Whole Enterprise
Informatica On Demand
Improve
Decisions &
Regulatory
Compliance
Modernize
Business &
Reduce IT
Costs
Facilitate
Mergers &
Acquisitions
Improve
Customer
Service &
Operational
Efficiency
Outsource
Non-core
Functions
Increase
Partner network
Efficiency
Access Discover Cleanse Integrate Deliver
Develop + Manage
Audit + Monitor + Report
Data Quality
Data Explorer
PowerCenter
PowerExchange
B2B Exchange B2B Exchange

13. 13
The Informatica Platform
Comprehensive, Unified, and Open
HIPAA
SEPA
NACHA
Traditional
Enterprise
Partner Trading Network
(B2B)
Cloud Computing
(SaaS)
On-demand Integration Enterprise Data Integration B2B Data Integration
Data Quality Across the Whole Enterprise

14. 14
14
Informatica

15. 15
Advancing Product Leadership
Continuous Innovation
Release 8.5
Q4 2007
B2B Data
Exchange
Q2 2008
Data Quality Update
Q3 2008
Business Glossary v2, IR within DI and DQ
Real time ICC
B2B Data Exchange
Informatica 8.6
Q2 2008
Identity Integration, Migration Suite, Real-time Edition
Release 9.0
1H 2009
Data Governance Workbench
Data Quality Studio
Data Services Platform
Data Quality Update
Q1 2008
Country Packs
Japan, China Address Validation
Informatica 8.7
2H 2008

16. 16
Informatica
Addressing The Data Integration Challenge
Attain Adaptive Agility Maximize Data Value
Do More With Less Optimize IT Efficiency
Accelerate Business
Responsiveness
Expedite Time To Value
Mitigate Risks Neutrality

17. 17
Why Informatica?
Proven Technology Leadership
Completeness of Vision
Ability
to
Execute
Source: Gartner Research (June 2008)
Visionaries
Niche Players
Challengers Leaders
2008 Data Quality
Magic Quadrant
Source: Gartner Research (September 2008)
2008 Data Integration
Magic Quadrant
Visionaries
Niche Players
Challengers Leaders
Source: Forrester Research 2007
2007 Enterprise ETL
Forrester Wave

18. 18
Why Informatica?
The Neutral Trusted Partner
Global
Systems Integrators
Operating Systems
Platforms and Technologies
Database and Infrastructure
BI
Regional:
Digital China, LGCNS
Applications On-Demand

19. 19
Seguros
Telcos
Retail y
Servicios
Sanidad e
Industria
Farmacéutica
Servicios
Financieros
Clientes en España y Portugal (Iberia)

20. 20
Sector
Público
Energía y
servicio
público
Otros
sectores
Telcos
Clientes en España y Portugal (Iberia)

21. 21
Procesos de integración y calidad de
datos

22. 22
Necesidades de un negocio
• Incorporar la información recogida en sistemas
transaccionales u otras fuentes de datos para:
• Analizar la evolución de ventas
• Comparar las tendencias del mercado
• Analizar el efecto de las promociones de marketing y
acciones comerciales
• Obtención de la información para realizar rápidas
decisiones estratégicas, tácticas y operacionales
• Realizar un análisis de ventas comparativo con otras
empresas del sector

23. 23
Ejemplos de Indicadores obtenidos
• Ventas en € y en unidades
• Market share del producto respecto el mercado al que
pertenece
• Potencial del producto. Porcentaje que representan las
ventas del producto respecto el total de ventas a nivel
nacional
• Ratio de crecimiento de las ventas respecto el mismo
periodo del año anterior
• Ratio de crecimiento del producto analizado respecto a la
ratio de crecimiento del mercado
• Potencial del mercado. Porcentaje que representan las
ventas del total del mercado respecto el total de ventas a
nivel nacional

24. 24
Problemática habitual
• Traspasar la información a nuestros sistemas
operacionales (CRM, ERP) o decisionales (BI)
• Verificar la información y adecuarla a nuestros
indicadores de negocio
• Alimentar más de un sistema con la información
obtenida
• Necesidad de programación de procesos de
extracción poco flexibles y de costosa
implantación

25. 25
Metodología de extracción de datos
Dirección
Información
Operaciones Validación Carga
Sistema
Decisional
Informes
e
indicadores
Información
Validada
Complementar
la información
Información
empresa
Sistema de
información
de la
empresa
Información
empresa

26. 26
Proceso de extracción de la información
• Se realiza la carga a los sistemas de la empresa
automáticamente
• Control de la transferencia por FTP o desde otras
ubicaciones
• Gestión de errores
• Aviso a los responsables
• Detección del punto exacto donde se detecta el error
• Permite la reejecución del proceso en el punto donde se ha
detectado el error
• Programar el proceso para su ejecución en
diferentes momentos del día

27. 27
Proceso de validación de la información
• Garantizar la coherencia de la información
• Es necesaria una comprobación que la
información es correcta y no hayan
alteraciones
• Comprobación de indicadores de la calidad
de los datos

28. 28
Proceso de transformación
• Cabe destacar la importancia de
complementar datos con datos producidos
por la compañía
• Incorporación de la información de la red
comercial propia de la compañía
• Incorporar agrupaciones de productos,
presentaciones, etc. que es mantenido por
los tomadores de decisión de la compañía

29. 29
Proceso de carga
• Incorporación de información adicional en otras
bases de datos, hojas EXCEL, ficheros planos, etc.
• Proceso de carga de Staging Area para ser origen de
otras cargas (Data marts, etc.)
• Tratamiento gran volumen de información
producidos generalmente por
• Muchas combinaciones de datos para asegurar la
velocidad de ejecución de informes
• Generación de agregados para todos los elementos y
niveles de las redes comerciales

30. 30
Uso de PowerCenter como
herramienta de integración de datos

31. 31
Desarrollo / Programación
 Tiempo de desarrollo / corrección de
errores
 Flexibilidad / reutilización
 Auditoria / Documentación
 Trazabilidad
 Programadores
 Lenguajes de programación
Solución propuesta
Fuentes de Datos
Aplicaciones
de negocio
Extracción y
carga de datos
SalesForce

32. 32
Ejemplo de un Data Warehouse con
calidad

33. 33
Ejemplo POWERPHONE
• Empresa ejemplo de telefonía móvil
• Tiene la necesidad de realizar análisis sobre las
llamadas y los servicios contratados por sus
clientes
• Es necesario aplicar reglas de calidad en sus
datos

34. 34
Modelo de datos POWERPHONE
Versión inicial
Cliente
PK IDCliente
FK1 IDContrato
Telefono
C_Provincia
FK2 IDGEO
Contrato
PK IDContrato
Nombre
Establecimiento
Tarifa_mañana
Tarifa_tarde
Tarifa_finde
Tarifa_SMS
Tarifa_Internet
Conexion
PK IDConexion
FK1 IDCliente
FK2 IDGEO
Tipo_Conex
inicio
minutos
kbytes
GEO
PK IDGEO
CNB
NPB
FK1 CPROV
Llamada
FK1 inicio
FK1 minutos
FK1 IDConexion
SMS
FK1 inicio
FK1 IDConexion
Internet
FK1 inicio
FK1 kbytes
FK1 IDConexion
Provincia
PK CPROV
Nombre

35. 35
Procesos de calidad
• Selección de diferentes campos importantes de
las diferentes tablas de datos
• Incorporación de indicadores de calidad
• Índice de calidad con valor de 0 a 1
• Procesos periódicos que miden la calidad del
registro
• Actualización del índice de calidad de los datos

36. 36
Modelo de datos POWERPHONE
Versión con indicadores de calidad de datos
Cliente
PK IDCliente
FK1 IDContrato
FK2 IDGEO
Nombre
Apellido
Telefono
C_Provincia
LOPD
Q_IND_Nombre
Q_IND_Sexo
Q_IND_Direccion
Q_IND_Global
Contrato
PK IDContrato
Nombre
Establecimiento
Tarifa_mañana
Tarifa_tarde
Tarifa_finde
Tarifa_SMS
Tarifa_Internet
Conexion
PK IDConexion
FK1 IDCliente
FK2 IDGEO
Tipo_Conex
inicio
minutos
kbytes
GEO
PK IDGEO
CNB
NPB
FK1 CPROV
Llamada
FK1 inicio
FK1 minutos
FK1 IDConexion
SMS
FK1 inicio
FK1 IDConexion
Internet
FK1 inicio
FK1 kbytes
FK1 IDConexion
Provincia
PK CPROV
Nombre

37. 37
Procesos de integración de datos
• Extracción de los diferentes orígenes
• Comprobación de datos
• Trasformaciones y cálculos
• Filtrado de los registros con indicadores de
calidad inadecuados
• Escritura y carga en el Data Warehouse

38. 38
Proceso de extracción y carga

39. 39
Procesos de calidad de datos

40. 40
Uso de Data Analyzer como
herramienta de análisis y reporting

41. 41
Lo que nos comunican nuestros clientes
Problemas para los consumidores de información:
BI para todos los usuarios
Facilidad de uso; Procesos guiados de desarrollo;
cuadros de mando personalizados, mínima
formación necesaria.
BI para usuarios avanzados
Funcionalidad Web limitada; Dificultad
de manejo; Muchas y diferentes
interfaces; Extenso entrenamiento.
Problemas tradicionales Nuestra Solución
Limitación de análisis
Análisis causa-efecto complejo,
limitación en el desglose de la
información.
Análisis guiados
Avanzado análisis causa-efecto; workflows
analíticos, ayuda para la toma de decisiones.
Integración con Excel
Desconectado de las fuentes de datos
Total integración con Excel
Integración bidireccional con excel, funcionalidad
embebida, exportación dinámica.
“Tiempo-Real”
Disponible unicamente en refresco de
información
Integración en Tiempo-Real
Alertas interactivas real-time, contextual right-time
metrics; actualización de infraestructura analítica

42. 42
Informatica Data Analyzer:
Plataforma Unificada: “Todo en uno”
• Unificación en las
capacidades de
funcionamiento y
administración
• Thin-client para
administración,
desarrollo e interfaces
de usuario final
• Reducción de costes
de licenciamiento,
implementación,
formación e
integración de
producto
Ad hoc Query
& Report
Viewing
Embedded
Excel
Real-Time
Dashboards
Admin
Analytic
Apps
Interface
Software
Development
Kit
Mobile &
Broadcasting
Analytic
Workflow,
Slice & Dice
Authentication
Portal
Integration
Enterprise
Communications
PowerAnalyzer
4
®
© Copyright 2003 Informatica Corporation. All rights reserved.
Report
Viewing
Excel
Integration
Dashboards
Report
Layout &
Design
Analytic
Tools
Performance
Management
Mobile &
Broadcasting
Ad Hoc
Analysis
Portal
Integration
Administration Data
Analyzer
APIs & SDK

43. 43
Democratizar la información:
Responsabilidad y Visibilidad
© Copyright 2003 Informatica Corporation. All rights reserved.
Aplicaciones
Bases de Datos
Data Formats
DW / ODS
ALMACEN DE
DATOS
Datos Locales
Ficheros, Excel, etc
Integración con portal corporativo
Multidispositivo
Usuarios
Finales
Clientes
Partners

44. 44
Data Analyzer
Arquitectura
© Copyright 2003 Informatica Corporation. All rights reserved.
 Es la Plataforma más escalable de
BI basada en un servidor de
aplicaciones J2EE ; no servidor
propietario Soporta BEA, IBM,
Sun, JBOSS
 Arquitectura ROLAP
 Soporta: arquitectura en
clustering y tolerancia a fallos
 Sistemas operativos soportados:
NT, Unix, Linux
 Bases de Datos Soportadas:
Oracle, DB2, SQLServer, Teradata,
Sybase
 Integración estandares de
seguridad: LDAP, Active Directory,
SiteMinder, etc.
 Portales (BEA, WebSphere,
Plumtree, Custom)

45. 45
Características generales
• Creación de cuadros de mando
• Informes personalizados
• Filtros según el perfil de usuario
• Asistentes para la creación de informes
• Métricas y alertas en tiempo real

46. 46
Autoaprendizaje, facilidad de uso
Mínima formación, extrema productividad
Asistente de
creación de
informes en base a
métricas
Informes libres de
errores
Visualización Excel
Integración total en
PowerAnalyzer
Analytics Workflows
Toma de decisiones más
rápida
Usuarios
finales

47. 47
Toda la funcionalidad BI
Reducción de coste de aprendizaje
• Add alerts
• Add indicators
• Add columns to table
• Add attribute and time
filters
• Add charts
• Add exception
highlighting
• Drill up, down and
across
Users

48. 48
Conclusiones
• Plataforma de Business Intelligence de propósito
general
• Fácil de usar
• Fácil de aprender
• Adaptable a los sistemas existentes de la
compañía
• Integrado con EXCEL y otras plataformas
móviles

49. 49
Demostración de la plataforma

50. 50
Muchas gracias
Pei Yung Chan
Sales consultant
pychan@informatica.com

51. 51