1. INGENIERÍA DE SISTEMAS Y TELEMÁTICA
Tema : ETL - EXTRAER, TRANSFORMAR Y CARGAR
Curso : Base de Datos II
Docente :Ing. Marco Aurelio Porro Chulli
Integrantes :
Ana Leydi Linares Serrano.
Patricia Reyna Reynaga
Delsi Yakelin Huamán Villanueva
2. INTRODUCCIÓN
* ETL, esencialmente, es el proceso que permite a las empresas manejar y
movilizar datos desde distintos tipos de fuentes, para transformarlos,
limpiarlos y cargarlos en otra base de datos.
El principal propósito de ETL es transportar la información de la empresa
desde las aplicaciones de producción a los sistemas de Inteligencia de Negocio
(BI), este proceso consta de tres etapas:
*Extracción de datos
*Transformación de datos
*Carga de datos
4. *FASE DE EXTRACCIÓN
La primera parte del proceso ETL consiste en extraer los datos desde el
sistema de origen.
Esta fase consta de tres pasos:
5. *
* se evalúan las necesidades
concretas de la organización.
6. *
* Antes de extraer los datos, se
identifica de qué tipo son y en qué
formato se encuentran los sistemas
fuente.
7. *
* En función de las necesidades
detectadas, se procede a la extracción
en sí de dichos datos.
*exigir siempre que esta tarea cause un
impacto mínimo en el sistema de
origen
8. *MODOS DE EXTRACCIÓN
Básicamente, existen tres modos distintos de extracción:
Full Extract o extracción
total
• Esta modalidad
consiste en extraer la
totalidad de datos.
Incremental Extract o
extracción incremental
• Se va procesando por
lotes únicamente lo
que fue modificado o
agregado.
Update Notification o
notificación de
actualizaciones
• En este caso, solo se
van extrayendo los
datos a medida que se
produce una
actualización (por
ejemplo, un inserto).
9. *
*Cualquier organización, empresa o
compañía debe exigir que el proceso de
extracción de datos desde su fuente o
fuentes de origen cause el menor
impacto posible. Es decir, que no
suponga ningún problema a los
empleados que, diariamente, trabajan
con los datos y registros.
10. *LIMPIEZA
*Asegura la calidad de los datos que vamos a procesar.
*Evita la información no veraz o errónea.
*Ahorra costes de espacio en disco al eliminarse la información duplicada.
*Agiliza las consultas por la ausencia de datos repetidos o inservibles.
*Ayuda a tomar decisiones estratégicas correctas.
La limpieza de datos se divide en distintas etapas, que vamos a describir a continuación:
11. Depurar los valores
Nombre
Ana Leydi Linares Serrano
Nombres Apellido Paterno Apellido Materno
Ana Leydi Linares Serrano
Por ejemplo: comprueba una dirección y el código postal correspondiente.
Corregir
formatos definidos. Por ejemplo: trato de Sr., Sra.
Estandarizar
eliminar duplicados. Por ejemplo: identificando nombres y direcciones similares.
Relacionar
analiza e identifica relaciones entre registros relacionados y los junta en una sola
representación.
Consolidar
12. FASE DE TRANSFORMACIÓN
Aplica una serie de reglas de negocio o funciones sobre los datos extraídos para
convertirlos en datos que serán cargados.
Algunas transformaciones:
Seleccionar sólo ciertas columnas para su carga (por ejemplo, que las columnas
con valores nulos no se carguen).
Traducir códigos (Por ejemplo, si la fuente de origen almacena una “H” para
hombres y una “M” para mujeres, dar las instrucciones necesarias para que en
destino se guarde un “ 1” para hombres y un” 2” para mujeres).
Calcular totales de múltiples filas de datos (por ejemplo, ventas totales de cada
región).
Dividir una columna en varias (por ejemplo, la columna “Nombre: García, Miguel”;
pasar a dos columnas “Nombre: Miguel” y “Apellido: García”)
13. Esta función corresponde al desarrollador o analista
del proceso ETL en cuestión. La definición de las
transformaciones a realizar se realiza en función de un
análisis previo y de la fase de limpieza.
¿Quién se encarga de realizar estas transformaciones?
14. FASE DE CARGA
En esta fase, los datos procedentes de la fase anterior(fase de
transformación) son dragados en el sistema e destino. Dependiendo de los
requerimientos de la organización, pueden ser de dos tipos:
Acumulación simple
Rolling
15. Acumulación simple
Consiste en realizar un resumen de todas las
transacciones comprendidas en el período de tiempo
seleccionado y transportar el resultado como una única
transacción hacia el data warehouse, almacenando un
valor calculado que consistirá típicamente en un
sumatorio o un promedio de la magnitud considerada.
Rolling
Este proceso sería el más recomendable en los casos
en que se busque mantener varios niveles de
granularidad. Para ello se almacena información
resumida a distintos niveles, correspondientes a
distintas agrupaciones de la unidad de tiempo o
diferentes niveles jerárquicos.
16. Capacidad de entrega de datos.
Capacidad de transformación de datos.
Capacidad de Metadatos y Modelado de Datos.
Adaptación a las diferentes plataformas hardware y sistema
operativos existentes.
Emplearlas para la integración con sistemas heredados.
CARACTERISTICAS Y VENTAJAS
18. *
Gracias a los procesos ETL es posible que cualquier organización:
• Mueva datos desde una o múltiples fuentes.
• Reformatee esos datos y los limpie, cuando sea necesario.
• Los cargue en otro lugar como una base de datos, un data mart o un data warehouse.
• Una vez alojados en destino, esos datos se analicen.
• O, cuando ya están cargados en su ubicación definitiva, se empleen en otro sistema
operacional, para apoyar un proceso de negocio.
19. Las herramientas ETL pueden ser útiles para multitud de propósitos, como por ejemplo:
*Tareas de Bases de datos: que también se utilizan para consolidar, migrar y sincronizar
bases de datos operativas.
*Migración de datos entre diferentes aplicaciones por cambios de versión o cambio de
aplicativos.
*Sincronización entre diferentes sistemas operacionales (por ejemplo, entre nuestro
entorno ERP y la web de ventas).
*Consolidación de datos: sistemas con grandes volúmenes de datos que son consolidados
en sistemas paralelos, ya sea para mantener históricos o para llevar a cabo procesos de
borrado en los sistemas originales.
*Interfaces de datos con sistemas externos: como el envío de información a clientes o
proveedores. También servirían para la recepción, proceso e integración de la
información recibida.
*Interfaces con sistemas Frontoffice: serían interfaces de subida/bajada con sistemas de
venta.
*Otros cometidos: como la actualización de usuarios a sistemas paralelos o la
preparación de procesos masivos (tipo mailings o newsletter).
20. *
Los procesos ETL pueden incluir:
*Sistemas legacy. Es decir, legados, heredados o antiguos.
*Sistemas nuevos. Basados en Windows, Linux y también en las redes sociales
modernas: Facebook, Twitter, Linkedin, etc.
21. *
A cualquier empresa u organización le beneficia poner en marcha un proceso ETL
para mover y transformar los datos que maneja por los siguientes motivos:
*Poder crear una Master Data Management
*Posibilita a los directivos tomar decisiones estratégicas
*Sirve para integrar sistemas.
*Poder tener una visión global de todos los datos consolidados en una data
warehouse.
22. *
La implantación de un sistema ETL bien definido supone todo un reto puesto que,
para que sea realmente efectivo, debe permitir integrar los sistemas legacy
(algunos ya muy obsoletos) con los más modernos. Además, el acceso a todos
estos sistemas se debe producir no solo en modo de lectura, sino también como
escritura.
23. *
Como conclusión podemos decir que los ETL son proceso que organizan los flujos
datos entre distintos sistemas en una organización y aporta los métodos y
herramientas necesarias para movilizar los datos desde múltiples fuentes a un
almacén de datos, para transformarlos, limpiarlos y cargarlos en otra base de
datos.
ETL es parte de la Inteligencia de Negocios, también llamado “Gestión de los
Datos” (Data Management).
