Este documento describe un marco para el registro y auditoría de paquetes SSIS. Propone almacenar detalles de ejecuciones de paquetes, errores, orígenes y destinos de datos, e historial de cambios en tablas de base de datos. Esto permitiría auditar procesos ETL, identificar errores, y rastrear datos desde su origen hasta el destino.

2. BIN-302
ETL: Logging y auditoría en SSIS
Salvador Ramos
Mentor – Business Intelligence
SQL Server MVP, MCTS, MCITP
sramos@solidq.com

3. Agenda
α El día a día
α ¿Qué ha ocurrido?
α ¿Qué auditar?
α Logging, auditoría y trazabilidad del dato
α Conclusiones

4. El día a día
α Diseño de procesos ETL
α Testing
α Puesta en producción
α Ejecuciones periódicas

5. ¿Qué ha ocurrido?
Error de ejecución del paquete
α Sólo tengo un mensaje de error
α No sé …
β qué ha ocurrido antes del error
β qué ha ocasionado el error
β desde donde relanzar el proceso
β qué datos se han actualizado
β si son coherentes mis datos tras el error

6. ¿Qué ha ocurrido?
Los datos no cuadran
α La aplicación me dice que vendimos 20.000 y el BI 20.500
α Informes, con los mismos parámetros y sacados en fechas
diferentes, muestran datos diferentes
α No consigo reproducirlo 

7. ¿Qué ha ocurrido?
Tenemos un problema

8. ¿Qué ha ocurrido?
Tenemos un problema

9. ¿Hay solución?
α El Logging de SSIS es necesario, pero no suficiente
α Además necesitamos:
β Auditar procesos con detalle
β Registrar cambios
β Trazabilidad del dato desde el origen al destino

10. Framework propuesto
¿Qué vamos a auditar?
α Ejecuciones de paquetes
β Paquetes y versiones
β Inicio , Checkpoints, Fin
α Errores de ejecución
α Orígenes y destinos
β Fuentes de datos
β Detalle de sentencias ejecutadas
α Filas afectadas
β Id de ejecución del paquete
β Cambios realizados

11. Framework propuesto
Ejecución de paquetes - almacenamiento

12. Framework propuesto
Ejecución de paquetes – Inserción de filas
CREATE PROCEDURE [Config].[ExecutionLogSSIS_Insert]
@PackageGUID UNIQUEIDENTIFIER
, @PackageName VARCHAR(250)
, @PackageCreator VARCHAR(250)
, @CreationDate DATETIME
, @VersionGUID UNIQUEIDENTIFIER
, @VersionBuild INT
, @VersionMajor INT
, @VersionMinor INT
, @VersionComments VARCHAR(250)
, @ExecutionGUID UNIQUEIDENTIFIER
, @ParentExecutionGUID UNIQUEIDENTIFIER
, @Computer VARCHAR(100)
, @User VARCHAR(100)
, @Event CHAR(1)
, @EventDescription VARCHAR(100)
, @DateExecution DATETIME

13. Framework propuesto
Errores - almacenamiento

14. Framework propuesto
Errores - inserción de filas
CREATE PROCEDURE [Config].[ErrorLogSSIS_Insert]
@ExecutionID INT
, @DateExecution DATETIME
, @ErrorCode INT
, @ErrorDescription VARCHAR(MAX)
AS
SET NOCOUNT ON;
BEGIN TRAN
-- INSERT Execution
INSERT INTO Config.ErrorLogSSIS(ExecutionID,
DateExecution, ErrorCode, ErrorDescription)
VALUES(@ExecutionID, @DateExecution, @ErrorCode,
@ErrorDescription)
COMMIT
GO

15. Framework propuesto
Orígenes y destinos - almacenamiento

16. Framework propuesto
Orígenes y destinos - inserción de filas
CREATE PROCEDURE
[Config].[ExecutionLogSSIS_SourceDest_Insert]
@ExecutionID INT
, @Type TINYINT -- Origen o Destino
, @SourceType TINYINT
, @Description VARCHAR(MAX)
, @Rows INT
AS
SET NOCOUNT ON;
BEGIN TRAN
-- INSERT SourceDest
INSERT INTO Config.ExecutionLogSSIS_SourceDest
(ExecutionID, [Type], SourceType, [Description], [Rows])
VALUES(@ExecutionID, @Type, @SourceType,
@Description, @Rows)
COMMIT
GO

17. Framework propuesto
Historial de cambios - almacenamiento
α Una tabla adicional por cada tabla a auditar

18. Framework propuesto y paquete de ejemplo

19. Framework propuesto
Almacenamiento

20. Framework propuesto
Y aún hay mas …
α Crear plantillas
α Crear informes
α Auditar variables del paquete
α Control de verbosidad (verbose)
β Hacerlo dinámico

21. Conclusiones
¿Qué ha ocurrido?
α Logging, auditoría y trazabilidad del dato

23.  No olvideis rellenar las evaluaciones en el Portal
del Summit!
 Nos encontrareis en la zona de exposición en los
siguientes horarios
α El miércoles por la tarde a la hora del café
α En cualquier descanso 
Salvador Ramos
Mentor – Business Intelligence
SQL Server MVP, MCTS, MCITP
sramos@solidq.com

24. Salvador Ramos
Mentor – Business Intelligence
SQL Server MVP, MCTS, MCITP
sramos@solidq.com