Esta presentación es el fruto de la colaboración entre Oracle Ibérica y Yo cuando prestaba servicios a Thales information Systems, es un estudio previo de la consolidación de varias bases de datos con la información de todos los aeropuertos españoles, en una única fuente de datos.

1. <Insert Picture Here>
AENA - Piloto Integración de datos en Tiempo Real
Oracle Golden Gate
Diciembre 2011

2. 2
Piloto Integración de Datos en AENA
Situación y Objetivos
Situación
AENA posee un Sistema Transaccional - 16 Aeropuertos de Nivel 3
Traslada datos a:
Base de datos histórica
Plataforma Data Warehouse para Reporting Operacional.
Objetivos
Extracción y Traslado de Datos en menor tiempo posible.
Tiempo Actual de extracción (job Oracle ejecutado cada 15 min)
Traslado de datos basado en Vistas Materializadas
Reducción de Carga en Sistema Transaccional.
Acceso a 310 tablas del Sist. Transaccional para obtener los cambios.
Simplificación de Infraestructura.
Actualmente existen 6 bbdd para carga de los datos en el DWH.

3. 3
Piloto Integración de Datos en AENA
Arquitectura Existente
Sistema Actual
• Consumos de tiempos en traslado de información (Vistas Materializadas)
• Perdidas de datos (MLOG)
• Carga en sistema Transaccional origen de datos (Triggers)

4. 4
Oracle GoldenGate permite captura de información crítica con nulo impacto en
rendimiento de los sistemas origen, enrutado, transformación y envío entre
entornos heterogeneos en tiempo real, asegurando transaccionalidad y
fiabilidad de los datos
Oracle GoldenGate
La solución para Integración de Datos en Tiempo Real
Fuentes
Heterogeneas
Data Warehouse
Producción
Integración Real-time
+
Transformation

5. 5
• Fiabilidad Mantiene la integridad transaccional - Fiable contra interrupciones de servicio
• RendimientoNo intrusivo en Origen, bajo impacto, latencia <1 segundo
• Flexibilidad Arquitectura modular - Soporta orígenes y destinos con tecnología heterogénea
Sistema Propuesto
Oracle
GoldenGate
Oracle
GoldenGate
Oracle
GoldenGate
Piloto Integración de Datos en AENA
Arquitectura Propuesta

6. 6
Carga de Sistemas Origen
• VM son mecanismos de base de datos que producen consumo elevado
de recursos en el SGBDR, pudiendo impactar en el sistema transaccional
origen.
• GG es un componente que lee cambios del Log Transaccional o
Archivado, no realizando operaciones en el SGBDR. La carga en origen
es inapreciable.
Bloqueos y Fiabilidad
• VM generan bloqueos que, dependiendo de la frecuencia y tiempos de
refresco, pueden derivar en fallos en el traslado de datos de difícil control.
• GG, al leer del log los cambios, nunca genera bloqueos en bd.
Integridad Referencial
• Para mantener la Integridad Referencial la actualización de las Vistas
Materializadas debe realizarse secuencialmente, impactando en el tiempo
de traslado de datos.
• GG traslada transacciones completas en el momento que son comiteadas,
trasladandose en el orden que se realizaron en origen, con 100% garantía
de Intregridad.
Vistas Materializadas y Oracle GoldenGate
Diferencias VM - GG

7. 7
Tiempos de Réplica
• En las VM, los Tiempos de Replica suelen ser elevados, del orden de
minutos. (trigger ejecuta el refresco cada 15’ y las VMs tardan unos 5’ en
trasladar los datos)
• GG traslada los datos en Tiempo Real, con retardo de pocos segundos
MLOG
• VM utiliza MLOG, pieza crucial para su actualización. Los MLOG suelen
crecer rapidamente, siendo compleja su administración.
• GG utiliza el Log Transaccional o Archivado, mecanismo habitual de BD.
Fiabilidad
• La fiabilidad de las VM depende del MLOG. Si por error desaparecen, no
existe punto de sincronización simple y se genera enorme carga
administrativa.
• GG no requiere de MLOG. Es capaz de sincronizarse automáticamente en
base a SCN en cualquier momento si hay una incidencia entre extremos.
Vistas Materializadas y Oracle GoldenGate
Diferencias VM - GG

8. 8
Administración
• VM y MLOGs requieren de una elevada administración, empleada en
tiempos en verificación, integridad de datos, gestión de incidencias.
• La fiablilidad y los mecanismos automáticos de gestión de incidencias,
resincronización, etc… los proporciona por defecto el producto,
simplificando la administración.
En Resumen, Oracle Golden Gate aporta al entorno:
1. Reducción de Tiempos en Traslado de Datos
2. Fiabilidad, Integridad y capacidad de recuperación ante incidencias
3. Simplicidad en administración, en base a mecanismos automáticos y
capacidades propias del producto que de otro modo deben administrarse o
implementarse (controles de datos, bloqueos, …)
4. Simplificación en Arquitectura del Sistema, eliminando pasos intermedios
desde SCENA a la plataforma de DWH.
Vistas Materializadas y Oracle GoldenGate
Diferencias VM - GG

9. 9
Oracle GoldenGate
Información Adicional
Informacion Adicional

10. 10
Oracle GoldenGate – Casos de Uso
La Integración en Tiempo Real – aplicaciones para la empresa
Captura de datos
modificados, en
Tiempo Real,
de los logs
Sistemas Origen
Heterogéneos
EDWODS
EDW
Active-Active High
Availability
Zero Downtime
Migration and
Upgrades
Real-time BI
Fully Active
Distributed Database
Reporting
Database
ETL
ETL
Query Offloading
Data Distribution
New DB/
OS/HW/App
Global Data Centers
SOA/EDA
Oracle
GoldenGate
• Estandarización de una Unica
Tecnología para Múltiples
necesidades
• Permite la Disponibilidad
Continua y el acceso a datos en
Tiempo Real para Reporting / BI
• Arquitectura muy flexible
• Implantaciones muy rápidas
• Bajo TCO & ROI muy rápido

11. 11
GoldenGate Alta Disponibilidad
Live Standby
Beneficios
• Entornos heterogéneos
• El menor tiempo para la recuperación y cambio al sistema en stand-by (switchover)
• Re-sincronización de los sistemas primarios y de backup
• Nula pérdida o corrupción de datos
• Sin restricciones entre las ubicaciones geográficas – no afecta la distancia
• El backup puede ser re-utilizado para Reporting
Disaster Recovery

12. 12
GoldenGate Alta Disponibilidad
Activo-Activo
Beneficios
• Entornos heterogeneos
• Disponibilidad contínua
• Distribución de carga transaccional
• Rendimiento escalable
• Detección de conflictos y resolución
Disaster Recovery

13. 13
Disponibilidad Contínua
Migraciones y actualizaciones de bases de datos y
aplicaciones con “Zero-downtime”
Solución :
• Migrar desde bases de datos, hardware o
plataformas heterogéneas a plataforma
estandarizada Oracle11g con mínima disrupción
operativa
• Actualización de aplicaciones certificadas Oracle a
nuevas versiones (Siebel) sin downtime
Beneficios :
• Estandarización del centro de datos y
modernización de las plataformas
• Zero down-time para aplicaciones críticas
• Migración segura de usuarios de un sistema a
otro, manteniendo ambos operativos.
¿Qué productos posicionar?
• Oracle GoldenGate
Previous Version New Version
Continuous
Availability
OGG
Necesidad:
“¿Hay que realizar una migración de base de datos o una actualización de
una aplicación critica pero no es posible realizar ninguna parada por su
impacto en los procesos de negocio?
Previous DB Version New DB Version

14. 14
Zero Downtime – Aplicaciones críticas
Elimina el periodo de indisponibilidad durante la migración /
actualización de aplicaciones – Misma operativa que en el caso
anterior
• Active-Active: continuous bi-directional replication
• Supports phased upgrade approach; allows active users on old and new Siebel version at
once
• Zero-Downtime Fall back for risk mitigation
• Significant pre-built integration work reduces cost to customer
• Upgrade and downgrade logic modeled and delivered by Oracle
• Conflict detection rules created
Migraciones de
Aplicaciones

15. 15
Integración de datos en Tiempo Real
Reporting en entornos operacionales
Solución :
• Informes sobre datos reales, inmediatos (live
data), en sistemas transaccionales
• Sin necesidad de realizar una carga adicional
en el sistema origen – informes en una nueva
instancia de la base de datos sincronizados en
tiempo real.
Beneficios :
• Permite disponer de informes tácticos para la
rápida toma de decisiones el seguimiento del
estado de negocio.
• Elimina el impacto en los sistemas origen.
• Resuelve los retos de ejecutar informes en
sistemas transaccionales (MIPs para ejecutar
transacciones en vez de generar informes)
¿Qué productos posicionar?
• Oracle GoldenGate para crear una replica
operacial.
• BI Publisher para Reporting operational.
Real Time Data
Integration
Transactional
Applications
Operational
Data Store
OGG
Necesidad:
“¿Dispone de la transparencia adecuada sobre los datos en los sistemas
transaccionales más sensitivos?”

16. 16
Integración de datos en Tiempo Real
Business Intelligence en Tiempo Real
Solución :
• Poblar un almacén de datos operacional
destinado a un BI operacional con datos en
tiempo real.
• Ejecutar ELT desde ODS para cargar datos al
warehouse con datos transformados
Beneficios :
• Mejora la capacidad de análisis sobre el
negocio
• Combina la capacidad de inteligencia de
negocio sobre datos actuales e históricos
• Elimina la carga en los sistemas fuente
• Reduce los tiempos de latencia y las ventanas
de tiempo por procesamiento batch
¿Qué productos posicionar?
• Oracle GoldenGate y Data Integrator
Real Time Data
Integration
Heterogeneous
Sources
Enterprise Data Warehouse
Oracle Database,
Oracle Exadata
Production
Real-time Integration + Bulk
Data Transformation
OGG
ODI
Necesidad:
“¿Necesita analizar la situación y estado de su negocio con los datos más
actuales, sin necesidad de impactar en sus sistemas más críticos?

17. 17
Query Offloading – Reducción de costes
Creación de un nuevo entorno para consultas
Solución:
• Crear una réplica en tiempo real del entorno
operacional (legacy o mainframe) muy costoso
sobre Oracle con RAC o Linux.
• Sincronización de la réplica en tiempo y real y
envío de datos read-only
Beneficios:
• Reduce/elimina las operaciones SQL en sistemas
transaccionales
• Directamente reduce el coste de sistemas legacy,
mainframe, non-oracle
¿Qué productos posicionar?
• Oracle GoldenGate soporte bases de datos,
hardware y plataformas heterogéneas
Non-Oracle or
Legacy Platform
Oracle Platform
OLTP
Transactions
Read Only
Users
Query
Offloading
OGG
Reducción de costes
Necesidad:
“¿Es necesario trasladar las capacidades de procesamiento de opraciones
SQL a BBDD estandar con menor coste en SW y HW, sin interrupción en
transacciones o procesos críticos y a la vez soportar el crecimiento de datos
generado por el incremento en el número de usuarios?”

18. 18
Disponibilidad Contínua
Distribución de datos / Sincronización
Solución :
• Replicar datos entre aplicaciones distribuidas permitiendo
realizar operaciones globales y mejorando la eficiencia
operacional.
• Distribuir datos en tiempo real entre entornos Oracle y no
Oracle.
• Crear configuraciones Activo-Activo, permitiendo disponer
de datos sincronizados entre Centros de datos.
Beneficios :
• Alta disponibilidad en datos críticos
• Posibilidad de escalado y de manejo de grandes
volúmenes de datos
• Acceso a datos consistentes entre centros de datos,
geográficamente dispersos
¿Qué productos posicionar?
• Oracle GoldenGate
Oracle 9i Oracle 11g
Oracle 10g SQL Server
Continuous
Availability
OGG
Necesidad:
“¿Cómo responden tus datos ante peticiones realizadas 24x7? ¿Pueden todas
tus unidades de negocio acceder al mismo tiempo a la información más
actualizada contínuamente?”

19. 19
GoldenGate - Arquitectura
Database(s)
Origen
Database(s)
Destino
LAN / WAN /
Internet
(TCP/IP)
Route: Datos comprimidos, encriptados para múltiples destinos.
Capture: Los cambios committed son capturados ( pueden
ser filtrados) según se producen, leyendo el log de
transacciones.
Capture
Trail files: Almacena y encola los datos para su envío
Source Trail
Delivery: Escribe los datos con integridad
transaccional, transformando los datos
según sea necesario.
Target Trail
Delivery
Bi-direccional
Source TrailTarget Trail
Delivery Capture
Pump
Pump
Pump: Distribuye los datos para su enrutado a multiples destinos.

20. 20
Bases de datos O/S y Plataformas
Oracle GoldenGate Capture:
 Oracle
 DB2 for v 9.7
 Microsoft SQL Server for v 2008
 Sybase ASE
 Teradata
 Enscribe
 SQL/MP
 SQL/MX
 MySQL
 JMS message queues
Oracle GoldenGate Delivery:
 All listed above, plus:
TimesTen, Netezza, Greenplum,
HP Neoview and any ODBC compatible
databases
 ETL products
Linux
Sun Solaris
Windows 2000, 2003, XP
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM z Series
zLinux
Key Feature: Heterogeneity
NEW
NEW
NEW
NEW
NEW
GoldenGate – Plataformas heterogéneas

21. 21
Oracle GoldenGate - Topologías
Unidireccional
Query Offloading
Bi-Direccional
Live Standby or
Active-Active for HA
Peer-to-Peer
Load Balancing,
Multi-Master
Broadcast
Data Distribution
Integración/Consolidación
Data Warehouse
En Cascada
Data Marts

22. 22
Oracle A
Capture
Apply
NonStop A
Capture
Apply
Oracle B
Apply
Capture
NonStop B
Apply
Capture
Data
Warehouse
Transform
and Apply
Single Capture – Multiple Apply

23. 23
Single Capture – Multiple Apply

24. 24
Out-of-the-Box Transformation Capabilities
• Data selection and filtering
GoldenGate provides the ability to select or filter out data based on a variety
of levels and conditions
• Column mapping
• GoldenGate provides the capability to map columns from one table to another
• Data can be transformed between dissimilar database tables
• Mapping can be applied either when extracting or replicating data
• Functions
• GoldenGate provides the capability to transform columns by using a set of built-in functions
(currently 35)
• Transformation functions can be applied either for Extract or Replicat
• If you require more, you also have the ability to call your own logic through user exits
Parameter Clause Selects
TABLE or MAP –— Table
WHERE Row
FILTER Row, Operation, Range
TABLE COLS | COLSEXCEPT Columns

25. 25
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
GoldenGate Checkpointing
Capture DeliveryPump
Commit Ordered
Source Trail
Commit Ordered
Target Trail
Source
Database
Target
Database
Begin, TX 1
Insert, TX 1
Begin, TX 2
Update, TX 1
Insert, TX 2
Commit, TX 2
Begin, TX 3
Insert, TX 3
Begin, TX 4
Commit, TX 3
Delete, TX 4
Begin, TX 2
Insert, TX 2
Commit, TX 2
Begin, TX 3
Insert, TX 3
Commit, TX 3
Begin, TX 2
Insert, TX 2
Commit, TX 2
Start of Oldest Open (Uncommitted)
Transaction
Current Read
Position
Capture
Checkpoint
Current
Write
Position
Current
Read
Position
Pump
Checkpoint
Current
Write
Position
Current
Read
Position
Delivery
Checkpoint

26. 26
Mecanismos de control – Gestión de Conflictos
Integridad transaccional
• Checkpointing: GoldenGate mantiene checkpoints para cada acción. Determina cual fue
la última transacción que se escribió al Trail. En caso de fallo, después de restaurar el
sistema, gracias a este mecanismo vuelve a leer del log en la última transacción donde
se realizó el corte.
• Se realizan también checkpoints al Trail destino y al proceso de Delivery sobre la
DB destino.
Resolución de conflictos
• Vía Golden Gate: el Timestamp de cada operación es el mecanismo principal que
Golden Gate utiliza para la resolución de conflictos.
• Vía aplicación: en función de las reglas de negocio implementadas en la propia
aplicación
• Trusted source: en función de privilegios asignados a los usuarios, direcciones IP, etc.
• Combinación de algunas o todas las anteriores.
• Integridad transaccional: la aplicación comprueba que las operaciones han sido
comitted y luego aplica algún otro criterio.
• Para casos de Activo-Pasivo, dado que las transaccion son almacenadas en secuencia
serializada, el orden del log determina el orden de las transacciones a actualizar.
(Nota: En una replicación Activo-Pasivo, nunca hay conflictos.)
Situaciones de Failover:
• Sobre el servidor de Failover, se invierte la replicación de Captura-Entrega

27. 27
Características de seguridad - I
• Encriptación
• Option for encryption for data in extract file or trail
• DDL - Support replication of passwords in DDL and their encryption by
means of a new PASSWORD option of DDLOPTIONS.
• Data sent across TCP/IP
• Métodos de encriptación:
• To encrypt trail or extract files, Oracle GoldenGate uses 256-key byte
substitution. All records going into those files are encrypted both across any
data links and within the files themselves
• To encrypt the database password or data that is sent across TCP/IP, Oracle
GoldenGate can use Blowfish encryption. Blowfish is a symmetric block
cipher that can be used as a drop-in replacement for DES or IDEA. Oracle
GoldenGate’s implementation of Blowfish can take a variable-length key from
32 bits to 128 bits.
• Use customer tool through user exits, performing encryption and decryption.

28. 28
Características de seguridad - II
• Integridad transaccional
• Original commit sequence is maintained by the delivery process
• Checkpointing:
• Used during online change synchronization to store the current read and write position
of a process. Checkpoints ensure that data changes marked for synchronization are
extracted, and they prevent redundant extractions. They provide fault tolerance by
preventing the loss of data should the system, the network, or a GoldenGate process
need to be restarted.
• Recuperación (Recovery)
• Recovery ensures that no operations are skipped or duplicated after failure of any kind
• Bounded Recovery
• A new Bounded Recovery feature has been added that guarantees an efficient
recovery after the Extract stops for any reason, planned or unplanned, no matter how
many open (uncommitted) transactions there were at the time that Extract stopped, nor
how old they were.
• Activity logging
• The Activity Logging API consists of five subsystems, allowing the flexibility to record
application activity in a variety of formats, output destinations, filtering capabilities, etc.

29. 29
Oracle Management Pack for Oracle GoldenGate
Easy Management of Oracle GoldenGate Solutions
• Manages, defines, configures,
and reports on Oracle
GoldenGate components
• Key features:
• Centralized management of
GoldenGate modules
• Rich-client and Web-based
interfaces
• Alert notifications and integration
with 3rd-party monitoring products
• Real-time feedback
• Zero-impact implementation

30. 30
GoldenGate Director: Architecture Components
Director Server
• Live connections to each
GoldenGate instance
• Database central repository
for user and GoldenGate
information
Director Client
• GUI for creating custom
network views and accessing
the services provided by the
Director Server
Director Web
• Browser-based UI that enables
remote monitoring and control
of GoldenGate
Director Administrator
• For configuring the Director
Server

31. 31
Referencias
Algunas referencias

32. 32
Referencias en España y Portugal
Country Customer Sector Product Database
Spain Rcable Telecom GG Oracle 9.2.0.6 to Oracle 11g
Spain JumboTours Entertain. GG Oracle 11g to 11g
Spain Ayto Santa Lucia Public GG Oracle SE to MS SQL Server
Portugal Galp Utilities GG Oracle DB version from 9i to 11g
Portugal Banco Espirito Santo FSS GG SQLServer 2000 to SQL Server 2005
Oracle 9i to Oracle 10g
Spain Metro de Madrid Industrial GG Oracle 10g to 11g
Spain Telefonica e-mocion
y T. Moviles
Telecom GG Oracle 9i to 11g
Spain RIU Hospitality GG Oracle
Spain Asesores Periciales FSS GG Oracle
Portugal Informa Media GG Oracle
Spain Asturiana de Zinc Industrial GG
Portugal EDP GG
Spain Conselleria de
Trabajo Galicia
GG En desarrollo

33. 33
Oracle GoldenGate
Resumen de Golden Gate – Beneficios y Casos de uso
Resumen

34. 34
GoldenGate – Principales beneficios aportados
No hay pérdida de datos Integridad transaccional
Mínima parada / Rendimiento 99.99% Uptime
No Intrusivo Muy bajo impacto
Soporte heterogéneo Database, Hardware, OS
Muy baja latencia / Tiempo Real Segundos, no batch
Alto Rendimiento / Altos volumenes Grandes volúmenes de datos
Flexibilidad Varias topologías
Decrecimiento del TCO Query offloading
Operación Contínua Continuidad de Negocio

35. 35
Sales Executive para Soluciones de Integración de Datos
Mobile: +34 661 545 631
Work phone: +34 91 603 63 74
email: jose.mayol@oracle.com
Address: C/Jose de Echegaray, 6 - 28230 Las
Rozas, Madrid
DIS Sales Executive – Jose A Mayol Sevilla
Data Integration Solutions

36. 36