Replikation im heterogenen Umfeld mit Oracle GoldenGate

Replikation
im heterogenen Umfeld
mit Oracle GoldenGate
Ileana Someşan, Systemberaterin

Frankfurt, 26.11.2013

2 Beispiele
 Synchronisation unterschiedlicher Datenbestände
– Von verschiedenen DB-Systemen (Oracle, SQL Server, ...)

 Anwendungs-Upgrade mit geringer Ausfallzeit
– Alte und neue Anwendungsversion haben leicht unterschiedliche Tabellenstrukturen

3

Copyright © 2013, Oracle and/or its affiliates. All rights reserved.

ileana.somesan@oracle.com

Agenda



Heterogene Replikation



Umgang mit Heterogenität



4

Homogene Replikation

Beispiel: Unidirektionale Replikation von Oracle nach MySQL



 Quell- und Zieltabellen identisch
– gleicher DB-Typ, identische Tabellenstruktur

Quellsystem

=

Zielsystem

Oracle GoldenGate

5



Einziger möglicher Unterschied
Tabellennamen/-eigentümer

DE.KATALOG

GLOBAL.CATALOG

Quelle

Ziel
Oracle GoldenGate

6



Konfiguration von Oracle GoldenGate
Bei der homogenen Replikation
 Einfach: keine Konvertierung erforderlich
 Mapping zwischen Quell- und Zieltabellen
– Bei unterschiedlichen Tabellennamen/-eigentümern

 Parametereinstellungen:

-- excerpt replicat parameter file
ASSUMETARGETDEFS
MAP global.catalog, TARGET de.katalog;

7



Agenda









8





 Quell- und Zieltabellen nicht identisch
– unterschiedliche DB-Systeme, unterschiedliche Tabellenstrukturen

Quellsystem

≠

Zielsystem

Oracle GoldenGate

9



Unterschiedliche Datenbanksysteme
Datenbank

Quelle

Ziel

Datenbank

Quelle

Ziel

Oracle





NonStop SQL/MX





MySQL





Enscribe





SQL Server





Teradata





Sybase ASE





TimesTen

-



DB2 LUW





PostgreSQL

-



DB2 for i (OS400)





Netezza

-



DB2 for z/OS





Greenplum

-



Unterstützte Kombinationen aus DB/DB-Version für Oracle GoldenGate 11.2:
http://www.oracle.com/technetwork/middleware/ias/downloads/fusion-certification-100350.html

10



Unterschiedliche Plattformen
Betriebssystem

Prozessorarchitektur

Red Hat Linux

x86

IBM zSeries

Oracle Linux

x86-64

IBM POWER

Windows

SPARC

Oracle Solaris

HP Itanium

IBM z/OS

HP NonStop (ehem. Tandem)

IBM zLinux

HP PA-RISC

IBM (OS400)
IBM AIX

HP-UX

11


Unterstützte Kombinationen aus Datenbank-/OS-Version OGG 11.2
http://www.oracle.com/technetwork/middleware/ias/downloads/fusioncertification-100350.html


Unterschiedliche Anzahl von Spalten

PROD_ID

NAME

PROD_ID

Quelle

NAME

PREIS

Ziel
Oracle GoldenGate

12



Unterschiedliche Reihenfolge der Spalten

PROD_ID

NAME

PREIS

PROD_ID

Quelle

PREIS

NAME

Ziel
Oracle GoldenGate

13



Unterschiedliche Spaltennamen

prod_id

name

ARTIKEL_ID

Quelle

NAME

Ziel
Oracle GoldenGate

 Groß-/Kleinschreibung, Leerzeichen

14



Unterschiedliche Datentypen
Und/oder Spaltenlänge

prod_id:
VARCHAR2(6)

lieferdatum:
DATE

prod_id:
VARCHAR2(8)

Quelle

lieferdatum:
TIMESTAMP

Ziel
Oracle GoldenGate

15



Agenda









16





Oracle GoldenGate in Kenntnis setzen
 Konvertierung Quellformat  Zielformat erforderlich
– Mit Hilfe einer Datendefinitionsdatei

 Parametereinstellungen

SOURCEDEFS /ogg/dirdef/ora2mysql.def

17



Definitionsdatei
 Beschreibt die replizierten Daten in einem generischen Format
– Zeichensatz, Datenbanktyp, Tabellenname, Anzahl der Spalten, Spaltendefinition,...

 Mit Oracle GoldenGate DEFGEN Utility generieren
– DEFGEN konfigurieren

-- defgen.prm file
DEFSFILE/ogg/dirdef/ora2mysql.def
USERID oggsrc, PASSWORD ***
TABLE warehouse.catalog;
– DEFGEN ausführen

$ defgen paramfile dirprm/defgen.prm

18



Prinzip der Metadaten-Konvertierung
Auf dem Zielsystem

Zielsystem

Quellsystem

Datendefinitionen der
Zieltabellen
- werden direkt abgefragt

1

Datendefinitionen für die
Quelltabellen generieren
- mittels DEFGEN

2
Definitionsdatei auf das
Zielsystem kopieren

19


3
Replicat Prozess
konvertiert Daten

Mapping von Tabellen und Spalten
DE.KATALOG

GLOBAL.CATALOG
PROD_ID

NAME

PRICE

CURRENCY

ARTIKEL_ID

NAME

EUR

MAP global.catalog, TARGET de.katalog,
COLMAP (USEDEFAULTS, ARTIKEL_ID=PROD_ID, EUR=PRICE);

20



Spaltentransformationen
GLOBAL.CUSTOMERS

EMEA.CUSTOMERS

CUST_NAME

NAME

PHONE_NO

COUNTRY_CODE

REG_PREFIX

PHONE_NO

MAP global.customers, TARGET emea.customers,
COLMAP ( NAME=CUST_NAME,
COUNTRY_CODE=@STREXT(PHONE_NO, 1, 3),
REG_PREFIX=@STREXT(PHONE_NO, 4, 6),
PHONE_NO=@STREXT(PHONE_NO, 7, 10));
21



Spaltentransformationen
 > 30 vordefinierte Funktionen

 Eigene Funktionen

– Arithmetische Operationen
– Operationen auf Zeichenketten, Datum-

– Über Oracle GoldenGate User Exits

implementieren

und Zeitfelder
– Test auf Vorhandensein eines

Spaltenwertes
– Handling von NULL, fehlenden oder

ungültigen Werten

Oracle GoldenGate Reference Guide, Column Conversion Functions

22



Agenda









23





Prüfen Sie zu Beginn...
 welche Versionen von Oracle und MySQL unterstützt sind

 Oracle GoldenGate Zertifizierungsmatrix
 welche Datentypen unterstützt sind
– fast alle Oracle- und MySQL-Datentypen

 welche Operationen unterstützt sind
– DML: Insert, Update, Delete
– keine DDL-Replikation nach MySQL

 Oracle GoldenGate Oracle Installation & Setup Guide

 Oracle GoldenGate MySQL Installation & Setup Guide

24



Oracle GoldenGate Installation
 Download von edelivery.oracle.com oder

My Oracle Support
– Unter Oracle Fusion Middleware
– 2 Produkte: Oracle GoldenGate for Oracle,

 2 Installationen:
– auf Oracle DB Quellserver

(alternativ auf Standby Server)
– auf MySQL Zielserver

Oracle GoldenGate for MySQL
 Keine weiteren SW-Komponenten

Oracle GoldenGate
for Oracle

Oracle Quellsystem

25


Oracle GoldenGate
for MySQL

MySQL Zielsystem


Vorbereitung der Oracle Datenbank
 DB-Benutzer für Oracle GoldenGate

erstellen, Berechtigungen zuweisen
 (Archivelogging einschalten)
 Supplemental Logging einschalten
 Für Eindeutigkeit der Zeilen sorgen
 Datendefinitionen der Quelltabellen

Redo Log
Files

generieren, auf Zielsystem übertragen
– Oracle GoldenGate DEFGEN Utility

Extract

26



Vorbereitung der MySQL Datenbank
 InnoDB für MySQL-Zieltabellen
– empfohlene Storage Engine
– standard Storage Engine seit MySQL 5.5

 Für Eindeutigkeit der Zeilen sorgen
 Trigger & kaskadierende Constraints

deaktivieren
 DB-Benutzer für Oracle GoldenGate

erstellen, Berechtigungen zuweisen
 Checkpoint-Tabelle anlegen

27


Remote
Trail Files

Replicat


2 Schritte zur Replikation

1

2

Leere MySQL Datenbank mit
Oracle Daten befüllen
 Oracle GoldenGate
oder andere Werkzeuge

28

Dauerhafte
Synchronisation starten
 Oracle GoldenGate



Konfiguration von Oracle GoldenGate

2

Für die Synchronisation Oracle - MySQL
 Trail Files registrieren
 Extract, Data Pump und Replicat Prozesse konfigurieren und starten

Manager

Manager

Redo Log
Files
ora_ext

29


/dirdat/lt

ora_pmp

/dirdat/rt

mys_rep


Komplette Anleitung auf isblog.de

30



Demo
Ziel: MySQL

Quelle: Oracle DB

FILIALE.ARTIKEL

WAREHOUSE.CATALOG
PROD_ID

NAME

PRICE

CURRENCY

ARTIKEL_ID

NAME

EUR

111111

Canon EOS 700D

569.50

EUR

111111

Canon EOS 700D

569.50

222222

Panasonic Lumix
DMC-G6

579.10

EUR

222222

Panasonic Lumix
DMC-G6

579.10

333333

Sony Alpha 58

404.81

EUR

333333

Sony Alpha 58

404.81

@insert.sql
@update.sql

Oracle GoldenGate:
Konvertierung der Daten + Synchronisation

@delete.sql

31



Weitere Infos
 Oracle GoldenGate auf Oracle Technology Network

www.oracle.com/technetwork/middleware/goldengate/overview/index.html
 Download

edelivery.oracle.com, unter Product Pack Oracle Fusion Middleware
My Oracle Support für Patches und Updates
 Oracle GoldenGate 11.2.1 Dokumentation
– Oracle Installation and Setup Guide
– MySQL Installation and Setup Guide

 Anleitung Unidirektionale Replikation zwischen Oracle und MySQL
32



34



35



Replikation im heterogenen Umfeld mit Oracle GoldenGate

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Replikation im heterogenen Umfeld mit Oracle GoldenGate

Similar a Replikation im heterogenen Umfeld mit Oracle GoldenGate (20)

Replikation im heterogenen Umfeld mit Oracle GoldenGate