Más contenido relacionado Similar a Datenintegration und Datenbewirtschaftung mit Oracle - OPITZ CONSULTING - Till Sander (20) Más de OPITZ CONSULTING Deutschland (20) Datenintegration und Datenbewirtschaftung mit Oracle - OPITZ CONSULTING - Till Sander2. Agenda
1. Vorstellung OPITZ CONSULTING
2. Übersicht Datenintegration mit Oracle
3. Logische Datenintegration
4. Physische Datenintegration
I. Oracle Warehouse Builder
II. Oracle Data Integrator
III. Oracle Streams
IV. Oracle Golden Gate
5. Szenarien
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 2
3. Wo wir stehen – Standorte und Entwicklung
Standorte Unternehmensentwicklung
OPITZ CONSULTING Niederlassungen
Mitarbeiter (FTE)
2010: 352 Mitarbeiter
Hamburg
2011: 405 Mitarbeiter (Prognose)
Berlin
Umsatz
Essen
2010: 35,4 Mill. €
2011: 42,2 Mill. € (Prognose)
Gummersbach
Bad Homburg Kraków
Zürich
München
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 3
4. Was wir machen – Die Tätigkeitsfelder
Geschäftsziele effektiv verfolgen
Die richtigen Projekte auswählen
Effiziente Methoden und Technologien
Projekte richtig machen
Individuelle Wettbewerbsvorteile
Projekte qualitativ hochwertig umsetzen
Sicherheit und Kostenvorteile
Lösungen optimal betreiben
Nachhaltigkeit und Identifikation
Know-how aufbauen und vertiefen
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 4
5. Übersicht Datenintegration mit Oracle
Physisch ETL-/E-LT-Werkzeuge
WAREHOUSE BUILDER
DWH
d d
CSV
XML d
f d
DATA INTEGRATOR
Web Services
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 5
6. Übersicht Datenintegration mit Oracle
Logisch BI-Werkzeuge
CSV
XML
BI Suite Enterprise Edition
DWH
d d
d
f d
CSV BI Publisher
XML
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 6
7. Übersicht Datenintegration mit Oracle
Physisch und logisch
CSV
XML
BI Suite Enterprise Edition
WAREHOUSE BUILDER
DWH
d d
CSV
XML d
f d
DATA INTEGRATOR
CSV BI Publisher
XML
Web Services
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 7
9. Logische Datenintegration mit BI-Werkzeugen
Mit der Oracle BI Suite Enterprise Edition und dem BI
Publisher können Daten logisch integriert werden.
Einkauf Produktion Vertrieb
Presentation Layer
BI Server
Business Model &
Mapping Layer
Physical Layer
(Beispiel: OBIEE)
CSV XML
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 9
10. Logische Datenintegration mit BI-Werkzeugen
Gute Möglichkeit, schnell neue Daten einzubinden und zu
veröffentlichen
z.B. Integration von Plandaten als Excel-Sheet "on-the-fly" über BI Server
Später kann das Einlesen der Daten über einen geordneten ETL-Prozess
abgelöst werden.
Vorsicht bei OLTP-Datenmodellen!
Der BI Server setzt ab dem Mapping Layer ein Star Model voraus.
Logisch abbildbar, aber komplizierter in der Implementierung des BI Server
Repositories
Vorsicht bei der Integration großer Datenmengen!
Kontinuierliche Belastung der Quellen
Höhere Last auf BI Server durch logische Verknüpfung der Daten
Trotz leistungsfähigem BI Server (native Abfragen, Cache, …) schlechteres
Laufzeitverhalten als bei physischem DWH.
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 10
12. Oracle ETL-Roadmap
Basisfunktionalitäten für ETL & DQ bleiben in der Oracle Database
10gR2
Oracle Database 12g
10gR1 11gR1
11gR2
ETL &
DQ
OWB
EETL
ODI EE
Unified Platform 12g
ODI
Basisfunktionalität ETL und
11gR2
DQ in der Oracle Datenbank
10gR3 11gR1
Enterprise ETL für Oracle
und non-Oracle in ODI-EE
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 12
13. ETL vs. E-LT
Transformation in ETL-Server Konventionelle ETL-Architektur
Proprietäre ETL-Engine
Problematisch: Performance Extract Transform Load
Höhere Kosten
Transformation in RDBMS "Neue" ETL-Architektur
Nutzung der bestehenden Infrastruktur
Geringere Kosten E-LT
Optimale Nutzung der Datenbank als
Transformation-Engine Transform
Extract Load
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 13
14. Physische Datenintegration
Oracle Warehouse Builder
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 14
15. Oracle Warehouse Builder 11gR2
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 15
16. Einfaches OWB-Mapping
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 16
18. Physische Datenintegration
Oracle Data Integrator
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 18
19. Oracle Data Integrator 11g
Desktop WebLogic 11g / Application Server
FMW Konsole
JVM ODI Studio ODI Plug-in
Designer
Servlet Container WS Container
Java EE
Operator
Applikation Runtime WS Data
Java EE ODI Public
Applikation Ser-
Topology ODI SDK Konsole Java EE WS
vices
Agent
ODI SDK
Security
Data Sources Connection Pool
Repositories Quellen und Ziele JVM
Java EE
Applikation
ODI Master
Repository ODI SDK
ODI Work
Repository
Legacy Files/XML DBMS Applications DW/BI/EPM
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 19
20. ODI – Interfaces
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 20
21. ODI – Knowledge Module
Architektur der "Knowledge Module" (KM)
Reverse Journalize Load Check Integrate Service
Auslesen der CDC auf Quelle Laden aus Quelle Prüfen der Daten Transformation Bereitstellen von
Metadaten in Stage vor Integration und Laden in Ziel Web Services
Reverse WS
WS
Stage
Ziel
Integrate
Load Services
CDC Journalize Check
Fehler
Beispiele für vordefinierte KMs
SQL Server Oracle Check MS TPump/ Oracle Oracle Web
SAP/R3 Log Miner JMS Queue
Triggers DB-Link Excel Multiload Merge Services
DB2 DB2 Oracle Check Siebel EIM DB2 Web Golden
Siebel Type II SCD
Journals Exp/Imp SQLLoader Sybase Schema Services Gate
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 21
22. ODI – Knowledge Module
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 22
23. Verfügbare Knowledge Module
Generic SQL Oracle Enterprise Service Bus
Hypersonic SQL Oracle GoldenGate
IBM DB2/400, DB2 UDB Oracle Hyperion Essbase
Informix Oracle OLAP
JD Edwards Enterprise One Oracle PeopleSoft
JMS Oracle Siebel CRM
Microsoft Access Sales Force
Microsoft SQL SAP ERP & BW
Netezza SAS
Oracle Database Sybase ASE
Oracle Data Quality for Data Integrator Sybase IQ
Oracle E-Business Suite Terradata
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 23
24. Vergleich OWB & ODI
OWB ODI
+ ++
Architektur (E-LT, Deployment aus zentralem (E-LT, Deployment aus Masterrepository in
Repository in verschiedene Umgebungen verschiedene Workrepositories)
schwierig)
+ ++
Datenquellen (Fokus auf Oracle (++), Fremdanbieter (Durch Knowledge Module ist quasi jeder
über Gateway, in EE auch über JDBC) Zugriff realisierbar)
+ ++
Datenziele (siehe Datenquellen, zusätzlich (siehe Datenquellen)
BI-Metadaten)
Versionierung - ++
(Szenarien und Solutions)
++ +
Datenmodellierung (Gute Möglichkeiten der (Gute Möglichkeiten der
Datenmodellierung, alle Features und Datenmodellierung, individuell anpassbar
Objekte der Oracle-DBs unterstützt) durch Knowledge Module)
++ +
(Sehr gute Modellierungsmöglichkeiten, (Gute Modellierungsmöglichkeiten, Fokus
Datenflüsse Unterstützung aller Oracle-Features, auf Knowledge Module)
dimensionale Modellierung)
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 24
25. Change Data Capture
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 25
26. Change Data Capture mit Oracle
Ermittlung der kompletten Änderungshistorie
Wofür?
Ausrichtung
Strategisches BI Operatives BI
Aktualisierung
Jahr, Monat, Tag Untertägig
Auslöser
Scheduler Ereignisgesteuert
Historisierung
Intervallabhängig Vollständige Historisierung
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 26
27. Change Data Capture
Oracle Streams
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 27
28. Oracle Streams
Protokolliert Datenänderungen auf Datenbanktabellen
Stellt die Datenänderungen für die weitere Verarbeitung
als "Logical Change Records" (LCR) zur Verfügung
ID Name Value ID Name Value
UPDATE
1 Müller 1234 1 Müller 0815
2 Schmidt 4711 2 Schmidt 4711
LCR
UO 1 Müller 1234
UN 1 Müller 0815
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 28
29. Oracle Streams – Varianten
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 29
30. Streams – Asynchronous Auto Log (Archive)
Quelle Ziel
Transaktion Change Set &
Redo-Logs
Change Tables
Tabelle
Tabelle Tabelle
Tabelle
ARCn
Archivierung
LGWR Redo-Logs
Redo-Logs Streams
Downstream Sub-
Tabelle
scriber
Capture Views
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 30
31. Oracle Streams
Synchronous
Propagation der Daten über Trigger
Bereitstellung der Änderungsinformationen ist Teil der Transaktion
Daten werden in Echtzeit übertragen
Transaktion wird erst mit Übertragung abgeschlossen
Hohe Systembelastung
Asynchronous HotLog
Analyse der Änderungsinformationen in der Quelle, dann Übertragung auf
das Ziel
Lastverteilung zwischen Quelle und Ziel
Quell- und Zielplattformen können unterschiedlich sein (Betriebssystem und
Datenbankversion)
Höhere Last auf Quelle
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 31
32. Oracle Streams
Asynchronous AutoLog (online)
Übertrag der Redo-Log-Informationen auf separate Staging-DB
Mechanismus vergleichbar mit Standby-Datenbank
Geringe Latenzzeit, da die Online Redo-Logs genutzt werden
Quell- und Staging-DB müssen identisch sein (Major Version,
Betriebssystem und Datenbank)
Asynchronous AutoLog (archive)
Übertrag der archivierten Redo-Log-Informationen auf separate Staging-DB
Mechanismus vergleichbar mit Standby-Datenbank
Höhere Latenzzeit, da die archivierten Redo-Logs genutzt werden
Quell- und Staging-DB müssen identisch sein (Major Version,
Betriebssystem und Datenbankversion)
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 32
33. Change Data Capture
Oracle Golden Gate
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 33
34. Oracle Golden Gate
Ermittlung von Änderungen bei minimaler Belastung der
Quellen
Routing und Transformationen
Heterogene Systeme
Echtzeit
LAN/WAN
Tabell Tabell
Capture Pump Capture
Quelle e
Trail e
Trail Ziel
Internet
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 34
35. Oracle Golden Gate – Topologien
Uni-Direktional Bi-Direktional Peer-to-Peer
Broadcast Integration/Konsolidierung Cascading
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 35
36. Vergleich Oracle Golden Gate und Streams
Golden Gate Streams
Oracles strategische Wird weiterhin als DB-
Replikationslösung Feature unterstützt
Breite Unterstützung Optimale Anpassung auf die
heterogener Datenquellen individuellen Projektanfor-
und -ziele derungen
Vorgefertigte Standard- Optimiert für Oracle-DBs
lösungen
Empfehlung:
Einsatz von Golden Gate in neuen Projekten
Verwendung von Streams, wo bereits im Einsatz
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 36
37. Szenarien
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 37
38. Szenario I: Datenhaltung Oracle
ETL Batch
WAREHOUSE BUILDER
WAREHOUSE BUILDER
t t d d
d
f d
DATA INTEGRATOR
t t
DATA INTEGRATOR
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 38
39. Szenario II: Datenhaltung Oracle
ETL CDC
WAREHOUSE BUILDER
Streams
t t d d
d
f d
Golden Gate
t t
DATA INTEGRATOR
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 39
40. Szenario III: Heterogene Quellen, DWH Oracle
ETL Batch, CDC
WAREHOUSE BUILDER
DATA INTEGRATOR
t t d d
d
f d
Golden Gate
t t
DATA INTEGRATOR
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 40
41. Szenario IV: Heterogene Datenhaltung
ETL Batch, CDC
DATA INTEGRATOR
DATA INTEGRATOR
t t d d
d
f d
Golden Gate
t t
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 41
42. Fragen und Antworten
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 42