TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stanislav lando
1. BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF
HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH
Das Ende von OWB – was nun?
Migrationspfade für OWB-Projekte
Dani Schnider
Stanislav Lando
2. Agenda
Das Ende von OWB – was nun?2 11.11.2015
1. Einleitung
2. ODI der offizieller Nachfolger von OWB
3. Migration nach PL/SQL
4. biGenius – DWH Generator
5. Kommerzielle ETL Tools (Informatica)
6. OpenSource ETL Tools (Talend)
7. Entscheidungskriterien
3. Das Ende von OWB – was nun?3 11.11.2015
1. Einleitung
7. Oracle Statement of Direction
Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1
erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt
Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt
Oracle Data Integrator ist offizieller Nachfolger vom OWB.
Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten.
Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur
Verfügung
OWB Support läuft aus
Das Ende von OWB – was nun?7 11.11.2015
8. Welche Migrationsszenarien sind möglich?
Das Ende von OWB – was nun?8 11.11.2015
Handlungsbedarf Oracle 12C
Nicht CDB-Architektur ist
DEPRECATED seit 12.1.0.2
„ Oracle Warehouse Builder on a
pluggable database operates the
same as a multi-instance or an
OWB_HOME configuration. ODI-
EE license is required to use this
functionality.”
Zeit zu handeln
10. Oracle Data Integrator (ODI)
Das Ende von OWB – was nun?10 11.11.2015
• 2006 Übernahme durch Oracle
• Oracle Datenstrukturen/Modelle
• ETL Strecken mit DB-Mitteln
• Einbindung von PL/SQL
• Neu im Vergleich zu OWB
• Einbindung von heterogenen Umgebungen: DB, SOA, WebServices
• AGENT – Konzept mit zeitgesteuerter Jobverarbeitung
• Knowledge Module Konzept
• Version12c Übernahme der OWB Bedienkonzepte
• OWB Migration Utility
11. Textbasierte Verarbeitung mit Config-Dateien
Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3
ODI Migration Utility
Das Ende von OWB – was nun?11 11.11.2015
migrierbar nach ODI sind
• Module: Quelle und Ziel
• Locations
• Datenobjekte: Tabellen, Views, MViews
Dateien, Sequenzen, externe Tabellen
• Mappings: klassisch set-based, code
templates, pluggable
• Operatoren: fast alle
nicht migrierbar nach ODI sind
• Datenobjekte: Partitionen, Attribute Sets, Data Rules,
Locations für externe Tabellen
• Dimensionale, Discoverer und OBIEE Metadaten
• Eigene PL/SQL Prozeduren und Packages
• Queues, Streams, CDC Konfigurationen,
Benutzerdefinierte Datentypen
• Process Flows
• Data Quality, Data Profilies
• Mappings: row-based, mit o.g. Elementen
• OMB*Plus Skripte
OWB2ODI MIGRATION CHECK
12. ODI Migration Utility
Das Ende von OWB – was nun?12 11.11.2015
migration.config
ODI_MASTER_USER=SUPERVISOR
ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl
..
OWB_WORKSPACE_OWNER=OWB_OWNER
OWB_URL=localhost:1521:orcl
..
MIGRATION_MODE=DRY #CHECK|DRY|RUN
..
>./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config
OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..
13. Das Ende von OWB – was nun?13 11.11.2015
3. PL/SQL
14. PL/SQL Migrationsoption 1
Das Ende von OWB – was nun?14 11.11.2015
IST OWB IM HINTERGRUND NICHT PL/SQL?
WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2,
task_type IN VARCHAR2,
task_name IN VARCHAR2,
custom_params IN VARCHAR2 DEFAULT NULL,
system_params IN VARCHAR2 DEFAULT NULL,
oem_friendly IN NUMBER DEFAULT 0,
background IN NUMBER DEFAULT 0 )
RETURN NUMBER;
15. PL/SQL Migrationsoption 2
Das Ende von OWB – was nun?15 11.11.2015
Sollte RUN_TASK unter der nächster DB Version nicht
laufen?
WB_RT_API_EXEC.RUN_TASK (...);
OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten
Anpassung des Repository mit weiteren DB Versionen möglich
Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code
3000 – 4000 Zeilen Code pro Mapping
OWB – PL/SQL Code ohne grafische Oberfläche
16. PL/SQL Migrationsoption 3
Das Ende von OWB – was nun?16 11.11.2015
PL/SQL-Extraktion über Intermediate Results
Einfache Extraktion der Logik durch Intermediate Results (set-based)
Fehlerbehandlung wird unterstützt (LOG ERRORS INTO)
Row-based Extraktion mit
größerem Aufwand möglich
Protokollierung, Ablaufsteuerung
erweiterte Fehlerbehandlung
müssen neu umgesetzt werden
17. PL/SQL Migrationsoption 4
Das Ende von OWB – was nun?17 11.11.2015
PL/SQL-Extraktion mit PL/SQL Analyser
https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/
Extraktion der Logik durch PL/SQL-Parser
Automatisierung für viele Mappings (>1000) möglich
Command Line Utility mit XML Parse-Tree Ausgabe
Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt
werden
18. Das Ende von OWB – was nun?18 11.11.2015
4. biGenius
19. biGenius Funktionsübersicht
Das Ende von OWB – was nun?19 11.11.2015
Business
Department
BRE
Business
Requirements
Engineering
BI ArchitectMGD
Modelling
Generation
Deployment
DWH Admin
LCM
Load Control Monitoring
DQT
Data Quality Testing
Data Steward
Business
Blueprints
Technical
Documentation
Staging Area
Cleansing Area
DWH Core
Data Mart
Source Source Source
Generated Objects:
- Tables
- Views
- ETL Processes
20. Standardisierte DWH-Architektur
Das Ende von OWB – was nun?20 11.11.2015
Beispiel:
10 Dimensionen
5 Faktentabellen
20 Entities
25 Quelltabellen
Generierte DWH-Objekte:
100 Tabellen
175 Views
100 ETL-Packages
Staging
Cleansing
DWH-Core
Data Mart
Source
Source Source
21. Migration eines standardisierten OWB-Projekts
Das Ende von OWB – was nun?21 11.11.2015
Import der Quell- und Zielstrukturen in biGenius Metadatenbank
Zuordnung Quell- und Zielattribute
– Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind
– Manuelle Zuordnung von Spezialfällen
Nachbearbeitung in biGenius Applikation
– Metadaten für Historisierung und Dimensionshierarchien
– Bei Bedarf Anpassungen von Templates
– Für Spezialfälle separate Templates aus „Intermediate Results“
Generierung von Tabellen, Views und Packages mittels PL/SQL Generator
23. Das Ende von OWB – was nun?23 11.11.2015
5. Kommerzielle ETL Tools
24. Warum ein anderes ETL Tool als ODI?
Das Ende von OWB – was nun?24 11.11.2015
Mögliche Gründe
Strategisches Tool im Unternehmen
Bestehendes Knowhow vorhanden
Heterogene DWH-Systeme
Marktanteil des Herstellers
Verbreitete kommerzielle ETL Tools
Informatica PowerCenter
IBM InfoSphere DataStage
SAP Business Objects Data Services
25. Beispiel: Informatica PowerCenter
Das Ende von OWB – was nun?25 11.11.2015
Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014)
Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren
Ausführung der Transformationen im separaten ETL-Server
ETL-Steuerung durch Integration Services (ETL in Blackbox)
Datenzugriff durch ODBC, JDBC + native DB Treiber
Systemüberwachung der Nodes (Domains) durch Service Management Prozess
Lizenzierung pro Kern des Domain-Servers
26. Migration nach Informatica PowerCenter
Das Ende von OWB – was nun?26 11.11.2015
Die Migration ist mit manuellem Aufwand verbunden
Import der Quell- und Zielstrukturen in PowerCenter Repository
Manuelle Neuentwicklung der Mappings
– Ähnliche Transformationen
wie OWB-Operatoren
– Stored Procedures können
in Mappings eingebaut werden
Nachbau der Ladeläufe mit Workflow Manager
27. Migration nach Informatica PowerCenter (Alternative)
Das Ende von OWB – was nun?27 11.11.2015
Extraktion von SQL Statements in OWB
– Via Intermediate Results
– Nur für set-based Mappings
SQL Statements in PowerCenter Mapping
verwenden
– SQL Override
– SQL Transformation
Achtung
– Schlechte Wartbarkeit der Mappings
– Nur als Übergangslösung zu empfehlen!
28. Das Ende von OWB – was nun?28 11.11.2015
6. OpenSource ETL Tools
29. Warum OpenSource?
Das Ende von OWB – was nun?29 11.11.2015
Hauptgrund für OpenSource-Produkte
Geringere Lizenzkosten
Achtung: OpenSource ≠ Gratis
OpenSource ETL Tools
Talend Open Studio
Pentaho Kettle
30. Beispiel: Talend Open Studio
Das Ende von OWB – was nun?30 11.11.2015
Open Source ETL Studio für wenig Geld
Java Architektur
Über 500 Components
– Vergleichbar mit Operatoren für OWB
Row-based Verarbeitung
– Mengenbasierte Ausführung umständlich möglich
Lizenzkosten pro Entwickler
Talend Job Designer für die Ablaufsteuerung
31. Migration nach Talend
Das Ende von OWB – was nun?31 11.11.2015
Import der Quell und Zielstrukturen in die Metadatenbank
Automatische Migration nicht möglich
– Arbeitsweise unterscheidet sich von OWB
Mögliche Lösung
– Extraktion von SQL aus OWB (Intermediate Results)
– SQL in Talend Component „rOracleRow“ kopieren
– Gleiche Problematik wie SQL Override in Informatica
Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich
32. Das Ende von OWB – was nun?32 11.11.2015
7. Entscheidungskriterien
33. Funktionsumfang
Das Ende von OWB – was nun?33 11.11.2015
Arbeitsweise
Bedienbarkeit
Plattformunabhängigkeit
Arbeitsweise Bedienbarkeit Plattformunabhängigkeit
ODI
Grafisches ELT-Tool, Ausführung
in Zieldatenbank
Grafische Darstellung der
Datenflüsse
Knowledge Module für zahlreiche
Quell- und Zielplattformen
PL/SQL
Prozedureale Programmierung in
Datenbank
Programmierung in Datenbank-
Editor, z.B. SQL Developer
Oracle-spezifisch
biGenius
Metadatenbasierter PL/SQL-
Generator, Ausführung in Zielda-
tenbank
GUI zur Erfassung und Pflege
der Metadaten
Generatoren für Oracle und SQL
Server
Kommerziell
Grafisches ETL-Tool, Ausführung
durch ETL-Server
Grafische Darstellung der
Datenflüsse
Unterstützung zahlreicher Quell-
und Zielplattformen
OpenSource
Grafisches ETL-Tool, Ausführung
durch ETL-Server
Grafische Darstellung der
Datenflüsse
Unterstützung zahlreicher Quell-
und Zielplattformen
34. Migration von OWB Projekten
Das Ende von OWB – was nun?34 11.11.2015
Migrationsaufwand Zeitaufwand
Manuelle
Nachbearbeitung
Zusätzlicher
Betriebsaufwand
ODI
Automatisierte Migration
durch OWB Migration
Utility
gering
Nachbau von Workflows und
speziellen Operatoren
zusätzlich Server pro
Agent
PL/SQL
Generierter OWB-Code
kann übernommen werden
mittel, für große
Projekte
automatisierbar
Implementierung von
Fehlerbehandlung, Logging,
etc.
keiner
biGenius
Importieren von Quell- und
Zielstrukturen, Generierung
der ETL-Prozesse
für standardisierte
Projekte gering,
für Spezialfälle
groß
Für Speziallogik müssen
Templates erstellt oder
angepasst werden
keiner
Kommerziell
Manuelle Übernahme von
SQL-Statements in ETL-Tool
hoher manueller
Aufwand
Überführung von SQL-
Statements in Logik des ETL-
Tool
ETL-Server
OpenSource
Manuelle Übernahme von
SQL-Statements in ETL-Tool
hoher manueller
Aufwand
Überführung von SQL-
Statements in Logik des ETL-
Tool
ETL-Server
35. Zusätzliche Kosten
Das Ende von OWB – was nun?35 11.11.2015
Schulungsaufwand Lizenzkosten
ODI
notwendig, aber für OWB-Entwickler ge-
ring
pro CPU der Zieldatenbank
PL/SQL
PL/SQL-Knowhow bei OWB-Entwickler
meistens vorhanden
in Datenbanklizenz enthalten
biGenius notwendig abhängig von Projektgröße
Kommerziell notwendig pro CPU im Domain-server (Informatica)
OpenSource notwendig pro Arbeitsplatz (Talend)
36. Wartung und Weiterentwicklung
Das Ende von OWB – was nun?36 11.11.2015
Wartbarkeit Performance & Tuning
ODI Sehr gut
Mengenbasierte Ausführung in der
Zieldatenbank
PL/SQL Schlecht wartbar
Mengenbasierte Ausführung in der
Zieldatenbank
biGenius Sehr gut
Mengenbasierte Ausführung in der
Zieldatenbank
Kommerziell Sehr gut
datensatzbasierte Ausführung über ETL-
Server
OpenSource Sehr gut
datensatzbasierte Ausführung über ETL-
Server
37. Das Ende von OWB – was nun?37 11.11.2015
Trivadis White Paper:
Das Ende von OWB – was nun?
Migrationspfade für OWB-Projekte.
http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf