Dani Schnider, Principal Consultant bei der Trivadis AG an der DOAG BI Konferenz 2011

1. FEHLERTOLERANTE
LADEPROZESSE
IN ORACLE
GEGEN SCHLAFLOSE NÄCHTE
DOAG BI Konferenz 2012
Dani Schnider
Trivadis AG
München, 18. April 2012
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
1

2. Dani Schnider
 Principal Consultant und
DWH/BI Lead Architect
bei Trivadis in Zürich
 Kursleiter für Trivadis-Kurse
über Data Warehousing,
SQL Optimierung und Oracle
Warehouse Builder
 Co-Autor des Buches «Data
Warehousing mit Oracle»
2014 © Trivadis
2
Fehlertolerante Ladeprozesse
18. April 2012

3. Mit über 600 IT- und Fachexperten bei Ihnen vor Ort
2014 © Trivadis
11 Trivadis Niederlassungen mit
über 600 Mitarbeitenden
200 Service Level Agreements
Mehr als 4'000 Trainingsteilnehmer
Forschungs- und Entwicklungs-budget:
CHF 5.0 / EUR 4 Mio.
Finanziell unabhängig und
nachhaltig profitabel
Erfahrung aus mehr als 1'900
Projekten pro Jahr bei über 800
Kunden
Stand 12/2012
Hamburg
Düsseldorf
Frankfurt
Freiburg
München
Wien
Basel
Bern Zürich
Lausanne
3
Stuttgart
Fehlertolerante Ladeprozesse
18. April 2012
3

4. Einleitung
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
4
Übermüdeter DWH-Entwickler Unzufriedener Benutzer

5. Beispiele für Fehlerursachen
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
5

6. Fehlende Attribute
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
6

7. Fehlende Attribute – Variante „Abbruch“
 Beim ersten Fehler Abbruch der Verarbeitung
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
7

8. Fehlende Attribute – Variante „Filter“
 Filtern von fehlerhaften und unvollständigen Datensätzen
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
8

9. Fehlende Attribute – Variante „Fehlertabelle“
 Fehlerhafte und unvollständige Datensätze in Fehlertabelle schreiben
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
9

10. Fehlende Attribute – Variante „Fehlertabelle“
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
10

11. Fehlende Attribute – Variante „Originalwert“
 NULL-Werte in Zieltabelle erlauben
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
11

12. Fehlende Attribute – Variante „Singleton“
 Fehlende Attribute durch Default-Werte (Singletons) ersetzen
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
12

13. Unbekannte Codewerte
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
13

14. Unbekannte Codewerte – Variante „Filter“
 Filtern von fehlenden Codes durch Inner Join
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
14

15. Unbekannte Codewerte – Variante „Filter“
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
15

16. Unbekannte Codewerte – Variante „Singleton“
 Singleton-Eintrag in allen Lookup-Tabellen, Lookup mit Outer Join
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
16

17. Unbekannte Codewerte – Variante „Singleton“
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
17

18. Unbekannte Codewerte – Variante „Embryo“
 Fehlende Codes vorgängig in Lookup-Tabelle einfügen
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
18

19. Unbekannte Codewerte – Variante „Embryo“
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
19

20. Fehlende Dimensionseinträge
 Ausgangslage:
 Fakten werden geladen
 Zugehöriger Dimensionswert noch nicht vorhanden
 Lösungsvarianten:
 Filtern von unvollständigen Fakten
 Referenz auf Singleton-Einträge
 Generieren von Embryo-Einträgen
 Siehe Artikel «Wenn die Fakten zu früh eintreffen»
http://www.trivadis.com/uploads/tx_cabagdownloadarea/Wenn_die_Fakten_zu_frueh_eintreffen.pdf
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
20

21. Doppelte Datensätze
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
21

22. Doppelte Datensätze – Variante „Distinct“
 Deduplizieren mittels DISTINCT
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
22

23. Doppelte Datensätze – Variante „Filter“
 Filter auf ersten Datensatz pro Schlüsselwert
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
23

24. Doppelte Datensätze – Variante „Fehlertabelle“
 Doppelte Datensätze in Fehlertabelle schreiben
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
24

25. Doppelte Datensätze – Variante „Fehlertabelle“
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
25

26. 2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
26
Fazit
 Fehlertolerante
Ladeprozesse vermeiden
ETL-Abbruch
 Je nach Varianten
Einbussen der Datenqualität
 Vor- und Nachteile der
Varianten müssen je nach
Anforderungen abgewogen
werden

27. Immer noch schlaflose
Nächte?
 Fragen Sie Ihren
Apotheker oder lesen Sie
die Packungsbeilage
2014 © Trivadis
27
Fehlertolerante Ladeprozesse
18. April 2012

28. Vielen Dank.
Trivadis AG
Dani Schnider
Europa-Strasse 5
CH-8152 Glattbrugg/Zürich
Schweiz
Tel.+41 44 808 70 20
Fax+41 44 808 70 21
info@trivadis.com
www.trivadis.com
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2014 © Trivadis
Fehlertolerante Ladeprozesse
18. April 2012
28