Vortrag auf dem 3. Workshop Open Source Business Intelligence, 1. März 2012 - Hochschule Karlsruhe www.osbi-workshop.de

1. Unterstützung agiler
Vorgehensmodelle
durch ein BI-Testframework
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 1

2. Agenda
1. Motivation
 BI Projekte
 Idee
2. Testframework
 Arten von Tests
 Architektur
3. Entwicklungsstand
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 2

3. 1 Motivation
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 3

4. BI Projekte
BI Infrastruktur Die Komplexität der
wächst organisch Entwicklung und der
Prozesse steigt stark
Neue Informationsbedarfe, sich
ändernde IT-Landschaften, neue
Herausforderungen
Schnelle
Entwicklungszyklen
bei BI Projekten
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 4

5. Wachsende Komplexität
Neue Entwicklungen:
großer Aufwand, Risiko
Auswirkungen auf
Gesamtsystem nicht absehbar
Entwicklungsgeschwindigkeit
nimmt massiv ab Testaufwand steigt
Fehler werden erst
durch Anwender bemerkt
Das Vertrauen in die
BI Infrastruktur sinkt!
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 5

6. Idee: Adaption der Continuous Integration
 Im Rahmen der Softwareentwicklung hat sich seit
vielen Jahren mit Continuous Integration ein
bewährter Ansatz durchgesetzt
 Dieser reduziert die Komplexität großer
Entwicklungsvorhaben durch eine kontinuierliche
Überprüfung des Gesamtsystems und ein
testgetriebenes Entwicklungsvorgehen
 Diese bewährten Vorgehensweisen gilt es auf den
Bereich der Business Intelligence zu anzuwenden
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 6

7. Vorgehen: Iterativ und inkrementell
Inkrementeller Ansatz
Iterativer Ansatz
Bilder: http://www.agileproductdesign.com
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 7

8. Vorgehen: Schaffung eines Testnetzes
 Es werden viele Einzeltests erstellt,
welche die Validität von Prozessen
über alle Schichten des
Gesamtsystems sicherstellen
 Die Ausführung der Tests wird
automatisiert
 Die Tests decken alle wichtigen
Geschäftsbereiche und wichtigen
Prozessketten ab
 Die Testdefinition erfolgt mit der
Entwicklung der Prozesse
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 8

9. Vorteile
 Fehler werden systemweit gefunden, auch
in Bereichen in denen man keine
Änderungen vermutet
 Testpläne können bei Releasewechseln
teilweise automatisiert werden und machen
wiederholte manuelle Tests unnötig
 Fehler können auch im laufenden Betrieb
vor dem Anwender entdeckt werden
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 9

10. 2 Testframework
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 10

11. Testinfrastruktur Aufbau (1)
 Der Anwender erwartet ein
funktionierendes System auf allen
Ebenen
 Tests müssen sowohl die
technische Funktionsweise
umfassen, als auch die Richtigkeit
der fachlichen Daten
 Kontinuierliche Tests über alle
Schichten des Systems sind
daher dringend notwendig
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 11

12. Testinfrastruktur Aufbau (2)
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 12

13. Arten von Tests (1) – technisch
 Grundgesamtheit
 Datenqualitätsdimension: Vollständigkeit
 Sind alle Kunden aus der Quelle auch im Staging gelandet?
 Auch im DWH? Sind alle Rechnungen durch den ETL-Prozess gekommen?
 Verteilungen
 Datenqualitätsdimension: Einheitliche Darstellung
 Wie ist das Verhältnis von männlichen zu weiblichen Kunden?
 Ist dies nach jedem Verarbeitungsschritt genauso?
 Wie war es vor einiger Zeit?
 Beziehungen
 Datenqualitätsdimension: Fehlerfreiheit
 Sind alle natürlichen Schlüssel im DWH angekommen und richtig auf die
Surrogate Keys verteilt worden?
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 13

14. Arten von Tests (2) – fachlich
 Stichproben
 Datenqualitätsdimension: Fehlerfreiheit
 Beschränkung auf Sonderfälle
 Z.B. die 10 Kunden aus Alaska, die Kühlschränke gekauft haben
 Abteilungsbeziehungen (BI unter Finanzen)
 Überprüfung durch Mitarbeiter: stimmt das denn alles?
 Regelmäßigkeit
 Datenqualitätsdimension: Glaubwürdigkeit
 Ist die Veränderung von Kennzahlen von einem Stichtag zum anderen
realistisch?
 In Gruppen, in Gesamtzahlen
 to be continued…
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 14

15. Testinfrastruktur Realisierung
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 15

16. ER-Modell Testrepository
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 16

17. Vorgehen
Erstellung einer „Durchführung“ jeweils für die Quell-
und Zieldaten
Vergleich, Ergebnis: Richtig/Falsch
Eintragen des Tests in das Testrepository
Ausführung des Test: Anmeldung Testregister,
Durchführung, Ergebnis an Testregister
Auswertung der Testläufe im Testrepository
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 17

18. 3 Entwicklungsstand
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 18

19. Grails Anwendung zur Pflege
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 19

20. Auswertungsdashboard
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 20

21. Geplante Erweiterungen
 Webservice als Schnittstelle
 Erweiterung um verschiedene Möglichkeiten der
Testausführung
 Z.B. Oracle (Tests als Stored Procedure)
 Z.B. Talend (Tests als ETL)
 …
 Speicherung auch der Tests im Repository
 Weitere Ideen?
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 21

22. Fazit
 BI Projekte werden schnell sehr komplex
 Lernen von den SW-Entwicklern
 Methodisch: Agilität
 Methodisch: Testen
 Vorgehen organisatorisch verankern und ständig
verbessern
 Testframework einsetzen
 Einfach, erweiterbar
 Proaktiv einsetzen
 EMails verschicken
 Frontend abschalten
 …
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 22

23. Kontakt
Rico Großmann
OPITZ CONSULTING Berlin GmbH
Tempelhofer Weg 64 | 12347 Berlin
Tel. +49 (30) 6298889-1638
rico.grossmann@opitz-consulting.com
Dr. Jens Bleiholder
OPITZ CONSULTING Berlin GmbH
Tempelhofer Weg 64 | 12347 Berlin
Tel. +49 (30) 6298889-1621
jens.bleiholder@opitz-consulting.com
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 23

24. Vielen Dank für die Aufmerksamkeit!
Unterstützung agiler Vorgehensmodelle durch ein BI-Testframework@OSBI Workshop © OPITZ CONSULTING GmbH 2012 Seite 24