Data Science: History repeated? – The heritage of the Free and Open Source GI...
TRIDEC Presentation: Intergeo 2012
1. The TRIDEC Project
Collaborative, Complex, and Critical Decision
Processes in Evolving Crises
Free and Open Source GIS
für die Tsunamifrühwarnung
Peter Löwe
ploewe@gfz-potsdam.de
2. Das Projekt TRIDEC (Collaborative, Complex, and Critical Decision
processes in Evolving Crises) des EU FP 7 Förderprogramms entwickelt
Echtzeit-Informationsmanagement für Earth Management.
Das TRIDEC Konsortium besteht aus 10 europäischen Partnern aus
Industrie und Forschung.
Das Zentrum für Geoinformationstechnologie (CeGIT) des Deutschen
GeoForschungszentrums Potsdam (GFZ) übernimmt das
Projektmanagement, Systementwicklung und Datenvisualisierung
(u.a.) in TRIDEC.
Das Krisenmanagement bei Naturkatastrophen zum Zweck der
Tsunamifrühwarnung im Bereich des nordöstlichen Atlantik und des
Mittelmeeres ist ein Anwendungsfeld künftiger TRIDEC Systeme.
Das TRIDEC Projekt
3. Vorgängerprojekte von TRIDEC
TRIDEC basiert aus zwei Vorgängerprojekten im
Bereich der Tsunamifrühwarnung:
German Indonesian Tsunami Early Warning
System (GITEWS)
Fokus: Sensordatenintegration („Upstream“)
Laufzeit: 2006 – 2011
Finanzierung: BMBF
Distant Early Warning System (DEWS)
Fokus: Informationslogistik („Downstream“)
Laufzeit: 2007-2010)
Finanzierung: EU (FP6)
4. Technische TRIDEC Kernkomponenten
Eine Kommunikationsinfrastruktur interoperabler
standardbasierter Dienste zum intelligenten Management von
dynamisch wachsenden Informationsmengen und - dimensionen.
Eine robuste und skalierende Diensteinfrastruktur, zur Nutzung und
Integration vorhandener und wachsender Ressourcen wie Sensor-
Systemen, Geodateninfrastrukturen, numerischer Simulation, etc.
Ein wissensbasiertes Dienste-Framework für Kontextinformation
und intelligentes Informations-Management bei flexibler
Orchestrierung der Systemressourcen.
Ein adapitves Framework für kollaborative Entscheidungsfindung mit
Unterstützung von Geschäftsprozessen und Arbeitsabläufen.
5. TRIDEC entwickelt für
Tsunamiwarnzentren (Leitstände)
ein GIS-basiertes Userinterface
(CCUI).
Das TRIDEC CCUI basiert auf dem
Java-basierten FOSS GIS uDig
(udig.refractions.net) und stellt
mehrere Anwenderperspektiven
bereit.
Die CCUI-Quellen sind über das
FOSSLAB portal des GFZ
verfügbar:
http://www.fosslab.org/projects
TRIDEC FOSS GIS Anwendung I:
Command and Control Interface (CCUI)
6. Eine Kernkomponente von Tsunami
Frühwarnsystemen ist die Modelierung und
Auswertung simulierter Tsunami-Wellen in Raum
und Zeit.
Das FOSS Geographic Ressources and Analysis
Support (GRASS) GIS (v6.4 und v7-devel) wird am
CEGIT zur Analyse und Kartierung der Tsunami-
Parametern (Wellenhöhe / Ankunftszeit /
Mareogramme) in 2D und 3D (x,y + z) eingesetzt.
GRASS: Größtes und ältestes (28 Jahre) FOSS
GIS Projekt, ca. 350 Module (C und Python),
embedded in uDig und Quantum GIS, für den
Desktop und Cluster-Einsatz geeignet.
TRIDEC FOSS GIS Anwendung 2:
Tsunami Simulationsdaten
8. TRIDEC wurde zur Erstellung von Animationsfilmen als
Exponat für den deutschen Pavillion auf der
Weltausstellung EXPO 2012 angefragt.
Die Aufgabe konnte durch Einsatz von GRASS GIS auf
dem High Performance Computing Cluster erfolgreich
gelöst werden.
Herausforderung:
Weltausstellung EXPO 2012
9. High Performance GIS Computing
am GFZ Potsdam
HPC Cluster: 234 Knoten / 480 CPU / 3084 Kerne
5 Tbyte RAM
19 Verarbeitungsschlangen
Suse Linux Enterprise 2011
GRASS GIS 6.4.2 für alle User (v7.0-devel in Vorbereitung)
10. Mehrwert von Cluster GIS Werkbänken
Nutzen für den geowissenschaftlichen Einsatz:
Delegation von Aufgaben (Parallelisierung)
Zeitintensive/Langwierige Prozesse: „Viele Daten“
Ressourcenintensive Prozesse: „Große Daten“
Stabile und gesicherte Prozessumgebung
Image Source: Disney
11. Beispiel: Zeitintensive Verarbeitung
Eingangsdaten: Geometrisch komplexe Tsunami-Simulationsdaten
Signifikante Mengen Rechenzeit werden pro Knoten benötigt
Extremfall: 20 CPU-Tage zur Prozessierung eines Datensatzes mit
inkonsistenten Geometrien.
„Problemzone“
Tsunami-Simulation
Für die Agäis
12. Die Karteninhalte (Tsunami-Wellenhöhen)
werden mit GRASS GIS aus
Modellergebnissen erstellt.
Die Erzeugung hochauflösender Globuskarten
erfolgt mit Rendering-Werkzeugen wie
POVRay und Blender.
Beispiel: Simulierte Wellenhöhen des 2011
Tohoku-Tsunami (Daten: A.Babeyko, GFZ)
Beispiel: hochauflösende
Globuskarten
13. Beispiel: Animation von Globuskarten
Beispiel: Wellenhöhenmaxima des
Tohoku 2011 Tsunami aus vier
separaten Kamerapositionen
Bis zu gerenderte 750 Einzelbilder pro
Globuskarten-Animation.
4 * 750 = 3000 Rendering-Jobs
Mehrere Iterationen zur Optimierung der
Darstellung nötig.
•
Lineare Verarbeitung: ~ 1 Woche
•
Parallele Verarbeitung: << 0.5 Tag
14. Creating an animation using a large number of high-resolution globe-maps
renderings takes up a significant amount of computation time.
Animation von Globuskarten
15. Nächste Schritte: GIS Management
IT Service Management gemäß der IT
Infrastructure Library (ITIL) für den nachhaltigen
Betrieb
Software as a Service: Mehrwert für den
wissenschaftlichen Anwender schaffen – und langfristig
bereitstellen.
Strategie zur Erweiterung von Service
Katalog/Portfolio um weitere GIS-Software.
Service Transition: Sicherstellung der Verfügbarkeit
auch bei Erweiterungsmaßnahmen.
Betrieb: „GFZ Rechenzentrum Service Desk“ als
Ansprechpartner
Kontinuierliche Stärkung & Verbesserung: Stabilität und
Nutzerfreundlichkeit stärken
16. Rolle und Nutzen von FOSS GIS in
TRIDEC zur Frühwarnung vor
Naturkatastrophen.
Kombinierter Einsatz verschiedener Werkzeuge (uDig und
GRASS GIS)
Vertrauen durch Zugriff auf den Quellcode
Schnelle Erweiterbarkeit durch Zugriff auf den Quellcode
Weltweite Weitergabe and Dritte möglich
Nachnutzung in Folgeprojekten bzw. der Industrie als
Mehrwert für die Gesellschaft.
17. Vielen Dank für die Aufmerksamkeit !
Kontakt: ploewe@gfz-potsdam.de