FDS: Numerische Optimierung und Kooperation

FDS: Numerische Optimierung
und Kooperationen
• Porträt der FDS-Usergroup
• Optimierte Parallelisierungskonzepte
für den FDS-Drucklöser
• Zukunft der parallelen Anwendung

Dr.-Ing. Christoph Klinzmann
Dr. rer. nat. Susanne Kilian
hhpberlin Ingenieure für Brandschutz GmbH

1

Inhalt
• Porträt der deutschsprachigen FDS-Usergroup
- Zielsetzungen
- Aktivitäten
- Kooperationen
• Optimierte Parallelisierungskonzepte für den FDS-Drucklöser
- Motivation und Problembeschreibung
- FFT versus ScaRC
• Numerische Vergleichsrechnungen
- Durchströmung eines 2D-Kanals
- Einströmung in einen 3D-Kubus
• Bewertung und Ausblick
- Diskussion der Testreihen
- Zukunft der parallelen Anwendung: FDS in the Cloud

Inhalt
• Porträt der deutschsprachigen FDS-Usergroup
- Zielsetzungen
- Aktivitäten
- Kooperationen
• Optimierte Parallelisierungskonzepte für den FDS-Drucklöser
- Motivation und Problembeschreibung
- FFT versus ScaRC
• Numerische Vergleichsrechnungen
- Durchströmung eines 2D-Kanals
- Einströmung in einen 3D-Kubus
• Bewertung und Ausblick
- Diskussion der Testreihen
- FDS in the Cloud

Porträt der deutschsprachigen FDS-Usergroup:
Zielsetzungen

• Aufbau eines internationalen Kontakt- und Kooperationsnetzwerks:
- Austausch von Informationen, Erfahrungen und Fragen

• Koordination der FDS-Aktivitäten im deutschsprachigen Raum:
- gemeinsame Identifikation des weiteren Forschungsbedarfs

• Regelmäßige Organisation von Anwendertreffen und Workshops:
- Pflege persönlicher Kontakte und Bereitstellung neuester Erkenntnisse

• Regelmäßiger Kontakt zu den FDS-Hauptentwicklern:
- aktive Mitgestaltung bei der weiteren FDS-Entwicklung

Aktivitäten

• Durchführung regelmäßiger Treffen:
- bislang vier große Anwendertreffen seit 2008
- „Roundtable Discussion“ mit den FDS-Hauptentwicklern im Juni 2010
- zwei Workshops und fortlaufende Regionaltreffen der Arbeitsgruppe NRW

• breites Spektrum an Themen:
- Anwendungsbeispiele aus der täglichen Praxis
- Parameterstudien zu unterschiedlichen Aspekten von FDS
- Präsentationen zur Integration neuer Methoden, z.B. zur Berechnung des
Wärmeübergangs in Bauteile, der Verifikation und der Parallelisierung

Kooperationen

• Vernetzung der Mitglieder untereinander:
- Austausch bzgl. gemeinsamer Forschungsinteressen
- Einrichtung themenorientierter Arbeitskreise:
z.B.: gemeinsame Erarbeitung qualitätssichernder Kriterien bei der
Anwendung von FDS (FDS-Leitfaden)

• Vernetzung mit Hauptentwicklern:
- unbürokratische Kommunikationswege durch persönlichen Kontakt
- regelmäßiger Austausch zur FDS-Weiterentwicklung

Parallele Lösung der FDS-Druckgleichung:
Motivation und Problembeschreibung

Fragen:

• Warum ist der FDS-Drucklöser so wichtig?

• Welche Probleme bestehen im Multi-Mesh-Fall?

• Warum ist die Parallelisierung des FDS-Drucklösers so schwierig?

Die effiziente Parallelisierung der FDS-Druckgleichung ist
noch immer eine große Herausforderung !

email@hhpberlin.de Ingenieure für Brandschutz GmbH
www.hhpberlin.com Hauptsitz:
Rotherstraße 19, 10245 Berlin

FDS-Druckgleichung:

Elliptische partielle Differentialgleichung vom Poisson-Typ

starke globale Kopplung wegen hoher Ausbreitungsgeschwindigkeit

• lokale Informationen breiten sich unmittelbar im ganzen Gebiet aus
• lokale Effekte oder Störungen beeinflussen die gesamte Lösung

paralleler Löser muss dieses Verhalten bestmöglich reproduzieren !


2D-Pipe mit neuer Rand-Information von links:

Zeitpunkt t
neue Rand-Information
von linker Gebietsseite

Wie sieht das reale physikalische Verhalten aus ?


2D-Pipe mit Rand-Information von links:

Zeitpunkt t + ∆t
Rand-Information breitet
sich unmittelbar übers ganze
Gebiet aus !

Im Fall von nur einem Mesh besteht keine Zeitverzögerung bei der
Informationsweitergabe, der parallele FDS-Löser muss dieses physikalische
Verhalten jedoch nachahmen! email@hhpberlin.de Ingenieure für Brandschutz GmbH

Diskretisierung in FDS
Beispiel: Single-Mesh-Fall:

globale FFT
(Fast-Fourier Transformation) 1 lineares Gleichungssystem:

m=1

Globale Finite-Differenzen-Diskretisierung:


Diskretisierung in FDS
Beispiel: Gebietszerlegung in 4 Meshes:

4 lineare Gleichungssysteme:

m = 1,..., 4

Lokale Finite-Differenzen-Diskretisierungen:
(m) (m) (m) (m) (m) (m)
email@hhpberlin.de
, m = 1,...,4
Ingenieure für Brandschutz GmbH

Standard FFT-Drucklöser
Beispiel: Gebietszerlegung in 4 Meshes:

lokale
FFT 4 lokale FFT‘s
lokale
FFT + lokaler Datenaustausch

lokale keine globale Kopplung !!
FFT
lokale
FFT

• unabhängige FFT-Verfahren auf allen Teilgebieten
• lokale Kopplung entlang innerer Ränder durch Kommunikation

1. Zyklus der lokalen FFT-Löser:

• Einström-Information wird nur
3 über Mesh 1 verteilt
4
• Information wird innerhalb eines
Kommunikationszyklus auf den
2 linken Rand von Mesh 2
kommuniziert, Mesh 3 und Mesh
1
4 erhalten noch keine Information

fehlerhafte Einströmdaten für Mesh 2, die nur näherungsweise der globalen
Rechnung entsprechen


• Einström-Information wird auch
4
• Information wird auf den linken
Rand von Mesh 3 kommuniziert
2
1



• Einström-Information wird auch
4
• Information wird auf den linken
Rand von Mesh 4 kommuniziert
2
1



• Einström-Information erreicht
3 schließlich Ausflussrand
4
• benötigt 4 Zyklen im Gegensatz
zu 1 Zyklus im Single-Mesh Fall
2
1 • Verzögerungen bei der
Informationsweitergabe führen zu
Abweichungen im Vergleich zum
Single-Mesh Fall
• kein globaler Zusammenhang
• unphysikalischer Datentransport

Vorteile:
• effizient, robust und sehr performant im Single-Mesh-Fall
• seit Jahren erfolgreich angewendet

Nachteile:
• nicht zuverlässig im Multi-Mesh-Fall
• schwierig zu parallelisieren

Abhilfe: Neue FDS-Drucklöser FFT Iterationsschema (FFTI), ScaRC

FDS-Drucklöser - FFT-Iterationsschema (FFTI)
Iteration
FFT
FFT 4 lokale FFT‘s
+ lokaler Datenaustausch
FFT FFT +
+ Grobgitterproblem

mäßige globale Kopplung

• Einbettung der lokalen FFT-Verfahren in übergreifende Iteration plus
Kopplung mit globalem Grobgitterproblem für gebietsübergreifende Effekte
• Abbruchkriterium: Differenz der Normalkomponenten der Geschwindig-
keiten entlang innerer Ränder kleiner als vorgegebene Toleranz ‘tol’:
z.B.: &PRES VELOCITY_TOLERANCE=0.01 email@hhpberlin.de Ingenieure für Brandschutz GmbH
Hauptsitz:
www.hhpberlin.com

FDS-Drucklöser FFT-Iterationsschema (FFTI)
Vorteile:
• häufig geringere Abweichungen von serieller Lösung
• tatsächlich Verbesserung der Skalierbarkeit

Nachteile:
• optimaler Wert der Toleranz ‘tol’ nicht a-priori vorhersehbar
• grundsätzlich sehr langsame Konvergenz
• Toleranzen < 10(-3) je nach Gitterweite häufig selbst nach tausenden von
Iterationen nicht erreichbar !!

FDS-Drucklöser: Scalable Recursive Clustering (ScaRC)
Iteration

Gitterlevel 1 1 globales Mehrgitter
(inkl. Gitterhierarchie)
+ lokaler Datenaustausch
Gitterlevel 2 + Grobgitterproblem
• Interpolation zwischen den
Gitterlevels
• geringerer Rechenaufwand
Gitterlevel 3
auf schrittweise gröberen
Gittern, dadurch Ver-
besserung des globalen
Datenflusses
Grobgitter
starke globale Kopplung


Scalable Recursive Clustering (ScaRC)

Vorteile:
• deutliche Verbesserungen bzgl.
- der globalen physikalischen Kopplung
- der Skalierbarkeit auf hohe Prozessorzahlen
• punktweises Setzen von Randbedingungen möglich (je Zelle statt je Mesh)
• Verwendung adaptiver Gitterverfeinerungskonzepte möglich
Nachteile:
• unter Umständen höhere Laufzeit als FFT
(aber: bisher noch NICHT laufzeitoptimiert!)


Numerische Testreihen:
Vergleich von FFT(I) versus ScaRC
• FFT :
Standard Multi-Mesh FFT-Löser (lokale Kommunikation)

-n
• FFTI, tol = 10 , n=1,...,4 :
Multi-Mesh FFT-Löser mit vorgegebener Toleranz für die inneren
Geschwindigkeitskomponenten (lokale + globale Kommunikation),

• ScaRC :
neuer Mehrgitterlöser mit Gitterhierarchie (lokale + globale Kommunikation)


Vergleich von FFT(I) versus ScaRC
Fragen:
• Wie konsistent sind die Multi-Mesh-Varianten zum Single-Mesh-Fall?
• Wie ist Skalierbarkeit auf hohe Meshanzahlen?

Nachweisführung:
• Vergleich der relevanten Multi-Mesh-Größen
- falls vorhanden mit der analytischen Lösung,
- falls nicht vorhanden alternativ mit dem entsprechenden Single-Mesh-Fall


Durchströmung eines 2D-Kanals

• Unterteilung in N = 2, 4, 8 und 16 Teilgebiete
• Berechnung der Druckdifferenz:

Durchströmung eines 2D-Kanals

Analytische Lösung:

Analytische Druckdifferenz für konstante Einströmung:

Vergleich der numerisch ermittelten Druckdifferenz mit der analytischen
Druckdifferenz


Durchströmung eines 2D-Kanals, Standard-FFT

keine Konsistenz

(geringe Rechenzeit)

• Single-Mesh-FFT entspricht perfekt der analytischen Lösung!
• aber erhebliche Unterschiede zwischen Single- und Multi-Mesh-FFT
• Verschlechterung für wachsende Meshanzahl Ingenieure für Brandschutz GmbH
email@hhpberlin.de

-1
Durchströmung eines 2D-Kanals, FFTI, tol=10

keine Konsistenz

#FFTI-Iterationen pro Zeitschritt:
2
(geringe Rechenzeit)

-1
• keine Verbesserung für FFTI, tol=10 , gegenüber Standard-FFT
• Verschlechterung für wachsende Meshanzahl

-2

keine Konsistenz

2 bis 115
(erkennbarer Anstieg der Rechenzeit)

• immer noch keine nennenswerte Verbesserung für FFTI, tol=10 -2


-3

nur mäßige Konsistenz

2 bis 398
(deutlicher Anstieg der Rechenzeit)

-3
• erkennbare Verbesserung für FFTI, tol=10
• mit der Simulationsdauer und Meshanzahl wachsende Inkonsistenzen

-4

verbesserte Konsistenz

2 bis 577
(erheblicher Anstieg der Rechenzeit)

-4
• deutliche Verbesserung für FFTI, tol=10
• aber immer noch keine Übereinstimmung!!

Durchströmung eines 2D-Kanals, ScaRC

volle Konsistenz

#ScaRC-Iterationen pro Zeitschritt:
durchschnittlich 10
(Rechenzeit etwa vergleichbar mit
-2
FFTI, tol=10 )

• völlige Übereinstimmung unabhängig von Gebietszerlegung
• dauerhafte Konsistenz auch für noch höhere Meshanzahl

Einströmung in einen 3D-Kubus
Einströmung von links, unten, vorne Velocity-Slice durch Gebietsmitte
(Vorderansicht)

• Einströmgeschwindigkeit VEL = 2.0 m/s
• Endzeitpunkt T = 1.8 s
• Unterteilung in N = 64, 128 und 512 Meshes

Einströmung in einen 3D-Kubus
64 Meshes (4x4x4) 128 Meshes (8x4x4) 512 Meshes (8x8x8)

• keine analytische Lösung vorhanden
• Abgleich aller Multi-Mesh-Druckverläufe mit dem Single-Mesh-
Druckverlauf im Gebietsmittelpunkt email@hhpberlin.de Ingenieure für Brandschutz GmbH

Einströmung in einen 3D-Kubus, Standard-FFT

die Multi-Mesh-Fälle können
bestenfalls so gut sein wie
der Single-Mesh-Fall !!!

Referenzkurve, die vom parallelen Löser reproduziert werden muss


Einströmung in einen 3D-Kubus, Standard-FFT

nur sehr mäßige
Konsistenz

• geringe Übereinstimmung der Multi-Mesh-Fälle mit dem Single-Mesh-Fall
• Druckverlauf wird im Multi-Mesh-Fall offenbar unterschätzt

-1
Einströmung in einen 3D-Kubus, FFTI, tol=10

nur mäßige
Konsistenz

• leichte Verbesserung gegenüber dem Standard-FFT-Fall

-2

deutlich verbesserte
Konsistenz

• deutliche Annäherung der Verläufe
• dennoch erkennbare Verschlechterung für wachsende Meshanzahl

-3

wieder schlechtere
Konsistenz trotz
feinerer Toleranz !

• wieder schlechtere Übereinstimmung
• insbesondere für hohe Meshanzahl wachsende Inkonsistenz
• Druckverläufe werden offenbar überschätzt

-4

noch schlechtere
Konsistenz trotz
feinerer Toleranz !

• erneut deutlich schlechtere Übereinstimmung
• insbesondere für hohe Meshanzahl wachsende Inkonsistenz
• Druckverläufe werden offenbar überschätzt

Einströmung in einen 3D-Kubus, ScaRC

nahezu vollständige
Konsistenz

• nahezu gleicher Verlauf unabhängig von Gebietszerlegung
• automatisch Rundungsfehlergenauigkeit 10 an inneren Rändern
-16


Bewertung und Ausblick:
Vor- und Nachteile FFT(I)

• Single-Mesh-FFT:
- bildet realen physikalischen Verlauf im 1-D Problem sehr gut ab

• Multi-Mesh-FFT:
- Aufbrechen des physikalischen Zusammenhangs (nur lokale Kopplung)
- unzureichende Skalierbarkeit auf hohe Meshanzahlen

• Multi-Mesh-FFTI:
- bessere globale Kopplung/Skalierbarkeit als standardmäßige Multi-Mesh-FFT
- dennoch keine völlige Konsistenz mit dem Single-Mesh-Fall
- optimale Toleranzen für FFTI a-priori schwierig zu bestimmen

Weiterer Entwicklungsbedarf !

Vorteile von ScaRC

• liefert deutlich verbesserte Genauigkeit und Skalierbarkeit auf hohe
Meshanzahlen
• arbeitet datenparallel, d.h. erzeugt im Multi-Mesh-Fall dieselbe Lösung wie im
entsprechenden Single-Mesh-Fall (sofern die Eingabedaten konsistent sind!)
• ermöglicht die Behandlung von nicht-äquidistanten bzw. adaptiven Gittern
• erlaubt das punktweise Setzen von Randbedingungen (im Gegensatz dazu
kann beim FFT-Löser nur eine einzige Randbedingung pro Fläche, d.h. dem
Rand eines Meshes, gesetzt werden)

die Hauptentwickler wollen ScaRC als optionalen Drucklöser in die
kommende Version FDS 6 integrieren


Bisherige Nachteile von ScaRC

• bisher noch nicht Laufzeit-optimiert
• aktuell noch um Faktor 2 bis 3 höhere Laufzeit als das Standard FFT-
Verfahren (für einen numerisch fairen Vergleich muss jedoch mit dem
langsameren FFTI-Verfahren verglichen werden, da Standard-FFT im Multi-
Mesh-Fall keine konsistenten Resultate liefert !!)
• für einige Testfälle auch bei ScaRC noch leichte Inkonsistenzen zwischen
einigen Multi-Mesh- und entsprechenden Single-Mesh-Fällen erkennbar
• in Zusammenarbeit mit den Hauptentwicklern wurde bereits identifziert, dass
der ‘umliegende Code’ leicht unterschiedliche Eingabedaten für Single-Mesh
und Multi-Mesh-Fälle produziert (außerhalb von ScaRC!)

weitere Tests und Optimierungen erforderlich


Aktuelle und geplante Arbeiten

• umfangreiche Konsistenzchecks in den umliegenden Routinen in Kooperation
mit den Hauptentwicklern beim NIST
• umfangreiche Verifikationstests für verschiedene Geometrien in Kooperation
mit Matthias Münch, INURI GmbH
• verschiedene Vergröberungstechniken für die Gitterhierarchien von ScaRC auf
Basis von algebraischen Mehrgitterverfahren
• Austesten der Anwendbarkeit auf komplexe Geometrien
• Integration von Adaptivitätskonzepten (ab 2012)
• Laufzeitoptimierung (ab Herbst 2011)
• Nutzung von Cloud-Computing


FDS in the Cloud

• Mit der Implementation von ScaRC in FDS6 wird es möglich, numerische
Simulationen auf mehr CPUs als bislang aufzuteilen
Der Laufzeitnachteil von ScaRC kann kompensiert werden
• Zusätzlich können mit großen CPU-Anzahlen die Meshauflösung weiter
verringert werden oder eine größere Zahl an Varianten gleichzeitig berechnet
werden
• Betrieb von eigenen Clustersystemen
mittel/ langfristig ineffizient
• hhpberlin arbeitet eng mit Microsoft
zusammen, um mit Verfügbarkeit
von FDS6 / ScaRC Rechnungen
in der Cloud (verteilten Clustersystemen)
zu ermöglichen www.hhpberlin.com Hauptsitz:

FDS in the Cloud
Beispiel: automatisierte Kontrolle
• Das Rechnen auf entfernten und verteilten Rechnern erfordert vorab die Lösung
vielfältiger Fragestellungen
- Überwachung / Kontrolle der Berechnungen
Smokeview über das Internet?
vorgegebene HRR
- Latenz zwischen den Rechenknoten wird bei steigender CPU-Anzahl immer
simulierte HRR
wichtiger
- Die CPU-Geschwindigkeit pro Kern ist bei aktuell verfügbaren Angeboten noch
gering
- Wie erfolgt der Zugriff der einzelnen Instanzen (CPUs) auf gemeinsame
Daten, wie kann von außen der Zugriff ermöglicht und kontrolliert werden


Kontaktinformationen
hhpberlin Ingenieure für Brandschutz GmbH

Rotherstraße 19 Geschäftsführer:
10245 Berlin Dipl.-Ing. Margot Ehrlicher Amtsgericht
Dipl.-Inf. BW (VWA) Stefan Truthän Berlin Charlottenburg
Rosental 5 Dipl.-Ing. Karsten Foth HRB 78 927
80331 München
Prokurist: Deutsche Bank P+G AG
Kurze Mühren 20 Dipl.-Ing. Harald Niemöller BLZ 100 700 24
20095 Hamburg Konto-Nr. 1419100
Beirat: IBAN-Nr. DE52100700240141910000
Wilhelm-Leuschner-Straße 41 Prof. Dr.-Ing. Dietmar Hosser Swift-Code: DEUTDEDBBER
60329 Frankfurt am Main Dr.-Ing. Karl-Heinz Schubert Ust-IdNr. DE217656065

Frankfurter Straße 2 email@hhpberlin.de Phone: +49 (30) 89 59 55 0
38122 Braunschweig www.hhpberlin.de Fax: +49 (30) 89 59 55 9 101

51

Scalable Recursive Clustering (ScaRC)

Verwendung (lokal) adaptiver Gitterverfeinerungskonzepte möglich:

• lokale Verfeinerung von Bereichen mit hoher Variation der Daten
• AMR-Methode („adaptive mesh refinement“)

FDS: Numerische Optimierung und Kooperation

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Más de hhpberlin

Más de hhpberlin (20)

FDS: Numerische Optimierung und Kooperation