Presentation von Benno Häfliger, Director Digital Enterprise bei Netcetera, zur HoloLens in der Neurochirurgie am "IAMCP Future Trends ICT" Event im September 2018. Weitere Anwendungsfälle für Augmented Reality, wie Wartung oder Museum.

1. Make the invisible visible
AR / MR … auch im Spital?

2. Agenda
Einführung AR/MR und CUI
Was trauen Sie AR zu? Die Ärzte sehr viel!
Fragen und Antworten

3. VR : Virtual Reality
Rein virtuelle 3D Welt
Beschränkter Bewegungsraum
Selten interaktiv mit Personen
Für Game / Entertainment

4. AR : Augmented Reality
Echte Welt erweitern mit digitalen Inhalten
Bezug und Erkennung der Aussenwelt
Frei in der Bewegung
Beispiel: IKEA App, Pokémon GO

5. MR : HoloLens
Mixed Reality Datenbrille von Microsoft
Völlig autonomer Computer
Windows 10, WLAN
1 Tiefenkamera
4 Umgebungskameras
4 Mikrofone
2 Lautsprecher
3’500 CHF

6. SprachbefehleBlick Gesten
Räumlicher Sound KoordinatenRaum Erkennung
MR : HoloLens

7. Aktuelle Geräte VR – AR – MR - xR
7

8. Jeder ist sich gewohnt mittels Sprache zu
kommunizieren, Anweisungen zu geben, etc.
Starke Verbesserung der Spracherkennung in
den letzten 1-2 Jahren
An der Sprache kann man den Sprecher
erkennen (Identifikation)
Das gesprochene Wort kann direkt in
geschriebenen Text “übersetzt” werden
Das alles gibts jetzt auch in Schwizerdütsch und
die Daten bleiben in der Schweiz
Conversational User Interface (CUI)

9. Was trauen Sie AR/MR zu?
9

10. MR : invisible-2-visible - Verkehrshaus Luzern
Vereint Stärken von VR und AR
Volles 3D Erlebnis
Sehr gute Raumerkennung
Hoher Bezug zur Aussenwelt
Echte Welt mit 3D Objekten
im Raum erweitern

11. Verkehrshaus Luzern : Visualisierung
Quelle: https://www.augmentit.ch/

12. MR : invisible-2-visible – Bühler Uzwil

13. MR : invisible-2-visible – BF Bern, KAPO Bern
Frei in Zeit und Raum
“Echtes” Erleben dank …
Datenvisualisierung im Kontext ..
.. ohne Tastatur oder Maus
Beispiel: Architektur, Forensik,
Feuerwehr, etc.

14. MR : invisible-2-visible - Medizinische Schulung
Schulung und Ausbildung
Unterstützung bei Analyse
Einsatz in der Diagnostik
– Kollaboration in neuen Dimensionen
Ergänzung bei Operationen
– Endoskopie, «Röntgenblick», etc.
Beratung der Patienten
– Aufzeigen von Eingriffen, etc.
– Postoperative Informationen
Referenz: https://www.youtube.com/watch?v=dWf7oEwZKbs

16. MR : invisible-2-visible - Neurologie
16

17. Neurologie: Automatisierter Ablauf vom CT Scan zu MR
CT / MRI
Scan
3D Model
Reconstruction
Automatic
Segmentation
Hololens
Optimisation
Server

18. Neurologie: Was – Wie – Warum - Next
Was
– OP-Vorbereitung mit dem Team
Wie
– Pipeline funktioniert «medienbruchfrei» und schnell. Innerhalb 3-5 Minuten -> vorher 3D Prints
oder manuelle Aufbereitung
Warum
– Fehlerreduktion in der Planung der Operation (Simulation)
– NICHT während der OP
– Brainlab oder Stryker sind System die Millionen kosten in Anschaffung und Unterhalt
– Nutzen schon sehr hoch für diese 3-5 Minuten

19. Neurologie: Was – Wie – Warum - Next
Next
– Challenges
– Regulierung, Zertifizierung der Lösung
– Genauigkeit der Überlagerung. Ist aktuell in Prüfung (Studie an Inselspital Bern)
– Switch von Hololens zu Magic Leap!?
– Höhere Genauigkeit
– Bessere Performance (grosse Datensätze)
– Besseres Sichtfeld / Darstellung
– ‘Nebenprodukt’ Pablo.io
– Patientenkommunikation mittels verständlicher Darstellung des «Problems» (Tumor-, Knie-OP)
– Besseres Verständnis / Bessere Heilungschancen

20. 20
Making the Invisible Visible @ Leading Neurosurgery Clinic
Healthcare
Made with ♥ for HoloLens & ARKit

21. Die Veränderungen
kommen schneller als man
denkt

22. 2005 2013
Quelle: http://www.businessinsider.com/vatican-square-2005-and-2013-2013-3?IR=T
wie weiter - Diskussion