VR and AR User Experience Design

VR / AR UX
User Experience Design
Joerg Osarek
IT-avantgardist, Business-IT-Architect
Skilltower Institute

© Skilltower Institute, 20172
User Experience Design in für Virtual- & Augmented Reality
▪ About me
▪ Great Power, Great Responsibility
▪ The Killer App of The 3 waves: VR/AR/USEMIR or the AR Cloud
▪ Examples of new, natural user interfaces
▪ Rules and tips
▪ More Examples
▪ Get Practice! Demo Time
Alien ships created by GordonsArca.de

About me

Inaltlich gut.
Langweilig vorgetragen!
http://training.vr.skilltower.com

5
how to wake the superhero inside you
"It seems that I've been living two
lifes.
One life, I am an IT consultant
for a respectable software
company.
I have a social security number,
pay my taxes and I ...
... am sent by my wife to carry
out the garbage.
The other life is lived in my
Gordon Cave where I go by the
alias Chuck Ian Gordon trying to
help mankind qualify for the 22nd
century. "

Hintergrund:
 Science Fiction Autor
 Cinematic VR
 Virtual Reality Analytics
 VR/AR Business
 Immersive Technology Alliance (ITA3D.com)
 Mitgründer VR Meetup Frankfurt
 Management
 IT-avant-garde
 VMware, Oracle, Linux
 Mitgründer:
www.its-people.de

You need Theory and Practice: 1. Try
Connecting VR/AR to Enterprise Systems

www.Alex-Astronaut.com
You need Theory and Practice: 2. Build

You need Theory and Practice:
3. Evangelize and Train

Customer
VR Business
Hands On Event
and Presentation

Great Power
Great Responsibility

Virtual Reality: Die Macht der Immersion – des Eintauchens
VR zieht harte Jungs in ihren Bann, wie kein anderes Medium.
Die Reaktionen reichen
von Entzücken bis zu blankem Horror.
Selbst ausprobieren, z.B. mit Google Cardboard
oder unser VR Meetup in Frankfurt besuchen.
RollercoasterFreakout: https://youtu.be/Odax7F3tWhM
Samsung VR Scare: https://youtu.be/_35pwjUMJUc
03
04
Video 1: 02:30- 03:56

Was bewirkt VR/AR
01.11.2017© its-people.de13
Der direkte
Draht ins
Gehirn!
(Instinkte,
Fight or
Flight
Response)

The Killer App of
The 3 waves:
VR / AR / USEMIR
(or the AR Cloud / platform)

What is the killer App of the
WWW? And of GUIs?

What is the killer App of the
WWW? And of GUIs?
It is the platform!

Level up!
Unsere User Experience ist in der Zukunft:
USEMIR
Ubiquitious SEnsory MIxed Reality

The AR-Cloud: The next User Interface Layer
www.skilltower.com

Examples of
new, natural
user interfaces
Video 1: 04:00-Ende

2USEMIR: VR / AR UX Beispiele natürlicher Interfaces
05
UI = Sand + Beamer + Tiefen-Sensor
https://youtu.be/9V-hr_88238

VR / AR UX Beispiele natürlicher Interfaces
04
https://www.youtube.com/watch?v=zxM4vN_4jJY
AR Screen hackathon project
Bilder: https://www.leapmotion.com/
Zwei Bilder links:
eigene Aufnahmen
immersed europe
2015, Murcia, Spain
links: leap motion
unten: Glove1
glove1vr.com
(new: Avatar VR)

2USEMIR: Malen in VR - Glen Keane nutzt Google Tiltbrush
06
https://www.youtube.com/watch?v=GSbkn6mCfXE

2USEMIR: Die nächste
Generation mobiler Geräte
 Google gründete eine VR Unit
+ Google Cardboard
+ Google Jump / Daydream
+ YouTube VR / Spotlight Stories
+ ca.1.4 Milliarden Investment in
MagicLeap 2014, 2015 Google + andere
+ autonome Autos
 Apple gründete VR Unit
+ kaufte primesens
+ kaufte faceshift
+ stellte Doug Bowman ein
+ Pläne für autonome Autos
Bildquelle: Project Tango website, Google.com

Deepframe: Realtime Mixed Reality from RealFiction
Images: Presskit from:
https://www.realfiction.com/solutions/mixed-reality/deepframe
Video: https://www.youtube.com/watch?v=ShfGydxB5D8

2USEMIR: Real-Eyes Lichtfeld-Display ohne Headset/Brille
08
www.real-eyes.eu – eigene Aufnahmen.
In Trainings-Video eingebettet.

www.real-eyes.eu – eigene Aufnahmen.
In Trainings-Video eingebettet.
11 Stereo-Aufnahmen
mit Fotogrammetrie
in ein 3D-Modell
zurückverwandelt.
2USEMIR: Real-Eyes Lichtfeld-Display ohne Headset/Brille
09

Volumetric Video: Light Field Camera from Raytrix, Kiel
https://www.kapilendo.de/projekte/45c09e0f-7598-43d0-a05e-7f78627d740f#
www.raytrix.de

2USEMIR: Fairy Lights – interaktives holographisches Plasma
(SIGGRAPH) 06.2015
http://digitalnature.slis.tsukuba.ac.jp/2015/06/fairy-lights-in-femtoseconds/
https://www.youtube.com/watch?v=AoWi10YVmfE
Large Plasma Holograms: https://www.youtube.com/watch?v=KfVS-npfVuY
10

VR/AR Analytics
Images: www.retinad.io , cognitivevr.co + own VR Analytics prototype
Robert Merki, CognitiveVR:
We also provide users with a
multitude of pre-built analytics calls.
These include algorithms for
detecting comfort,
controller/HMD occlsion,
VR performance,
and even arm length of users.
Robert Merki from cognitiveVR.co (Canada) holding my book – Selfie Image from Robert Sept.19th.2016

www.affectiva.com
Emotion based Gaming
and Emotion Analytics
Emotion Analytics with PC webcam or Smartphone

USEMIR++ :
Aktuelle Trends 2017
AI based Man-Machine-Voice-
Interaction:
• Amazon Echo (aka Alexa), Google
Home, Apple (Siri-Box)…?, MS
Cortona

Komponenten zukünftig erfolgreicher (Business)-Systeme
= Die Digitalisierung
▪ Kopplung Immersiver und klassischer Systeme
(VR/AR/USEMIR)
▪ Gesten- und Sprachsteuerung (natürlich)
▪ Behavioural Analytics
▪ AI-Komponenten, die Teilaufgaben übernehmen
+ klassisch programmierte Komponenten
▪ Automatisierung
▪ Flexible Neu-Kombination aufgrund Split-Tests,
empirischer Vergleiche, (self optimizing)

Rules and
Tips

VR / AR UX – Grundlagen
ISO 9241210
+ Phantasie
+ Immersion
 UX umfasst jedoch tatsächlich jegliche,
auch nichtdigitale Produktinteraktion.
 Vitruv → erster Architekt und Designer:
Firmitas (Festigkeit),
Utilitas (Nützlichkeit, Usability),
Venustas (Schönheit)
 Die EN ISO 9241 gilt nach EURechtsprechung auch als
Standard zur Bewertung der Forderung nach
Benutzerfreundlichkeit aus der
Bildschirmarbeitsverordnung (BildscharbV).
 User Experience wird auch in der
ISO 9241210 beschrieben.
.

Interaktivität und passives Konsumieren
 FMX 2015: Storytelling in VR
 FMX 2016: Bauen von Welten, damit der
Nutzer entdecken, entscheiden, interagieren kann.
"Immersive storytelling: ERZÄHLEN ist das tote Wort.
Es geht darum, eine ERFAHRUNG (Experience) zu erschaffen,
nicht eine Geschichte zu erzählen."
Andrew Cochrane, Mirada Studios, FMX 2016
Low poly planet von GordonsArca.de für das Alex Astronaut ABC

UX Beispiele
aus dem
echten Leben

UX Beispiele aus dem echten Leben
Wie erschafft
man hier eine
positive
User Experience?

Wie erschafft
man hier eine
positive
User Experience?
Eine Gruppe Künstler hat in
Gaza-Stadt zahlreiche Wände,
Türschwellen und Fassaden
angemalt. Dieser Junge sitzt
auf einer Mauer, auf die ein
Elefant gemalt wurde.
Quelle: 23.12.2015,
https://www.tagesschau.de/multimedia/bilder/blick
punkte-1593.html | Bild: Eigene Zeichnung auf
Basis des Tagesschau-Fotos

Die UX entsteht
im Kopf
des Erfahrenden!
Wie erschafft
man hier eine
positive
User Experience?

Die wichtigsten Erfolgsfaktoren für gute VR/AR-UX
▪ Content / Experience
▪ Presence
▪ Agency

Die wichtigsten Erfolgsfaktoren für gute VR/AR-UX
▪ Content / Experience
▪ Presence
▪ Agency
Voice
AI
bidirectional
Physics
Sync many
VR-RR-
connections
Latency
VR/AR/
Emotion
Analytics

www.skilltower.com
Success factors for profitable VR/AR Business
Balance those aspects:
- Wow Effect vanishes! VR/AR -> productivity tool
- Provide attractive “State of the Art” continuously
- Every VR/AR application at it’s place (cost-benefit-
analysis). Some/many things will better be kept
traditionally. Others will give you huge leverages.
Story: engaging, absorbing, use surprises.
Latency (90+fps), Parallax (Presence)
reaction of the virtual world, interactivity
(Agency)
compelling (360° vs. Realtime Game Engine)
Must estimate with changes in Architecture from
the beginning. VR/AR are moving targets right
now.
Strategy:
- lose coupling of systems
- Intermediate tiers
- Short periods for small projects
- Enhancing your business model
- Bidirectional real time exchange with your
enterprise systems
- Automation e.g.:
- VR/AR Analytics <-> Data Warehouse <-> CRM
Presence
Agency
Valueproposition
Cost effectiveness, sustainability
Con-
tent
$

Storyboards in VR – wie zeichnet man Immersion?
Option A: Action basiert
Gordon's Arcade: VRiminalZ VR Storyboard Testrender
Persönlicher Raum: betrifft den
Zuschauer, kann interaktiv sein. So
weit wie die Hände reichen, ohne
seine Füße zu bewegen.
Action Raum: Außerhalb der
Reichweiter des Zuschauers. Raum,
in dem die Geschichte spielt.
Kulisse: Raum außerhalb
der Geschichte.
Umgebung, Tageszeit,
Hintergrund.

VR UX Leitlinien – www.twentyMilliSeconds.com
 John Carmack's Latency Mitigation Strategies
 Touch Typing Survey
 Recenter the HMD Before Starting Your Application
 Conducting User Tests With an Oculus Rift
 Virtual Reality is an Advertiser's Dreamland
 LooktoSelect Interface: Benefits and Drawbacks
 How Lucky's Tale Avoids Making Users Sick
 Here's Why Speakers are an "Evolutionary Dead End" for Virtual
Reality
 Learnings from Unreal Engine Integration & Demos
 Cockpits Work
 Users Lie in VR Usability Tests (when feeling sick)
 Richard Yao Human Visual System & the Rift
 Configuration Options Proliferate
▪ 3D Object Tracking Works
▪ Loading Screens Shouldn't Move With You
▪ UI Ideas For Choosing One From Many Items
▪ Headsets Provide a Large Increase in Addressable Screen Space
▪ Unrealistic Avatars Break Immersion -
BUT! Uncanny Valley VR Effect!
▪ What Oculus Thinks the Rift Experience Looks Like
▪ Porting is Harder Than You Think
▪ What Determines a Good Oculus Share Rating?
▪ Collisions Cause Motion Sickness
▪ Sign up for user testing in San Francisco
▪ Likely User Interface Mistakes in
Coming Years of VR
▪ Decoupling of Aim and Gaze in
Virtual Reality Systems
▪ Measuring Motion Sickness
▪ Constraints of Writing Software for
Full World Simulation

VR UX Leitlinien – Eigene Aufstellung
 (fast) nie den Horizont neigen
 Vorsicht beim Bewegen der Kamera
 Synchronisieren körperlicher
Wahrnehmungen mit der Experience
(vermeidet Übelkeit)
 Führen Sie das Auge (sonar)
 Schneiden=Schließen der Augen
(erhält Agency)
 Geschwindigkeit in VR niedriger.
 Ein Avatar macht einen Unterschied
 Bezugsrahmen helfen (Cockpits)
Field trip to mars:
https://www.youtube.com/watch?
v=a_bSOwFWu-A
VR-Rollercoaster images from: vrcoaster.de

Archäologischer Burgbesuch
erstellt von David Finsterwalder
mit Fotogrammetrie:
www.realities.io - Eigenes Bild,
aufgenommen Immersed
Euroope, Sep.2015 Murcia,
Spanien
Tricks mit Teleportation
und Zeitlupe helfen.
* Bethesda hat diese
Erfahrung mit Doom VR
auch gemacht.
Lerneffekt: Wir alle
müssen versuchen,
testen, lernen, optimieren.* Doom VR Schwierigkeiten gelöst: http://www.ign.com/articles/2016/08/04/quakecon-2016-movement-takes-doom-vr-to-a-new-level
 Vorsicht beim Bewegen der
Kamera
Wahrnehmungen mit der
Experience (vermeidet Übelkeit)
(erhält Agency)
 Ein Avatar macht einen
Unterschied

 Wir führen unsere Zuschauer in eine
vollständig unbekannte Situation.
Onboarding und Offboarding sind sehr
wichtig. Lernen von Freizeit-Parks.
 Viel lernen von User-Reaktionen mit
VR Analytics oder VR Cloud Testing:
www.fishbowlvr.com
 Warten, bis der Nutzer bereit ist – z.B.
den Kopf dreht, bevor die Experience
weitergeht.
 Bei UX VR kommt es auf den Zweck
an. Für einen 1st Person Shooter will
ich eine andere UX als
für Guided Meditation
als für eine Business
Anwendung.
 Vorsicht beim Bewegen der
Kamera
Wahrnehmungen mit der
Experience (vermeidet Übelkeit)
(erhält Agency)
 Ein Avatar macht einen
Unterschied

Sync your
worlds!
the more connections you
have between artificial
and real world the more
intense the user
experience
Chuck Gordon presenting at Live VR MoCap Stage of Metric Minds, Frankfurt

VR/AR UX Leitlinien
Versuchen und
erstellen
Sie selbst
viel
Testen Sie viel
mit vielen
Usern
Analysieren
und lernen Sie
3 goldene Regeln
erstellen
Sie
natürliche
intuitive
Interfaces
Machen Sie
niemanden
krank
Erschrecken
Sie niemanden

More Examples
V02_englishChurch.mp4
V03_MasterPieceVR.mp4
V04_recRoom.mp4

VR / AR UX Zusammenfassung
 Erzeugen Sie natürliche Interfaces. Testen Sie viel
selbst. Wir müssen uns von Web-Designern zu
Umgebungs-Designern entwickeln.
 Erstellen und nutzen Sie Erfahrungen weise.
– Große Macht bedeutet große Verantwortung.
 Wir steuern auf eine USEMIR Welt zu (AR-Cloud).
 Vergessen Sie nicht die echte Welt.
Ab und zu ausschalten und spazieren gehen.

Get Practice!
Demo Time…

Kontakt und weitere Informationen zu VR / AR UX-Design
Skilltower Institute
Jörg Osarek
Gründer und Inhaber
Triftstr. 30
D-61350 Bad Homburg
Germany
mailto:joerg.osarek@skilltower.com
Tel.: +49(0)151-23 0 24 333
www.skilltower.com

Video Referenz-Liste
01 Surfer auf der Straße: https://youtu.be/Oi6Mx38yMTU
02 Ausflippen in Achterbahn: https://youtu.be/Odax7F3tWhM
03 Samsung VR Panik: https://youtu.be/_35pwjUMJUc
03b HTC Vive Bogen: https://youtu.be/yWgbGAx3P-M?t=1m48s
04 AR Screen Hackathon:
https://www.youtube.com/watch?v=zxM4vN_4jJY
04b Kinder reagieren auf Henry:
https://www.youtube.com/watch?v=ROtbyIVvidQ
05 Sandkasten GUI: https://youtu.be/9V-hr_88238
06 Glen Keane malt in VR mit Tiltbrush:
https://www.youtube.com/watch?v=GSbkn6mCfXE
07 Joerg Osarek malt in VR: embedded in Training Video
08 Lichtfeld Display: embedded in Training Video
09 3D Modell aus dem Lichtfeld: embedded in Training Video
10a Fairy Lights interaktives Plasma Hologramm:
https://www.youtube.com/watch?v=AoWi10YVmfE
10b Großes Plasma Hologramm:
https://www.youtube.com/watch?v=KfVS-npfVuY
11 Alex Astronaut ABC Pluto Flyby: https://youtu.be/28_4XBvQfXI
11b North Face Korea Experience:
https://youtu.be/FSfkE4emoBE
11c Merrel Trailscape:
https://www.youtube.com/watch?v=efd6WhPmTyU
12 Special Delivery von Aardman: https://youtu.be/XiDRZfeL_hc

Demo Videos UX-Congress
(all in this playlist:
https://www.youtube.com/watch?v=Zjhue7bwgao&list=PLzHLdZLOon_qC0u
3odmhGtzVUZYJcUsRV )
SteamVR English Church: https://youtu.be/LlGFdLDffhk
RecRoom Session: https://youtu.be/Zjhue7bwgao
MasterpieceVR Session (12min): https://youtu.be/gqQKRrmYUQ4

VR and AR User Experience Design

Recomendados

Recomendados

Más contenido relacionado

Similar a VR and AR User Experience Design

Similar a VR and AR User Experience Design (20)

VR and AR User Experience Design