Design and implementation of a multiplayer game on smartphones that changes difficulty according to the players physiological data.

1. Smartphone Games based on
physiological Data
Masterarbeit, Abschlussvortrag
am 01.11.2011
Katharina Reitz

2. Inhalt
1. Einführung
2. Umsetzung
3. Dateneinbindung
4. Evaluation
5. Ergebnis
6. Ausblick
7. Demo
2 / 30

3. 1. Einführung
• Smartphone-Spiel
• Physiologische Signale
• Biofeedback
• Ziel:
– individuelleres Spielerlebnis
– mehr Spielspaß
• Laborumgebung
3 / 30

4. 1.1 Smartphone
• kleines Display
• „Casual Gamer“
4cm
• Aufmerksamkeit
• Sensoren
• Kontext
18
4 / 30

5. 1.2 Physiologische Maße
• Elektrokardiogramm • Elektrodermale Aktivität
(EKG) (EDA)
– Herzrate (HR) – Reizinduziert
– Herzratenvariabilität (HRV) – Kriterien
EDA [μS]
SCR Amplitude
63% Amplitude
Latenz Erholungszeit
Stimulus
Zeit [s]
Quelle: in Anlehnung an [EKG] Quelle: in Anlehnung an [EDA]
5 / 30

6. 1.3 Vorgehensweise
Konzepte
Spiel
Datenanbindung
Feedback
Vorab-Implementierung Voruntersuchung
Finale Implementierung
V1: mit Biofeedback
V2: ohne Biofeedback
Hauptuntersuchung
6 / 30

7. 2. Umsetzung: Spielkonzept
• leicht zugänglich
• # Spielelemente
• starke Reaktionen
• „Spacewar!“
• Quelle: http://de.wikipedia.org/wiki/Spacewar!
• Action-Weltraum-Multiplayer-Spiel
7 / 30

8. 2.1 Spielaktionen
+
SLOW!
Feuern Schiffstruktur Schildobjekt Spezial-Button
8 / 30

9. 2.2 Spielfeld
9 / 30

10. 2.3 Werkzeuge
• Android (Java)
– quelloffen
– starke Verbreitung
• Engines
– Spiel
– Physik
• Multiplayer-Erweiterung
10/ 30

11. 2.4 Engines
• Andengine
– Basisklassen
– Sprite- und Sound-Verwaltung
• Box2D Quelle: www.andengine.org
– Kollisionserkennung
– Schiffsbewegung
Quelle: www.box2d.org
11 / 30

12. 2.5 Client-Server-Ansatz
Server Client
Touch-Eingabe
Touch auf Spielfeld]
Feuerbefehl Laser
[Touch auf Spezialbutton]
Aktiviere Slow-Mo
Neigungsänderung
Bewege Schiff-Grafik
Erhöhe Trefferpunkte Spieler x
12/ 30

13. 3. Datenanbindung
LAB
Smartphone
Server
Feedback
EDA + EKG Controller
Status Trigger Spiel
EDA
Varioport
EKG
Varioport Proband
13/ 30

14. 3.1 Technik
• Socket-Programmierung
• TCP: Anmeldung Laborserver
• UDP: physiologische Daten
• Datenaustauschformat: JavaScript Object Notation
(JSON)
14/ 30

15. 3.2 Feedback-Loop
Physiologische
Reaktion
Ausgabe Eingabe
(V isuell, Akustisch) (Berührung, Neigung)
System-Reaktion
Quelle: in Anlehnung an [Amb11]
15/ 30

16. 3.3 Spielerzustand
• Statistikwert (SW) = Punkte Spieler / (Punkte Spieler + Punkte Gegner)
• hoher SW = Spieler erfolgreich
• Distress-Engagement-Modell
hoch hoch
a b zu schwierig ok
Distress
HR
c d schwierig zu leicht
niedrig hoch niedrig hoch
Task Engagement Statistikwert
Quelle: [Fai07]
16/ 30

17. 3.4 Adaptive Spielelemente
• 5 Schwierigkeitsstufen
Spielelement Einheit -2 -1 0 1 2
Geschwindigkeit Schiff Impulswert 10 15 20 25 30
Dauer Schildschutz Sekunden 2 4 6 8 10
Aufladezeit Slow-Mo Sekunden 25 20 15 10 5
• Pulsieren der Schiffe
• EDA + EKG + SW = Schwierigkeitsänderung
• Regelsatz
17/ 30

18. 4. Evaluation
• Signaltests
– Ableitungsort EDA
– Vergleichsmessungen EDA
• Voruntersuchung
– 3 Testspiele
– Signalverhalten
• Hauptuntersuchung
– Biofeedback vs. Non-Biofeedback
18/ 30

19. 4.1 Ableitungsort EDA
Phalanx distalis B
A
Phalanx medialis
Phalanx proximalis
Daumenballen C
D Kleinfingerballen
(Thenar)
(Hypothenar)
Handgelenkfurche
F
G E
E
A B
Ellenbogen
C6 C7 C8 Phalanx Phalanx Knöchel
Dermatome distalis proximalis
Quelle: In Anlehnung an [Bou88] des Großzehs Quelle: In Anlehnung an [Bou88]
19/ 30

20. 4.2 Vergleichsmessungen
• Lesen Bewegung Spielen
3.0 3.0
4.2
2.5 2.5
4.0
EDA [mS]
EDA [mS]
EDA
2.0
2.0
3.8
1.5
1.5
3.6
1.0
1.0
1000 2000 3000 4000 5000 1000 2000 3000 4000 5000 1000 2000 3000 4000 5000
Zeit Zeit Zeit
20/ 30

21. 4.3 Voruntersuchung (VU)
• 11 Personen
• 3 Spiele (Spaß, Langeweile, Stress)
• Spieldauer 5 min
• Erkennung signifikanter Signalwerte
21/ 30

22. 4.4 VU Auswertung (1)
• Bewertung der Spiele
• Mittelwerte physiologische Signale
22/ 30

23. 4.5 VU Auswertung (2)
5
4
EDA [mS]
Spiel 1 3
Stress
2
0 1000 2000 3000 4000
Zeit
4.6
4.4
4.2
Spiel 2
EDA [mS]
4.0 Spaß
3.8
3.6
0 1000 2000 3000 4000
Zeit
3.8
Spiel 3 Langeweile
3.6
EDA [mS]
3.4
3.2
3.0
0 1000 2000 3000 4000 5000
Zeit
23/ 30

24. 4.6 Hauptuntersuchung (HU)
• 10 Personen
• Gegenüberstellung
• Biofeedback vs. Non-Biofeedback
24/ 30

25. 4.7 HU Auswertung (1)
• Spielanpassung alle 30 sec
• Spieldauer 300 sec (5 min)
• 10 Spielabschnitte
• 10 Mittelwerte / Spieler (EDA und EKG)
• Normierung
• Aufzeichnung Spielanpassung
25/ 30

26. 4.8 HU Auswertung (2)
• gepaarter t-Test, α = 0.05
• H0 = „Zwischen den Spielvarianten gibt es keinen signifikanten Unterschied.“
• Gesamtspiel
2.0 0.2
2.0
Differenz Mittelwerte
0.1
Mittelw. ohne Bio
1.5 Mittelw. mit Bio
1.5
0.0
1.0
1.0 −0.1
0.5 0.5 −0.2
0.0 0.0 −0.3
2 4 6 8 10 2 4 6 8 10 2 4 6 8 10
Spielabschnitt Spielabschnitt Spielabschnitt
• 2. Spielhälfte: H0 abgelehnt für EDA !
26/ 30

27. 4.9 HU Fragebögen
• wahrnehmbarer Unterschied (subjektiv)
• 80 % bevorzugen Biofeedback
• Grund: Abwechslung
• Wahrnehmung Veränderungen
– 90% Schiffsgeschwindigkeit
– 60% Slow-Mo Fähigkeit
– 40% Dauer Schildschutz
• Logdaten unterschiedliche Spielverläufe / Spieler
27/ 30

28. 5. Ergebnis
• Ziel erreicht
• Signal Vor- und Nachverarbeitung
• Anzahl Probanden
• Displaygröße
• Implementierung Spiel
28/ 30

29. 6. Ausblick
• Reiz-Bezogenheit EDA
• Betrachtung aller Spieler
• Feldexperiment
• Sensor-Integration
• Visualisierung Biofeedback
29/ 30

30. 7. Demo
30/ 30

31. Ende
Danke für Ihre Aufmerksamkeit.

32. Quellenverzeichnis
• [Amb11] AMBINDER, Mike: Biofeedback in Gameplay : How Valve Measures
Physiology to Enhance Gaming Experience. (2011)
• [EDA] EDA Signalverlauf, ETH Zürich. http://www.wearable.ethz.ch/
• [EKG] EKG Signal. http://de.wikipedia.org/w/index.php?
title=Datei:EKG_Komplex.svg&filetimestamp=20100524035909
• [Fai07] FAIRCLOUGH, Stephen H.: Psychophysiological Inference and Physiological
Computer Games. In: Interfaces 7 (2007). http://citeseerx.ist.psu.edu/viewdoc/
download?doi=10.1.1.102.5873&rep=rep1&type=pdf
• [Bou88] BOUCSEIN, Wolfram: Elektrodermale Aktivität: Grundlagen, Methoden und
Anwendungen. Springer, 1988. - ISBN 3540185860
32/ 19

33. 5.8 VU Auswertung (1)
●
0.25
●● ●
0.20 ●
●
●
Amplitude
● ●
●
0.15 ● ● ●
●
● ● ● ● ●
● ●
● ●● ● ● ●
●
0.10 ● ●
●
●●
● ●
● ●
● ● ●
● ●● ●● ●
● ● ● ●●
0.05 ● ● ● ● ● ● ● ●
●●
● ● ● ●●
●
● ● ● ●●
● ● ●
●
● ● ●● ●● ● ●● ● ●
● ● ●
●● ● ●
●
●
●● ● ● ●● ●
●
●● ● ● ● ●●
●
20 40 60 80 100
●
Zeit 0.30
player
●
0.25 ● 4
Median Amplitude
0.20 ● 5
●
●
0.15 ● ● ● 6
●
● ●
0.10
● 7
● ●
● ●
● 8
0.05 ●
● ● ●
● ● ●
●
●
● 9
●
0.00
● 10
−0.05 ● 11
1 2 3 4 5 6
Spaß
33/ 19

34. 5.3 Software
• Kubios (HRV)
• POLAR Pro Trainer (HR)
• Ledalab (EDA)
• R (Plotting)
• Kriterien
– Signalverlauf
– Amplitude
– Anstiegszeit
34/ 19

35. 2. Umsetzung
• simples Spielkonzept
• intuitive Steuerung
• quelloffene Entwicklungswerkzeuge
• Multiplayer
35/ 19

36. 3. Datenanbindung
• Einbindung des Spielers
– physiologische Maße
– Feedback
• Spielerzustand
• Adaptive Spielelemente
36/ 19

37. 4.1 Werkzeuge
• Laborumgebung (Server, Workstation)
• Varioport
• 2 Android Smartphones
• Pulsgurt
• Mobile Device Cam
• Fragebögen
37/ 19

38. 3.3 Modelle Spielerzustand
• Valence-Arousal • Distress-Engagement
hoch
Arousal
hoch
Energiegeladen
Verärgert
a b
Distress
Glücklich Valence
negativ Passiv positiv
c d
Gelangweilt
Relaxed
niedrig hoch
niedrig Task Engagement
Quelle: [Amb11] Quelle: [Fai07]
38/ 19