"Playing Music. Musik und Sound in der Videospielerfahrung". Vortrag von Daniel Possler am 19. April 2016 im Rahmen der Games-Ringvorlesung "HERE THERE. Grenzerfahrungen zwischen realen und virtuellen Welten", Hamburg.

1. PLAYING MUSIC.
Musik und Sound in der
Videospielerfahrung
Daniel Possler
HERE THERE. Games-Ringvorlesung 2016 | 19.04.16

2. http://www.ijk.hmtm-hannover.de
Tetris (1989)
Studio Bullet-Proof Software
Nintendo
Publisher Nintendo
Audio Russisches
Volkslied: Korobeiniki
Link https://youtu.be/
NmCCQxVBfyM
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 2

3. http://www.ijk.hmtm-hannover.de
Halo: Combat Evolved (2001)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 3
Studio Bungie Studios
Gearbox Software
Publisher Microsoft Game
Studios
Audio Composer: Martin
O'Donnell
Link https://youtu.be/
I8vaCrVIR-Q

4. http://www.ijk.hmtm-hannover.de
Red Dead Redemption (2010)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 4
Studio Rockstar San
Diego
Publisher Rockstar Games
Audio Composer: José
Gonzales
Link https://youtu.be/
AUXGW6sWYDY?
t=49s

5. http://www.ijk.hmtm-hannover.de
Super Mario World (1990)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 5
Studio Nintendo EAD
SRD
Publisher Nintendo
Link https://youtu.be/
wNhCu7F6IK0?
t=1m22s

6. http://www.ijk.hmtm-hannover.de
Tony Hawk’s Pro Skater 2 (2000)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 6
Studio Neversoft
Publisher Activision
Link https://youtu.be/
U35P1UwgKlg?
t=2m14s

7. http://www.ijk.hmtm-hannover.de
Agenda
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 7
§ Von Beeps zu dynamischem 3D-Sound
§ Worum geht es hier eigentlich?
§ Audio-Erfahrungen in virtuellen Welten
§ Affektive Funktion
§ Kognitive Funktion
§ Erfahrung von Videospielmusik außerhalb virtueller Welten

8. http://www.ijk.hmtm-hannover.de
Von Beeps zu dynamischem 3D-Sound
Frühe 70er
§ Videospiele in der
Spielhalle
§ Beeps und Töne zur
Erzeugung von
Aufmerksamkeit
§ Extrem aufwändige
Programmierung
(keine Sound-Chips)
§ Keine ausgebildeten
Musiker, sondern
Programmierer
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 8
Beispiel: Space Invaders (Taito / Midway Games; 1978)
https://youtu.be/437Ld_rKM2s?t=20s
(Huiberts, 2010; Collins, 2008)

9. http://www.ijk.hmtm-hannover.de
Von Beeps zu dynamischem 3D-Sound
Anfang 80er
§ PSG Sound Chips
(3 Kanäle + weißes
Rauschen)
§ Sound und Musik
möglich
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 9
Frühe 70er
Beispiel: Carnival (Sega / Sega, Gremlin Industries; 1980)
https://youtu.be/437Ld_rKM2s?t=20s
(Huiberts, 2010; Collins, 2008)

10. http://www.ijk.hmtm-hannover.de
Von Beeps zu dynamischem 3D-Sound
Anfang 90er
§ FM-Chips und PCM-
Chips
§ MIDI
§ Sound, Musik und
Sprache möglich sowie
aufgez. Samples
§ iMuse: dynamische
Komposition
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 10
Frühe 70er
Anfang 80er
Beispiel: Monkey Island II (LucasArts / LucasArts, 1991)
https://youtu.be/7N41TEcjcvM
(Huiberts, 2010; Collins, 2008)

11. http://www.ijk.hmtm-hannover.de
Von Beeps zu dynamischem 3D-Sound
Mitte 90er
§ Etablierung erster
Soundkarten
§ Sound, Musik und
Sprache in CD-Qualität
abspielbar
§ Räumlicher Sound (3D)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 11
Frühe 70er
Anfang 80er
Anfang 90er
Beispiel: Thief: The Dark Project
(Looking Glass Studios / Eidos Interactive; 1998)
https://youtu.be/x12fE1hFW9M?t=46s
(Huiberts, 2010; Collins, 2008)

12. http://www.ijk.hmtm-hannover.de
Agenda
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 12
§ Von Beeps zu dynamischem 3D-Sound
§ Worum geht es hier eigentlich?
§ Audio-Erfahrungen in virtuellen Welten
§ Affektive Funktion
§ Kognitive Funktion
§ Erfahrung von Videospielmusik außerhalb virtueller Welten

13. http://www.ijk.hmtm-hannover.de
Worum geht es hier eigentlich?
§ Verschiedenste Kategorisierungen von Game-Audio möglich
Ø Produktionsbasiert (z.B. Brandon, 2005)
Erweiterung (Folmann, 2004)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 13
Sprache Sound Musik
Vocalisation Sound-FX Ambient-FX Music

14. http://www.ijk.hmtm-hannover.de
Worum geht es hier eigentlich?
§ Verschiedenste Kategorisierungen von Game-Audio möglich
Ø Diegetic and Non-Diegetic Audio (Stockburger, 2003; Huiberts, 2010)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 14
Audio-Quelle in der virt. Welt Audio-Quelle stammt nicht
aus der virt. Welt
Diegetic Non-Diegetic
(Grand Theft Auto V;
Rockstar North / Rockstar Games, 2013)
(Star Wars Battlefront;
EA DICE / Electronic Arts; 2015)

15. http://www.ijk.hmtm-hannover.de
Worum geht es hier eigentlich?
§ Verschiedenste Kategorisierungen von Game-Audio möglich
Ø Interaktivität (Collins, 2008; Bullerjahn, 2011):
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 15
Linear
Adaptiv
Interaktiv
diegetic non-diegetic
Linear diagetic
audio
Adaptive diegetic
audio
Interactive diegetic
audio
Linear non-
diegetic audio
Adaptive non-
diegetic audio
Interactive non-
diegetic audio

16. http://www.ijk.hmtm-hannover.de
Worum geht es hier eigentlich?
§ Verschiedenste Kategorisierungen von Game-Audio möglich
Ø IEZA Model (Huiberts, 2010):
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 16
diegetic
non-diegetic
ActivitySetting
Zone Effekt
Affect Interface

17. http://www.ijk.hmtm-hannover.de
Agenda
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 17
§ Von Beeps zu dynamischem 3D-Sound
§ Worum geht es hier eigentlich?
§ Audio-Erfahrungen in virtuellen Welten
§ Affektive Funktion
§ Kognitive Funktion
§ Erfahrung von Videospielmusik außerhalb virtueller Welten

18. http://www.ijk.hmtm-hannover.de
Audio-Erfahrungen in virtuellen Welten
§ Bisher kaum Forschung zu diesem Thema, sondern:
§ Best Practise (bspw. Collins, 2008)
§ Forschung zu Film-Musik (bspw. Cohen, 1990, Boltz, 2004; Bullerjahn &
Güldenring, 1994)
§ Allgemein:
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 18
Game-Audio
Emotionale Ebene
Kognitive Ebene
Verstehen
Immersion

19. http://www.ijk.hmtm-hannover.de
Emotionale Wirkung
§ Emotionen in Games
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 19
Quelle: Narration
Unsicherheit über Ausgang der
Story und das Schicksal der
Helden
(Schneider, Lang, Shin, & Bradley, 2004;
Schmierbach & Limperos, 2013)
Quelle: Interaktivität
Erfolg oder Misserfolg des
Spielers bei der „Bedienung“
des Spiels
(Klimmt et al., 2007; Tamborini et al., 2010;
Trepte & Reinecke, 2011)
Game-Audio:
- Emotionale
Impulse
- Grund-
stimmung
Game-Audio:
- Motivation
- Auf- und
Abbau von
Spannung
Zone Effekt
Affect Interface
Zone Effekt
Affect Interface

20. http://www.ijk.hmtm-hannover.de
Kognitive Wirkung
Verstehen
§ Audio in Games wichtig für grundlegendes Verständnis
(Bullerjahn, 2011; Zehnder & Lipscomb, 2006; Huiberts, 2010)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 20
Aktion und
Reaktion
Game-Audio:
- Feedback
Zone Effekt
Affect Interface
Interpretation von
Kontext und
Umgebung
Game-Audio:
- Umweltverän-
derungen
- Thema
- Leitmotiv
Zone Effekt
Affect Interface

21. http://www.ijk.hmtm-hannover.de
Kognitive Wirkung
Presence
§ „A psychological state in which virtual objects are experienced as
actual objects in either sensory or non sensory ways“
(Lee, 2004)
§ Abhängig von (Hartmann et al., 2016):
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 21
Realitätsgrad der
virtuellen Welt
Vorliegen von
Wissensstrukturen
Game-Audio:
- Detailtiefe
- Räumliche Wirkung
Zone Effekt
Affect Interface
Game-Audio:
- Aktivierung von
Schemata
Zone Effekt
Affect Interface

22. http://www.ijk.hmtm-hannover.de
Kognitiv Wirkung
Empathy / Identification
§ Zentrale Elemente
(Cohen, 2001; Klimmt et al., 2009; Wollheim, 1974; Bandura, 1961; Van Looy, 2015)
§ Einnehmen der Avatar-Perspektive
§ (Übernahme von Avatar-Charakteristika)
§ (Ausblenden der Illusion)
§ Abhängig von:
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 22
Einfühlungs-
vermögen Game-Audio:
- Interpretationshilfe
- Aufwertung
Zone Effekt
Affect InterfaceAttraktivität des
Avatars

23. http://www.ijk.hmtm-hannover.de
Die Wirkung von Videogame-Musik
§ Experiment mit 68 Spielern zur Wirkung von Soundtrack-Musik in
Assassin’s Creed: Black Flag (Klimmt, Possler, Auge, Wolf & Wanjek, 2016)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 23
Congruent
Soundtrack
Music
Video Game
Enjoyment
Positiver Affect
Intensification of
Presence
Intensification of
Identification
Negative Affect
X
X
✔
✔✔
✔
X
X

24. http://www.ijk.hmtm-hannover.de
Agenda
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 24
§ Von Beeps zu dynamischem 3D-Sound
§ Worum geht es hier eigentlich?
§ Audio-Erfahrungen in virtuellen Welten
§ Affektive Funktion
§ Kognitive Funktion
§ Erfahrung von Videospielmusik außerhalb virtueller Welten

25. http://www.ijk.hmtm-hannover.de
Videospielmusik außerhalb virtueller Welten
§ Videospiele als eigene Kunstform? (Gee, 2006)
§ Videospiel-Musik mit Genrebezogenen Besonderheiten, u.A.
(Collins, 2008; Munday, 2007)
§ Lange Zuwendungszeit
§ Dynamische Komposition und adaptive Anpassung
§ Extrem unterschiedliche Funktionen
§ Videospielmusik als Kunstform?
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 25

26. http://www.ijk.hmtm-hannover.de
Videospielmusik fester Bestandteil der Kultur
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 26
Beispiel: Symphonic Legends - Super Mario Galaxy Sute
WDR Radio Orchester / Niklas Willén
https://youtu.be/jk_jQB9Iius

27. http://www.ijk.hmtm-hannover.de
Videospielmusik fester Bestandteil der Kultur
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 27
Beispiel: Charles Hamilton - Where's My Fucking Genesis
(Sonic the Hamilton Mixtape)
https://www.youtube.com/watch?v=HRjHSXRNIRc

28. http://www.ijk.hmtm-hannover.de
Studie: Wertschätzung von Videospielmusik
§ Wird Videospielmusik als Kunstform oder als funktionales
Element des Game-Designs wahrgenommen?
(Possler, Klimmt, Fellechner & Golombek, 2016)
§ Indikator: Videospiel-Journalismus
§ Journalist als prototypischer Gamer
§ Verkaufsratgeber
§ Analyse und Hintergrundwissen
§ Methode:
§ Inhaltsanalyse der „GameStar“ und
„PC Games“ von 2011 bis 2014 sowie
36 Stunden Let‘s Play Videos
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 28

29. http://www.ijk.hmtm-hannover.de
Studie: Wertschätzung von Videospielmusik
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 29
Ergebnis:

30. http://www.ijk.hmtm-hannover.de
Videospielmusik außerhalb virtueller Welten
§ Videospielmusik erfüllt Formal die Anforderungen einer Kunstform
§ Aber: In der öffentlichen Wahrnehmung ist Videospielmusik ein
dem Spielspaß dienendes Element:
„Our analysis suggests that game experts and players are
seeing their games rather as sophisticated entertainment
technologies than as aesthetic masterpieces“
(Possler, Klimmt, Fellechner & Golombek, 2016)
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 30

31. http://www.ijk.hmtm-hannover.de
Fazit: PLAYING MUSIC.
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 31
§ Sound in Games ist längst mehr als Beeps
à wesentlicher Bestandteil des Game-Designs
§ Audio in Games hat vielfältige Wirkungen (1) Emotionen
hervorrufen, (2) die Orientierung in der Welt und das Verstehen der
Story erleichtern, (3) Eintauchen in die Spielwelt ermöglichen
§ Obwohl Komponisten dabei aufwändigste Techniken verwenden
und eine formal eigene Kunstform geschaffen haben, wird Game-
Music vor allem als funktionales Element wahrgenommen

32. Daniel Possler:
IJK – Hannover.
Daniel.Possler@ijk.hmtm-hannover.de
@keepthecarrun
http://www.ijk.hmtm-hannover.de
Vielen Dank.
Daniel.Possler@ijk.hmtm-hannover.de
@keepthecarrun
Daniel Possler
HERE THERE. Games-Ringvorlesung 2016 | 19.04.16

33. http://www.ijk.hmtm-hannover.de
References
§ Bandura, A., & Huston, A. C. (1961). Identification as a process of incidental learning. The Journal of Abnormal and Social Psychology.
doi:10.1037/h0040351
§ Boltz, M. G. (2004). The cognitive processing of film and musical soundtracks. Memory & Cognition, 32(7), 1194-1205.
§ Brandon, A. (2005). Audio for Games, Planning, Process and Production. Berkeley, CA: New riders.
§ Bullerjahn, C. (2011). Musik in Computerspielen. Vermarktungspotenzial, Nutzung und Wirkung. In C. Jost, (Eds.), Populäre Musik,
mediale Musik?: Transdisziplinäre Beiträge zu den Medien der populären Musik (pp. 33-59). Baden-Baden: Nomos-Verl.
§ Bullerjahn, C., & Güldenring, M. (1994). An empirical investigation of effects of film music using qualitative content analysis.
Psychomusicology, 13, 99-118.
§ Cohen, A. J. (1990). Understanding musical soundtracks. Empirical Studies of the Arts, 8(2), 111-124.
§ Cohen, J. (2001). Defining Identification: A Theoretical Look at the Identification of Audiences With Media Characters. Mass
Communication and Society, 4(3), 245–264.
§ Collins, K. (2008). Game sound: An introduction to the history, theory, and practice of video game music and sound design. Cambridge,
Mass. [u.a.]: MIT Press.
§ Folmann, T. (2004). Dimensions of Game Audio. SHHHHHHHHHHHHH audio blog. Retrieved from: http://www.itu.dk/people/folmann/
2004/11/dimensions‐of‐game‐audio.html
§ Gee, J. P. (2006). Why game studies now? video games: A new art form. Games and Culture, 1(1), 58-61. doi:
10.1177/1555412005281788.
§ Hartmann, T., Wirth, W., Schramm, H., Klimmt, C., Vorderer, P., Gysbers, A., Böcking, S., Ravaja, N., Laarni, J., Saari, T., Gouveia, F.
& Sacau, A. (2016). The Spatial Presence Experience Scale (SPES): A short self-report measure for diverse media settings. Journal of
Media Psychology, 28 (1), 1-16.
§ Huiberts, S. (2010). Aptivating Sound - The role of audio for immersion in computer games (doctoral dissertation). Utrecht School of the
Arts. Retrieved from: http://download.captivatingsound.com/Sander_Huiberts_CaptivatingSound.pdf
§ Klimmt, C., Hartmann, T., & Frey, A. (2007). Effectance and control as determinants of video game enjoyment. CyberPsychology &
Behavior, 10(6), 845-847.
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 33

34. http://www.ijk.hmtm-hannover.de
References
§ Klimmt, C., Hefner, D., & Vorderer, P. (2009). The video game experience as “true” identification: A theory of enjoyable alterations of
players’ self-perception. Communication Theory, 19, 351–373. doi:10.1111/j.1468-2885.2009.01347.x
§ Klimmt, C., Possler, D., Auge, H., Wolf, A.-L., & Wanjek, L. (2016, Juni). Effects of Soundtrack Music on the Gameplay Experience.
Posterpräsentation auf der 66. Jahrestagung der International Communication Association (ICA), 09.-13. Juni 2016, Fukuoka, Japan.
§ Lee, K. M. (2004). Presence, Explicated. Communication Theory, 14(1), 27–50. doi:10.1111/j.1468-2885.2004.tb00302.x
§ Munday, R. (2007). Music in video game. In J. Sexton (Ed.), Music, Sound and Multimedia: From the Live to the Virtual (pp. 51-67).
Edinburgh: Edinburgh University Press.
§ Possler D., Klimmt, C., Fellechner, F., & Golombek, L. (2016, Juni). Critics’ Appreciation of Digital Games as Art: The Case of
Soundtrack Music. Vortrag angenommen für die Game Studies Division 2016 Pre-Conference der 66. Jahrestagung der International
Communication Association (ICA), 08. Juni 2016, Tokio, Japan.
§ Schmierbach, M., & Limperos, A. M. (2013). Virtual Justice: Testing Disposition Theory in the Context of a Story-Driven Video Game.
Journal of Broadcasting & Electronic Media, 57(4), 526–542. doi:10.1080/08838151.2013.845828
§ Schneider, E. F., Lang, A., Shin, M., & Bradley, S. D. (2004). Death with a story: How story impacts emotional, motivational, and
physiological responses to first-person shooter video games. Human Communication Research, 30(3), 361-375.
§ Stockburger, A. (2003). The game environment from an auditive perspective. In M. Copier, & J. Raessens (Eds.), Level Up, Digital
Games Research Conference. Utrecht: The Netherlands: Faculty of Arts, Utrecht University.
§ Tamborini, R., Bowman, N. D., Eden, A. L., Grizzard, M., & Organ, A. (2010). Defining media enjoyment as the satisfaction of intrinsic
needs. Journal of Communication, 60(4), 758-777. doi:10.1111/j.1460-2466.2010.01513.x
§ Trepte, S., & Reinecke, L. (2011). The pleasures of success: Game-related efficacy experiences as a mediator between player
performance and game enjoyment. Cyberpsychology, Behavior, and Social Networking, 14(9), 555-557.
§ Van Looy, J. (2015). Online games characters , avatars, and identity. In The International Enceclopedia of Digital Communication and
Society. doi:10.1002/9781118290743.wbiedcs106
§ Wollheim, R. (1974). Identification and Imagination: the Inner Structure of Psychic Mechanism. In R. Wollheim (Ed.), Freud – A
Collection of Critical Essays (pp. 172–195). Garden City, NY: Anchor Books.
§ Zehnder, S. M., & Lipscomb, S. D. (2006). The Role of Music in Video Games. In P. Vorderer & J. Bryant (Eds.), Playing Video Games
(pp. 241-258). Mahwah, N.J.: Lawrence Erlbaum Associations.
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 34