The obligatory thesis word cloud about immersive audio

The word is out: I hereby present you my PhD thesis! After the final writeup in 2009, it took some time to get my viva arranged in August 2010. Sorry to keep you waiting…but now, it can be downloaded via this blog.

This thesis addresses the role of audio for immersion. Yep, the I-word…almost just as Impossible as it is Irresistible to designers. Yet, I’ve tried to come up with some useful theory for those who want to know more about the design of sound, music and speech in games and the conceptual decisions that are involved.

Let’s get things straight. This thesis does not:

• tell you which frequencies to amplify in order to make your music more immersive or explain you how to record immersive voice recordings (it’s not a cook book).
• provide you an answer to the question which psychological processes can be linked to immersion. There’s a lot of valuable literature available that investigates this subject.
• give you a final answer what to do when your game isn’t ‘immersive enough’. Game design is a discipline and you normally can’t fix game design flaws with audio!

Now what does it do? This work addresses the design decisions with respect to audio and immersion. I hope it offers audio designers, game designers and design researchers that are interested in the conceptualisation of game audio some illuminating insight into this matter.

Now go and create some Captivating Sound!

PhD award

ABSTRACT
This thesis explores the relation between game audio and (computer) game immersion. The main contribution in this research is a framework for the conceptual design of game audio in relation to immersion. A model for game audio is presented defining the communication by means of game audio during active gameplay. This model, named IEZA (Huiberts & van Tol, 2008), defines four conceptual domains of communication of game audio. IEZA was developed to enable a more detailed and consistent investigation into game audio and has been evaluated as a design resource in educational, academic and practical settings.

Immersion is considered to be one of the key factors making games worthy to play. The unity that seems to exist in the fact that many parties value this phenomenon is more apparent than real: there is a lot of dispute on the scope of immersion. Several classifications of immersion are compared for a better understanding of the nature of an immersive experience. The three‐dimensional SCI‐model by Ermi & Mäyrä (2005) is considered as valuable representation of the multi‐dimensional character of immersion.

Audio is an important constituent of most games and its role for immersion in games has hardly been investigated. In this thesis, audio is studied using the IEZA‐model and the SCI‐model, and several design issues are described. This yields a conceptual framework that describes various audio design issues that can be used to reflect upon conceptual decisions relevant for the design of audio in relation to immersion. This framework can be used for a conceptual analysis of design and is relevant for audio designers as well as game designers.

My PhD was a part-time PhD study at the University of Portsmouth in collaboration with the Utrecht School of the Arts.

Download the PDF here.

View the video files.

Huiberts, S., Captivating Sound: the Role of Audio for Immersion in Games. Doctoral Thesis. University of Portsmouth and Utrecht School of the Arts, Portsmouth, 2010.

A notification about your experience with this subject is warmly appreciated. Please send me a message using the contact form or use the comment form below.

I would like to express my sincere gratitude to all who supported the writing of this thesis: Jan IJzermans, Richard van Tol, Barbara Lotti, Tony Kalus, Adriaan Braat, Chris Creed, Han Onno ter Hoor, Micah Hrehovcsik, Rens Machielse, Paul Newland, Dan Pinchbeck, Dick Rijken, Hans Timmermans, Gerard van Wolferen, the other members of the Music Design Research Group, the gamers and moderators from the forums (Tweakers Forum, the 3Dgamers Forum, the Insidegamer Forum, the Gamers‐Forum, AudioGames Forum), the participants of PUGS, Espressofabriek and Hans and Riet Huiberts.

By the way, it was a great venue, featuring a truly wonderful performance installation by Matthias Oostrik. See the two pictures below I made before the summit started:

Festival of Games in Ottone

Festival of Games in Ottone

[Download the Slides as PDF]
More information and weblinks at FoG.AudioGames.net

See a slideshow below the break.

Game Audio Lab: an educational framework for research and design of realtime, nonlinear sound and music design. Photo © Sander Huiberts

The Music Design Group of the Utrecht School of the Arts under Jan IJzermans in the Netherlands has developed a lab for academic purposes which enables research and rapid prototyping of nonlinear audio. The system offers designers the ability to construct composite variables based on variables that are available in the original game system. In this paper, the architecture of the hardware and software as well as the motivation for this setup are discussed.

Nonlinear and adaptive systems for sound and music in games are gaining popularity due to their potential to enhance the game experience. The framework enables academics to map composite variables and adapt sound and music design in real-time during active game play. Composite variables were found to be more useful than mapping simple game parameters directly to the sound design. To give an example: mapping the state of an adaptive environment to the health level of the avatar often is too obvious for the player.

The paper also discusses the need for open game systems, which help designers to study sound design in realtime settings. Most game platforms are closed and protected by intellectual property. Interestingly, many academics mentioned this during the conference.

Unfortunately, I can’t publish the article here, so if you are interested it’s probably best to visit the AES website. The reference to the article is:

Huiberts, S. Van Tol, R and Went, K. (2009) GAME AUDIO LAB – AN ARCHITECTURAL FRAMEWORK FOR NONLINEAR AUDIO IN GAMES. In: Kelly, M. Proceedings AES 35th International Conference Audio for Games, 2009. Royal Academy of Engineering, London, UK.

Kees presenting at the AES. Photo: Sander Huiberts

Some video demos of applications (Half-Life 2 Source engine, OSC, Bridge software, FMOD and GStoolkit in Max/MSP) are listed below:

Credits for the game lab and these applications go to Arjen Schut, Mark Doeze, Maurice Alberts, Ramon Kerstens and Rogier Habraken. They truly did a wonderful job in this project.

Full demonstration Game Audio Lab Half Life 2: actual game play (select watch in high quality):

Simple demonstration: gunsound impact changes:

Simple demonstration: atmosphere dynamically changes with health status:

[For more information and the slides of this presentation, head over to adaptivemusicsystems.hku.nl]

Guitar player photo by puja

General websites:

• Audio Features at Gamasutra featured articles.
• WIKINDX by Mark Grimshaw: very comprehensive library with (academic) game audio resources.
• Gamesound.com articles on game audio.
• Game audio section at Filmsound.org articles.
• Music4games features: features on game music, primarily behind-the-scenes, interviews and post mortems with notorious game composers.
• Resources at AudioGames.net: Although the primary concern of this website is audio games, other sources on game audio are mentioned.
• Articles on filmsound.org
• Audio resources by Nick Koumentakis.
• Pretty Ugly Gamesound Study: good and bad examples of game audio.
• Links on The Game Audio Tutorial.
• Links on Sound-Music-Interactive-Games Blog.

Publications by academics and designers:

• The Game Audio Tutorial by Richard Stevens and Dave Raybould.
• Videogameaudio.com publications by Leonard Paul
• Gamessound.com by Karen Collins
• Sounddesign.org.uk articles by Rob Bridgett

Forums

Two topics on the gameaudio forum discussing new books:

• Recent books
• Which book to get

Some more resources can be found in this article by West Latta: Demistifying sound design.

Two active discussion lists are:

• sound_design@yahoogroups
• gameaudiopro@yahoogroups.com

And an extra pointer: Richard van Tol and I published an article about the IEZA framework on Gamasutra. This might be useful for designers to increase insight in the communication by means of game audio. Mentioning it here is not to promote ourselves, we found that this framework can help designers conceptualising and structuring their work. If the article valuable for you, the other frameworks that are listed in the first section of this article might. Visit: IEZA framework for game audio at Gamasutra.

IEZA is further discussed in my PhD-thesis on game audio and immersion. There you also find models and theory about game audio.

What you will find here is a compilation of writings by gamers with a visual handicap about their personal gaming experiences from the past and present. Their stories have been collected through the Game Accessibility project (made possible by a financial contribution by NSGK (Nederlandse Stichting voor het Gehandicapte Kind) and the AudioGames.net forum in order to give the video game industry a better understanding of what computer gaming means for a blind gamer.

There are many people in the professional game industry who unfortunately have never given thought to blind people playing computer games. Many seem to think that “blind people can’t play games, because they are blind” (to quote a developer at the 2004 Electronic Entertainment Expo).

Hopefully these gamers’ words will help you imagine what it is like to play a game while not being able to see and inspire you to make a change.

Huiberts S. & Van Tol, R. (2006), What blind games want the industry to know. Retrieved February 20, 2007, from http://captivatingsound.com/download/articles/what blind gamers want the industry to know.doc

[Download the document from Captivating Sound]

[Lees het artikel op Cut-up.com]

[Download als PDF]

—————————————————————————————————————
Fri, 23.06.2006

Inleiding
Sinds lange tijd worden computergames vergezeld van muziek. Muziek in games heeft een enorme ontwikkeling doorgemaakt: van eenvoudige synthesizermelodieën tot complete orkestwerken die tijdens het spelen van het spel afgespeeld worden. Een ontwikkeling die zich vooral de afgelopen drie jaar heeft voorgedaan is het gebruik van popmuziek in games.

Het is niet nieuw dat popmuziek en gamemuziek samengaan. Al in 1983 gebruikte de arcadegame Journey muziek van de gelijknamige hardrockband. Eén jaar daarvoor kwam de soundtrack van PacMan – in geremixte vorm maar met originele geluidseffecten – terecht op de nummer acht positie in de Amerikaanse charts. De laatste jaren is het gebruik van popmuziek in games extreem toegenomen, waarschijnlijk omdat deze ontwikkeling voor de hele entertainmentindustrie interessant is. Via games kan popmuziek gepromoot worden en in sommige gevallen kan muziek zelfs als uitbreiding op het spel verkocht worden. Games zijn vanwege de grote doelgroep een aantrekkelijk platform om muziek te verkopen. De soundtrack van de Grand Theft Auto spellen gebruikt popmuziek voor de autoradio’s in het spel. Dezelfde muziek is op audio-cd’s verkrijgbaar. Bij muziekgames zoals Guitar Hero – waarbij ingespeeld wordt op de liefhebbers van popmuziek – is het bijna onoverkomelijk om popmuziek te gebruiken in een game. Artiesten kunnen hun populariteit vergroten door zichzelf te verbinden aan populaire games. Als een opmerkelijke artiest verbonden wordt aan een game is de kans groot dat de doelgroep zich aangesproken voelt en verkoopt de game beter.

Nu popmuziek steeds vaker in games gebruikt wordt, is het interessant om eens te kijken naar de achtergronden van populaire muziek in games. Welke eigenschappen heeft muziek in games en is bestaande popmuziek wel geschikt om in games te gebruiken, in tegenstelling tot bijvoorbeeld muziek die wél speciaal voor een game geschreven is?

Gamemuziek en spelinformatie
Muziek wordt vaak ingezet om spelers te helpen bij het gamen, bijvoorbeeld om naderend gevaar aan te kondigen, waardoor de speler meer op zijn hoede is. Muziek wordt gebruikt om verschillende gebieden in de spelwereld te onderscheiden. Dit zorgt voor afwisseling en helpt de speler bij het oriënteren. Muziek geeft ook vaak verschillende modi van een spel aan. In Prince of Persia – The Sands of Time start bij elk gevecht speciale muziek, die de “vecht-modus” benadrukt. Het komt namelijk nog wel eens voor dat een speler geen vijand meer ziet terwijl die nog wel aanwezig is. De muziek laat de speler dan weten dat het gevaar nog niet geweken is.

Bij sommige spellen is muziek een essentieel onderdeel van het spel. In games zoals Guitar Hero, SingStar en Donkey Konga 2 wordt met het spel muziek gemaakt. Bij andere spellen, zoals Amplitude, Vib Ribbon, Rez en Technic Beat, wordt de speler gestimuleerd handelingen uit te voeren in het ritme van de muziek. In veel games met popmuziek is er echter geen directe link tussen het spelen van de game en de muziek, bijvoorbeeld in de Grand Theft Auto reeks.

Guitar Heroes on Captivatingsound.com

Gamemuziek en betrokkenheid
Wanneer de muziek van een spel uitgeschakeld wordt merkt een speler vaak dat de ervaring van het spel fundamenteel anders is. Het spel lijkt langer te duren en de betrokkenheid met het spel is veel lager. We zijn eraan gewend dat muziek in games aanwezig is en er zijn eigenlijk zeer weinig computerspellen die geen muziek bevatten. Muziek geeft betekenis en voegt vaak spanning aan een game toe.

Game-componist Tommy Tallarico gaf tijdens een Panel discussie over ‘Future Challenges’ op de Game Developers Conference ’06 aan dat componisten vaak gevraagd worden om “jungle-themed”-muziek te schrijven bij level dat zich in een jungle afspeelt en “space-themed”-muziek te schrijven bij een ander level dat zich in de ruimte afspeelt. Tallarico gaf aan dat hij het belangrijk vindt om zich bij het componeren niet zozeer te richten op een locatie in het spel, maar meer de conditie van het spel (bijvoorbeeld winnen of verliezen) of de emotionele staat van het spel (bijvoorbeeld droevig of blij).

Hoewel er nog steeds onderzoek verricht wordt naar de vraag of games wel emoties kunnen teweegbrengen of slechts afspiegelingen van emoties opwekken, is de game-industrie zich er van bewust dat de emotionele bagage die aan een gamer wordt meegegeven tijdens het spelen van een spel voor een groot deel uit de muziek komt. Game muziek gaat verder dan het overbrengen van emoties of het helpen van een speler bij het spelen van het spel alleen. Vaak worden de emotionele thema’s uit het genre van de filmmuziek aangesproken, waarmee vrijwel iedereen bekend is. Toch is er ook een groot verschil tussen games en film wat ook invloed heeft op de muziek: interactiviteit! Waarbij muziek in film voornamelijk spanningsbogen maakt en inspeelt op de emoties van de toeschouwer, moet gamemuziek de speler stimuleren te blijven spelen. Omdat de opbouw van een game niet even lineair als bij een film is, worden vaak andere eisen gesteld aan de opbouw van de muziek.

Naast enkel de emotionele staat van de game, wordt door de gamer ook andere betekenis ontleend aan de muziek. Vaak wordt een sociale of culturele betekenis aan de muziek meegegeven, die intrinsieke informatie geeft over wie het game karakter is in het spel. Bij Tony Hawk Pro Skater 4 is “skatermuziek” bijgevoegd, waardoor de gamer meteen overtuigd is van het feit dat hij een skater is tijdens het spelen van het spel. Uit een gebruikerstest met diverse games die wij uitvoerden bleek dat muziek soms voor een deel van de gamers de verkeerde betekenis kan hebben. Het computerspel Worms 3D, waarin twee teams met kwaadaardige wormen elkaar bestrijden, heeft in een level rustige ‘ambient’-achtige muziek. Sommige gamers vonden deze muziek erg geschikt voor het spel, daar het de concentratie en het richten op andere wormen vergemakkelijkte, terwijl andere gamers deze muziek niet geschikt vonden voor het spel: ze prefereerden muziek die het oorlogsgevoel versterkte.

Muziek is een sterk middel om de gebruiker af te sluiten van de buitenwereld en zijn vereenzelviging met de game en het gamecharacter – een belangrijke voorwaarde voor betrokkenheid – te versterken.

Voor- en nadelen van popmuziek in games
Oorspronkelijk hadden games een unieke klank, die bijdroeg aan de originele identiteit van een game. Maar inmiddels klinken games ook niet meer per definitie als ‘games’. De originele gameklanken worden al geruime tijd gebruikt in popmuziek en andere vormen van de media. Games nemen nu eigenschappen van een identiteit uit de popmuziek over. Dit spreekt vooral jongeren aan en kan in sommige gevallen erg goed werken. Racegames blijken zich uitstekend te lenen voor popmuziek. Wellicht komt dit door het relatief korte karakter van de gameplay (een race duurt meestal niet zo lang) en de analogie met het luisteren van muziek tijdens het rijden (in de echte wereld luistert men ook naar muziek in de auto). Uit een recent onderzoek blijkt zelfs dat spelers beter presteren in racegames wanneer ze luisteren naar zelf uitgekozen popmuziek (Cassidy, 2004). Steeds meer games bieden gamers de optie zelf muziek toe te voegen aan een spel.

Hoewel popmuziek kan worden gebruikt om een game een bepaalde identiteit te geven, zijn er een aantal kwesties waar een ontwikkelaar rekening mee moet houden wanneer hij of zij popmuziek in een game wil gebruiken. Het grootste nadeel van popmuziek als gamemuziek is het gebrek aan aanpassingsvermogen. Een game blijft zich constant aanpassen aan de handelingen van een speler en met game muziek wordt vaak gepoogd om vooruit te blikken op wat komen gaat om daarmee een bepaalde spanning op te bouwen. Het aanpassingsvermogen van de game muziek is hierbij cruciaal. Popmuziekcomposities zijn van nature niet adaptief, de structuur is namelijk lineair en het is niet eenvoudig deze aan te passen aan de gebeurtenissen in het spel.

Het beste is om de lineaire tracks aan te passen aan de gameplay. Hiermee moet worden opgepast dat de song niet zijn impact verliest. In Super Mario Bros versnelt de muziek naarmate de timer van de level afloopt, iets wat zeer stimulerend werkt. Wanneer hetzelfde gedaan zou worden met een bestaande popsong kan dat gevolgen hebben voor de kwaliteit van de song. Daarnaast leveren statische soundtracks vaak problemen op: veel games van tegenwoordig hebben een erg lange speelduur (80 uur is niet ongewoon) en het voortdurend herhalen van hetzelfde muziekfragment is erg storend (Sanger, 2003 hoofdstuk “Repetition is the problem”). Game-ontwikkelaars richten zich vaak op het gebruik van interactieve muzieksystemen op basis van korte fragmenten om herhaling te voorkomen. Ook lost dit problemen op met de beschikbare “resources”: geluid en muziek is nog steeds de sluitpost als het geheugen van de spelcomputers verdeeld wordt [1]. Bestaande popmuziek is vaak niet geschikt om modulair gebruikt te worden en kan minder dynamisch ingezet worden. Door de herhaling die in dit geval optreedt, kan een stuk popmuziek minder lang gebruikt worden in een game als muziek die modulair opgebouwd en dynamisch aangestuurd wordt.

Het maken van nieuwe opnamen of remixen is vaak nodig, waarna het interactieve systeem losse delen van de muziek dynamisch kan aansturen. Veelal is een nieuwe eindmix nodig, omdat de prioriteiten van de soundtrack van de game heel anders zijn. De verstaanbaarheid van de zanger kan bijvoorbeeld veel minder belangrijk zijn dan het ritme van de drums, waarop de acties van de speler uitgevoerd kunnen worden. Ook is het zaak dat de van diverse artiesten afkomstige nummers onderling gebalanceerd worden.

Tot op heden is het vaak niet eenvoudig om reeds uitgebrachte popmuziek in een game te gebruiken: het vinden van de rechthebbenden van reeds uitgebrachte platen en het sluiten van contracten over de royalty’s kan een erg tijdrovende zaak zijn [2]. Delen van de muziekindustrie staan nog niet uitsluitend positief tegenover de nieuwe ontwikkelingen, hoewel hier door het succes van sommige games verandering in komt.

Tot slot
Aan het gebruik van popmuziek zijn een aantal voordelen en nadelen verbonden. Indien rekening wordt gehouden met welke eisen een game stelt en welke doelgroep een game heeft kan popmuziek wel degelijk met succes gebruikt worden in games. Sommige games lenen zich beter dan andere voor het gebruik van reeds bestaande muziek.

[1] Het gegeven dat muziek praktisch altijd de sluitpost is bleek uit de vele lezingen tijdens de Game Developers Conference 2006, waarin dit onderwerp veelvuldig werd herhaald, bijvoorbeeld in de lezing “Film and Game sound panel: Design Choices”. Het feit dat de “Next-Gen” consoles geen speciale hardware voor geluid meer hebben maakt de strijd alleen maar moeilijker.
[2] GDC ’06, Audio Tutorial, “Music Acquisition for games” door S. Pimentel – Music Licensing and A&R Manager.

—————————————————————————————————————

Literatuur

Brown, E. en Cairns, P. A grounded investigation of game immersion. Vienna: University College London Interaction Centre (UCLIC), Conference on Human Factors in Computing Systems, ACM Press, 2004.

Cassidy, G., et al. The Effects of Aggressive and Relaxing Popular Music on Driving
Game Performance and Evaluation. Digital Games Research Association International
Conference, 2005.

Chion, M. Audiovision, Sound on Screen. New York: Columbia University Press, 1994.

Crawford, C. The Art of Computer Game Design. 27 mei 1997. Washington State University. 10 juni 2006. http://www.vancouver.wsu.edu/fac/peabody/game-book/Coverpage.html.

Sanger, G. “Fat Man”. The Fat Man on Game Audio: Tasty Morsels of Sonic Goodness. Indianapolis: New Riders Publishers, 2003.

Stockburger, A. The game environment from an auditive perspective. Utrecht: Level Up Digital Games Research Conference, Faculty of Arts, Utrecht University, 2003.

Whalen, Z. “Play Along – An Approach to Videogame Music.” International Journal of Computer Game Research volume 4, issue 1 (2004), November 2004

Games

Amplitude (PS2). Developed by Harmonix, Published by SCEA. maart 2003.

Donkey Konga 2 (GameCube). Developed by Namco. Published by Nintendo. 9 mei 2005.
www.donkeykonga.com

Grand Theft Auto III (PC). Rockstar Games. 21 mei, 2002.
www.rockstargames.com

Guitar Hero (PS2). Developed by Harmonix. Published by RedOctane. 1 November 2005.
www.guitarherogame.com

Prince of Persia – The Sands of Time (PC). Developed by Ubi Soft Entertainment. Published by Ubisoft. 2 December 2003.

Rez (PS2). Developed by United Game Artists. Published by SEGA. 8 januari 2002.

SingStar (PS2). Developed by SCEE. Published by Sony Computer Entertainment. 21 mei 2004.
www.singstargame.com

Super Mario Bros (NES). Developed by Nintedo. Published by Nintendo. October 1985.

Technic Beat (PS2). Developed by Arika. Published by Mastiff. 3 november 2004.

The Sims 2 (PC). Developed by Maxis. Published by Electronic Arts. 14 september 2004.
http://www.thesims2.com

Tony Hawk Pro Skater 4 (PC). Developed by Beenox / Neversoft Entertainment. Published by Aspyr. Activision. 31 augustus 2003 .

Vib Ribbon (PlayStation). Developed by SCEJ / Nana On Sha. Published by Sony Computer Entertainment. 9 december 1999.
http://www.vibribbon.com/

Worms 3D (PC). Developed by Team17 Software. Published by SEGA / Acclaim. 11 maart 2004.

Read the article at Game Accessibility