IEZA framework can be used to conceptualise the communication by means of game audio

The URL is:
http://en.wikipedia.org/wiki/IEZA_Framework

The obligatory thesis word cloud about immersive audio

The word is out: I hereby present you my PhD thesis! After the final writeup in 2009, it took some time to get my viva arranged in August 2010. Sorry to keep you waiting…but now, it can be downloaded via this blog.

This thesis addresses the role of audio for immersion. Yep, the I-word…almost just as Impossible as it is Irresistible to designers. Yet, I’ve tried to come up with some useful theory for those who want to know more about the design of sound, music and speech in games and the conceptual decisions that are involved.

Let’s get things straight. This thesis does not:

• tell you which frequencies to amplify in order to make your music more immersive or explain you how to record immersive voice recordings (it’s not a cook book).
• provide you an answer to the question which psychological processes can be linked to immersion. There’s a lot of valuable literature available that investigates this subject.
• give you a final answer what to do when your game isn’t ‘immersive enough’. Game design is a discipline and you normally can’t fix game design flaws with audio!

Now what does it do? This work addresses the design decisions with respect to audio and immersion. I hope it offers audio designers, game designers and design researchers that are interested in the conceptualisation of game audio some illuminating insight into this matter.

Now go and create some Captivating Sound!

PhD award

ABSTRACT
This thesis explores the relation between game audio and (computer) game immersion. The main contribution in this research is a framework for the conceptual design of game audio in relation to immersion. A model for game audio is presented defining the communication by means of game audio during active gameplay. This model, named IEZA (Huiberts & van Tol, 2008), defines four conceptual domains of communication of game audio. IEZA was developed to enable a more detailed and consistent investigation into game audio and has been evaluated as a design resource in educational, academic and practical settings.

Immersion is considered to be one of the key factors making games worthy to play. The unity that seems to exist in the fact that many parties value this phenomenon is more apparent than real: there is a lot of dispute on the scope of immersion. Several classifications of immersion are compared for a better understanding of the nature of an immersive experience. The three‐dimensional SCI‐model by Ermi & Mäyrä (2005) is considered as valuable representation of the multi‐dimensional character of immersion.

Audio is an important constituent of most games and its role for immersion in games has hardly been investigated. In this thesis, audio is studied using the IEZA‐model and the SCI‐model, and several design issues are described. This yields a conceptual framework that describes various audio design issues that can be used to reflect upon conceptual decisions relevant for the design of audio in relation to immersion. This framework can be used for a conceptual analysis of design and is relevant for audio designers as well as game designers.

My PhD was a part-time PhD study at the University of Portsmouth in collaboration with the Utrecht School of the Arts.

Download the PDF here.

View the video files.

Huiberts, S., Captivating Sound: the Role of Audio for Immersion in Games. Doctoral Thesis. University of Portsmouth and Utrecht School of the Arts, Portsmouth, 2010.

A notification about your experience with this subject is warmly appreciated. Please send me a message using the contact form or use the comment form below.

I would like to express my sincere gratitude to all who supported the writing of this thesis: Jan IJzermans, Richard van Tol, Barbara Lotti, Tony Kalus, Adriaan Braat, Chris Creed, Han Onno ter Hoor, Micah Hrehovcsik, Rens Machielse, Paul Newland, Dan Pinchbeck, Dick Rijken, Hans Timmermans, Gerard van Wolferen, the other members of the Music Design Research Group, the gamers and moderators from the forums (Tweakers Forum, the 3Dgamers Forum, the Insidegamer Forum, the Gamers‐Forum, AudioGames Forum), the participants of PUGS, Espressofabriek and Hans and Riet Huiberts.

Best game sound ever… at AnswerGarden.ch.

Game Audio Lab: an educational framework for research and design of realtime, nonlinear sound and music design. Photo © Sander Huiberts

The Music Design Group of the Utrecht School of the Arts under Jan IJzermans in the Netherlands has developed a lab for academic purposes which enables research and rapid prototyping of nonlinear audio. The system offers designers the ability to construct composite variables based on variables that are available in the original game system. In this paper, the architecture of the hardware and software as well as the motivation for this setup are discussed.

Nonlinear and adaptive systems for sound and music in games are gaining popularity due to their potential to enhance the game experience. The framework enables academics to map composite variables and adapt sound and music design in real-time during active game play. Composite variables were found to be more useful than mapping simple game parameters directly to the sound design. To give an example: mapping the state of an adaptive environment to the health level of the avatar often is too obvious for the player.

The paper also discusses the need for open game systems, which help designers to study sound design in realtime settings. Most game platforms are closed and protected by intellectual property. Interestingly, many academics mentioned this during the conference.

Unfortunately, I can’t publish the article here, so if you are interested it’s probably best to visit the AES website. The reference to the article is:

Huiberts, S. Van Tol, R and Went, K. (2009) GAME AUDIO LAB – AN ARCHITECTURAL FRAMEWORK FOR NONLINEAR AUDIO IN GAMES. In: Kelly, M. Proceedings AES 35th International Conference Audio for Games, 2009. Royal Academy of Engineering, London, UK.

Kees presenting at the AES. Photo: Sander Huiberts

Some video demos of applications (Half-Life 2 Source engine, OSC, Bridge software, FMOD and GStoolkit in Max/MSP) are listed below:

Credits for the game lab and these applications go to Arjen Schut, Mark Doeze, Maurice Alberts, Ramon Kerstens and Rogier Habraken. They truly did a wonderful job in this project.

Full demonstration Game Audio Lab Half Life 2: actual game play (select watch in high quality):

Simple demonstration: gunsound impact changes:

Simple demonstration: atmosphere dynamically changes with health status:

[For more information and the slides of this presentation, head over to adaptivemusicsystems.hku.nl]

Download PDF

To make things clear: we’re not talking about composing a song from the beginning to the end (linear music); the composer makes a large amount of musical ‘cells’ and the system selects new cells based on the rules of the composer (nonlinear music). Such an approach can be highly suitable for games, that mostly have a nonlinear character, as the music is able to correspond with the narrative or the presupposed experience of the player. And at least, we’re preventing the repetitive background track that drives players crazy.

The adeptive toolkit is still being developed, and now the developers have published a demonstration video of the toolkit with music composed by Than van Nispen. This is an interesting annotated video which shows the value of this system. What you see is an overview screen with music cells and a two-dimensional dipolar state diagram, which triggers the music. Notice the real-time “Notepad”-information which shows what is going on (real-time!).

The research focused on a basic nonlinear (adaptive) music structure, with a composer (non programmer) friendly approach to use any audio with a basic data design for nonlinear music, to enable prototyping and communication between game developers and composers.

[Watch the annotated nonlinear game music in Adeptive Toolkit v0.9 video here]

[Visit the Adaptive music systems Research group here]

[1] Vincent Akkermans, Bertus van Dalen, Siebe Domeijer, Than van Nispen tot Pannerden and Pınar Temiz.

Update: the adeptive toolkit has been published here. Read info from the devs below the cut:

The Adeptive Toolkit is an interface to a nonlinear music structure.

At the Utrecht School of Music and Technology, Bernard Herrmann’s flexible film composition methods were researched: a method of ‘cell composition’ – a cell being a small musical element or motif. Cells can be succeeded by different other cells, the choice depending on the demand of the (game/interactive) system (for example: more tension).

Cells are connected by transitions. The connections give the sense of a network, hence the term ‘cellnetwork’. Composers can chop their music into flexible cell-pieces, connect these with conditional transitions and value the cells with some variable, for example: “tension – 5″.

A flexible and responsive continuity in music can be created. A composer will then typically find himself making more and different transitions and ‘musical paths’ when he finds out how to serve the demands of the game better.

A video game engine communicates a request to the music structure, for example: avatar health 1. In this case, the music will transition to the ‘almost dead’ music IF the composer indeed provided a convenient transition network through his material.

Generally the ‘cellnetwork method’, reflected in the Toolkit, has been found an interesting way to deal with nonlinear music in contexts.The use of an open-source Max/MSP elaboration of the Cellnetwork Method could provide quick access to editing and expanding the system, as Max/MSP is used by many music technologists, sound designers and composers.

If you like to evaluate this toolkit, I’d suggest to contact the developers. They are interested in collaborating with other parties in order to expand this toolkit.

Guitar player photo by puja

General websites:

• Audio Features at Gamasutra featured articles.
• WIKINDX by Mark Grimshaw: very comprehensive library with (academic) game audio resources.
• Gamesound.com articles on game audio.
• Game audio section at Filmsound.org articles.
• Music4games features: features on game music, primarily behind-the-scenes, interviews and post mortems with notorious game composers.
• Resources at AudioGames.net: Although the primary concern of this website is audio games, other sources on game audio are mentioned.
• Articles on filmsound.org
• Audio resources by Nick Koumentakis.
• Pretty Ugly Gamesound Study: good and bad examples of game audio.
• Links on The Game Audio Tutorial.
• Links on Sound-Music-Interactive-Games Blog.

Publications by academics and designers:

• The Game Audio Tutorial by Richard Stevens and Dave Raybould.
• Videogameaudio.com publications by Leonard Paul
• Gamessound.com by Karen Collins
• Sounddesign.org.uk articles by Rob Bridgett

Forums

Two topics on the gameaudio forum discussing new books:

• Recent books
• Which book to get

Some more resources can be found in this article by West Latta: Demistifying sound design.

Two active discussion lists are:

• sound_design@yahoogroups
• gameaudiopro@yahoogroups.com

And an extra pointer: Richard van Tol and I published an article about the IEZA framework on Gamasutra. This might be useful for designers to increase insight in the communication by means of game audio. Mentioning it here is not to promote ourselves, we found that this framework can help designers conceptualising and structuring their work. If the article valuable for you, the other frameworks that are listed in the first section of this article might. Visit: IEZA framework for game audio at Gamasutra.

IEZA is further discussed in my PhD-thesis on game audio and immersion. There you also find models and theory about game audio.

The moderators of PUGS are Richard van Tol and Sander Huiberts. For the past three years the have been giving a course Game Audio Design at the Utrecht School of the Arts (Netherlands), in which the students were asked to reflect upon game sound, similar to the idea behind PUGS.com (“gather 1 minute of footage of what you consider to be ‘good’ game audio and 1 minute of footage of what you consider to be ‘bad’ game audio”).

Please feel free to contribute to this website either by uploading your favourite example of good or bad game audio, or by commenting the uploaded examples of others!

[visit PUGS]

Based on our review of literature and repertoire we have formulated a framework that uses an alternate approach to classify game audio: the IEZA framework. The primary purpose is to refine insight in the communication by means of game audio by providing a coherent organization of four domains belonging to two dimensions.

The authors would like to thank Jan IJzermans for his conceptual contribution to IEZA, as well as the feedback to the article.

[Read the article about the IEZA framework at Gamasutra]

[PDF]

Reference:

• Huiberts, S. en Tol, R. van, (2008). IEZA: a framework for game audio. Retrieved December 1, 2008, from: http://www.gamasutra.com/view/feature/3509/ ieza_a_framework_for_game_audio.php

IEZA is featured in the following book chapter by Ulf Wilhelmsson and Jakob Wallén. The authors combine IEZA with the model for the production of film sound by Walter Murch and the affordance theory by Gibson.

• Wilhelmsson, U. and Wallén, J. A Combined Model for the Structuring of Computer Game Audio. In: Grimshaw, M. (2010). Game Sound Technology and Player Interaction: Concepts and Developments. University of Bolton, UK.

[Lees het artikel op Cut-up.com]

[Download als PDF]

—————————————————————————————————————
Fri, 23.06.2006

Inleiding
Sinds lange tijd worden computergames vergezeld van muziek. Muziek in games heeft een enorme ontwikkeling doorgemaakt: van eenvoudige synthesizermelodieën tot complete orkestwerken die tijdens het spelen van het spel afgespeeld worden. Een ontwikkeling die zich vooral de afgelopen drie jaar heeft voorgedaan is het gebruik van popmuziek in games.

Het is niet nieuw dat popmuziek en gamemuziek samengaan. Al in 1983 gebruikte de arcadegame Journey muziek van de gelijknamige hardrockband. Eén jaar daarvoor kwam de soundtrack van PacMan – in geremixte vorm maar met originele geluidseffecten – terecht op de nummer acht positie in de Amerikaanse charts. De laatste jaren is het gebruik van popmuziek in games extreem toegenomen, waarschijnlijk omdat deze ontwikkeling voor de hele entertainmentindustrie interessant is. Via games kan popmuziek gepromoot worden en in sommige gevallen kan muziek zelfs als uitbreiding op het spel verkocht worden. Games zijn vanwege de grote doelgroep een aantrekkelijk platform om muziek te verkopen. De soundtrack van de Grand Theft Auto spellen gebruikt popmuziek voor de autoradio’s in het spel. Dezelfde muziek is op audio-cd’s verkrijgbaar. Bij muziekgames zoals Guitar Hero – waarbij ingespeeld wordt op de liefhebbers van popmuziek – is het bijna onoverkomelijk om popmuziek te gebruiken in een game. Artiesten kunnen hun populariteit vergroten door zichzelf te verbinden aan populaire games. Als een opmerkelijke artiest verbonden wordt aan een game is de kans groot dat de doelgroep zich aangesproken voelt en verkoopt de game beter.

Nu popmuziek steeds vaker in games gebruikt wordt, is het interessant om eens te kijken naar de achtergronden van populaire muziek in games. Welke eigenschappen heeft muziek in games en is bestaande popmuziek wel geschikt om in games te gebruiken, in tegenstelling tot bijvoorbeeld muziek die wél speciaal voor een game geschreven is?

Gamemuziek en spelinformatie
Muziek wordt vaak ingezet om spelers te helpen bij het gamen, bijvoorbeeld om naderend gevaar aan te kondigen, waardoor de speler meer op zijn hoede is. Muziek wordt gebruikt om verschillende gebieden in de spelwereld te onderscheiden. Dit zorgt voor afwisseling en helpt de speler bij het oriënteren. Muziek geeft ook vaak verschillende modi van een spel aan. In Prince of Persia – The Sands of Time start bij elk gevecht speciale muziek, die de “vecht-modus” benadrukt. Het komt namelijk nog wel eens voor dat een speler geen vijand meer ziet terwijl die nog wel aanwezig is. De muziek laat de speler dan weten dat het gevaar nog niet geweken is.

Bij sommige spellen is muziek een essentieel onderdeel van het spel. In games zoals Guitar Hero, SingStar en Donkey Konga 2 wordt met het spel muziek gemaakt. Bij andere spellen, zoals Amplitude, Vib Ribbon, Rez en Technic Beat, wordt de speler gestimuleerd handelingen uit te voeren in het ritme van de muziek. In veel games met popmuziek is er echter geen directe link tussen het spelen van de game en de muziek, bijvoorbeeld in de Grand Theft Auto reeks.

Guitar Heroes on Captivatingsound.com

Gamemuziek en betrokkenheid
Wanneer de muziek van een spel uitgeschakeld wordt merkt een speler vaak dat de ervaring van het spel fundamenteel anders is. Het spel lijkt langer te duren en de betrokkenheid met het spel is veel lager. We zijn eraan gewend dat muziek in games aanwezig is en er zijn eigenlijk zeer weinig computerspellen die geen muziek bevatten. Muziek geeft betekenis en voegt vaak spanning aan een game toe.

Game-componist Tommy Tallarico gaf tijdens een Panel discussie over ‘Future Challenges’ op de Game Developers Conference ’06 aan dat componisten vaak gevraagd worden om “jungle-themed”-muziek te schrijven bij level dat zich in een jungle afspeelt en “space-themed”-muziek te schrijven bij een ander level dat zich in de ruimte afspeelt. Tallarico gaf aan dat hij het belangrijk vindt om zich bij het componeren niet zozeer te richten op een locatie in het spel, maar meer de conditie van het spel (bijvoorbeeld winnen of verliezen) of de emotionele staat van het spel (bijvoorbeeld droevig of blij).

Hoewel er nog steeds onderzoek verricht wordt naar de vraag of games wel emoties kunnen teweegbrengen of slechts afspiegelingen van emoties opwekken, is de game-industrie zich er van bewust dat de emotionele bagage die aan een gamer wordt meegegeven tijdens het spelen van een spel voor een groot deel uit de muziek komt. Game muziek gaat verder dan het overbrengen van emoties of het helpen van een speler bij het spelen van het spel alleen. Vaak worden de emotionele thema’s uit het genre van de filmmuziek aangesproken, waarmee vrijwel iedereen bekend is. Toch is er ook een groot verschil tussen games en film wat ook invloed heeft op de muziek: interactiviteit! Waarbij muziek in film voornamelijk spanningsbogen maakt en inspeelt op de emoties van de toeschouwer, moet gamemuziek de speler stimuleren te blijven spelen. Omdat de opbouw van een game niet even lineair als bij een film is, worden vaak andere eisen gesteld aan de opbouw van de muziek.

Naast enkel de emotionele staat van de game, wordt door de gamer ook andere betekenis ontleend aan de muziek. Vaak wordt een sociale of culturele betekenis aan de muziek meegegeven, die intrinsieke informatie geeft over wie het game karakter is in het spel. Bij Tony Hawk Pro Skater 4 is “skatermuziek” bijgevoegd, waardoor de gamer meteen overtuigd is van het feit dat hij een skater is tijdens het spelen van het spel. Uit een gebruikerstest met diverse games die wij uitvoerden bleek dat muziek soms voor een deel van de gamers de verkeerde betekenis kan hebben. Het computerspel Worms 3D, waarin twee teams met kwaadaardige wormen elkaar bestrijden, heeft in een level rustige ‘ambient’-achtige muziek. Sommige gamers vonden deze muziek erg geschikt voor het spel, daar het de concentratie en het richten op andere wormen vergemakkelijkte, terwijl andere gamers deze muziek niet geschikt vonden voor het spel: ze prefereerden muziek die het oorlogsgevoel versterkte.

Muziek is een sterk middel om de gebruiker af te sluiten van de buitenwereld en zijn vereenzelviging met de game en het gamecharacter – een belangrijke voorwaarde voor betrokkenheid – te versterken.

Voor- en nadelen van popmuziek in games
Oorspronkelijk hadden games een unieke klank, die bijdroeg aan de originele identiteit van een game. Maar inmiddels klinken games ook niet meer per definitie als ‘games’. De originele gameklanken worden al geruime tijd gebruikt in popmuziek en andere vormen van de media. Games nemen nu eigenschappen van een identiteit uit de popmuziek over. Dit spreekt vooral jongeren aan en kan in sommige gevallen erg goed werken. Racegames blijken zich uitstekend te lenen voor popmuziek. Wellicht komt dit door het relatief korte karakter van de gameplay (een race duurt meestal niet zo lang) en de analogie met het luisteren van muziek tijdens het rijden (in de echte wereld luistert men ook naar muziek in de auto). Uit een recent onderzoek blijkt zelfs dat spelers beter presteren in racegames wanneer ze luisteren naar zelf uitgekozen popmuziek (Cassidy, 2004). Steeds meer games bieden gamers de optie zelf muziek toe te voegen aan een spel.

Hoewel popmuziek kan worden gebruikt om een game een bepaalde identiteit te geven, zijn er een aantal kwesties waar een ontwikkelaar rekening mee moet houden wanneer hij of zij popmuziek in een game wil gebruiken. Het grootste nadeel van popmuziek als gamemuziek is het gebrek aan aanpassingsvermogen. Een game blijft zich constant aanpassen aan de handelingen van een speler en met game muziek wordt vaak gepoogd om vooruit te blikken op wat komen gaat om daarmee een bepaalde spanning op te bouwen. Het aanpassingsvermogen van de game muziek is hierbij cruciaal. Popmuziekcomposities zijn van nature niet adaptief, de structuur is namelijk lineair en het is niet eenvoudig deze aan te passen aan de gebeurtenissen in het spel.

Het beste is om de lineaire tracks aan te passen aan de gameplay. Hiermee moet worden opgepast dat de song niet zijn impact verliest. In Super Mario Bros versnelt de muziek naarmate de timer van de level afloopt, iets wat zeer stimulerend werkt. Wanneer hetzelfde gedaan zou worden met een bestaande popsong kan dat gevolgen hebben voor de kwaliteit van de song. Daarnaast leveren statische soundtracks vaak problemen op: veel games van tegenwoordig hebben een erg lange speelduur (80 uur is niet ongewoon) en het voortdurend herhalen van hetzelfde muziekfragment is erg storend (Sanger, 2003 hoofdstuk “Repetition is the problem”). Game-ontwikkelaars richten zich vaak op het gebruik van interactieve muzieksystemen op basis van korte fragmenten om herhaling te voorkomen. Ook lost dit problemen op met de beschikbare “resources”: geluid en muziek is nog steeds de sluitpost als het geheugen van de spelcomputers verdeeld wordt [1]. Bestaande popmuziek is vaak niet geschikt om modulair gebruikt te worden en kan minder dynamisch ingezet worden. Door de herhaling die in dit geval optreedt, kan een stuk popmuziek minder lang gebruikt worden in een game als muziek die modulair opgebouwd en dynamisch aangestuurd wordt.

Het maken van nieuwe opnamen of remixen is vaak nodig, waarna het interactieve systeem losse delen van de muziek dynamisch kan aansturen. Veelal is een nieuwe eindmix nodig, omdat de prioriteiten van de soundtrack van de game heel anders zijn. De verstaanbaarheid van de zanger kan bijvoorbeeld veel minder belangrijk zijn dan het ritme van de drums, waarop de acties van de speler uitgevoerd kunnen worden. Ook is het zaak dat de van diverse artiesten afkomstige nummers onderling gebalanceerd worden.

Tot op heden is het vaak niet eenvoudig om reeds uitgebrachte popmuziek in een game te gebruiken: het vinden van de rechthebbenden van reeds uitgebrachte platen en het sluiten van contracten over de royalty’s kan een erg tijdrovende zaak zijn [2]. Delen van de muziekindustrie staan nog niet uitsluitend positief tegenover de nieuwe ontwikkelingen, hoewel hier door het succes van sommige games verandering in komt.

Tot slot
Aan het gebruik van popmuziek zijn een aantal voordelen en nadelen verbonden. Indien rekening wordt gehouden met welke eisen een game stelt en welke doelgroep een game heeft kan popmuziek wel degelijk met succes gebruikt worden in games. Sommige games lenen zich beter dan andere voor het gebruik van reeds bestaande muziek.

[1] Het gegeven dat muziek praktisch altijd de sluitpost is bleek uit de vele lezingen tijdens de Game Developers Conference 2006, waarin dit onderwerp veelvuldig werd herhaald, bijvoorbeeld in de lezing “Film and Game sound panel: Design Choices”. Het feit dat de “Next-Gen” consoles geen speciale hardware voor geluid meer hebben maakt de strijd alleen maar moeilijker.
[2] GDC ’06, Audio Tutorial, “Music Acquisition for games” door S. Pimentel – Music Licensing and A&R Manager.

—————————————————————————————————————

Literatuur

Brown, E. en Cairns, P. A grounded investigation of game immersion. Vienna: University College London Interaction Centre (UCLIC), Conference on Human Factors in Computing Systems, ACM Press, 2004.

Cassidy, G., et al. The Effects of Aggressive and Relaxing Popular Music on Driving
Game Performance and Evaluation. Digital Games Research Association International
Conference, 2005.

Chion, M. Audiovision, Sound on Screen. New York: Columbia University Press, 1994.

Crawford, C. The Art of Computer Game Design. 27 mei 1997. Washington State University. 10 juni 2006. http://www.vancouver.wsu.edu/fac/peabody/game-book/Coverpage.html.

Sanger, G. “Fat Man”. The Fat Man on Game Audio: Tasty Morsels of Sonic Goodness. Indianapolis: New Riders Publishers, 2003.

Stockburger, A. The game environment from an auditive perspective. Utrecht: Level Up Digital Games Research Conference, Faculty of Arts, Utrecht University, 2003.

Whalen, Z. “Play Along – An Approach to Videogame Music.” International Journal of Computer Game Research volume 4, issue 1 (2004), November 2004

Games

Amplitude (PS2). Developed by Harmonix, Published by SCEA. maart 2003.

Donkey Konga 2 (GameCube). Developed by Namco. Published by Nintendo. 9 mei 2005.
www.donkeykonga.com

Grand Theft Auto III (PC). Rockstar Games. 21 mei, 2002.
www.rockstargames.com

Guitar Hero (PS2). Developed by Harmonix. Published by RedOctane. 1 November 2005.
www.guitarherogame.com

Prince of Persia – The Sands of Time (PC). Developed by Ubi Soft Entertainment. Published by Ubisoft. 2 December 2003.

Rez (PS2). Developed by United Game Artists. Published by SEGA. 8 januari 2002.

SingStar (PS2). Developed by SCEE. Published by Sony Computer Entertainment. 21 mei 2004.
www.singstargame.com

Super Mario Bros (NES). Developed by Nintedo. Published by Nintendo. October 1985.

Technic Beat (PS2). Developed by Arika. Published by Mastiff. 3 november 2004.

The Sims 2 (PC). Developed by Maxis. Published by Electronic Arts. 14 september 2004.
http://www.thesims2.com

Tony Hawk Pro Skater 4 (PC). Developed by Beenox / Neversoft Entertainment. Published by Aspyr. Activision. 31 augustus 2003 .

Vib Ribbon (PlayStation). Developed by SCEJ / Nana On Sha. Published by Sony Computer Entertainment. 9 december 1999.
http://www.vibribbon.com/

Worms 3D (PC). Developed by Team17 Software. Published by SEGA / Acclaim. 11 maart 2004.

Disclaimer: this is an document reporting the state of a rapidly developing field, many facts may be outdated. Mainly intended for “nostalgia” or reference! You can download the original report as PDF (Dutch) or read the article below this line, oftewel het artikel hieronder lezen: (Dutchy stuff has already started)

Game Developers Conference 2006

© Richard van Tol en Sander Huiberts, Utrecht School of the Arts, 2006.

Inleiding
Dit document omvat een verslag van diverse ontwikkelingen op het gebied van game audio design, naar aanleiding van de Game Developers Conference ’06.

Muziek in games
De grote nadruk van dit jaar lag op de samensmelting van de populaire muziekindustrie en de game industrie. Popmuziek wordt meer en meer toegepast in games en gamemuziek vindt steeds vaker haar weg in andere multimedia buiten (vaak nog wel rondom) games, zoals: audio-cd’s, commercials, film, etc. Een bedrijf als Sony kan hierdoor haar producten (zowel games (PlayStation) als muziek (Sony Record Label)) wijder verspreiden.

Tot voor kort was de muziekindustrie erg afwachtend en niet erg happig om zijn/haar artiesten te verbinden aan games. Het succes van bijvoorbeeld Guitar Hero en SingStar heeft dit veranderd. Deze games zijn een goed voorbeeld dat het promoten van muziek van de muziekindustrie in games erg interessant is en dat games gebaseerd op populaire muziek leuke gameplay kunnen opleveren voor een zeer breed (nieuw) publiek.

Music Director
Door de bovengenoemde ontwikkelingen is er een nieuwe taak ontstaan binnen veel game bedrijven: de music director. Deze werkt samen met of onder supervisie van de audio director en coördineert alle zaken die te maken hebben met de soundtrack van een game. Deze persoon organiseert pitchings met componisten of gaat hij achter de rechten van de muziek die men wil gebruiken aan.
Designers weten vaak niet hoe ze zich zo moeten uitdrukken dat een componist er veel aan heeft. Vaak drukt men teveel de omgeving van de levels uit, in plaats van de emoties van de levels. Idealiter wil de componist een creatieve license en ook informatie over “ik wil dat de speler X voelt en Y denkt.”

Een paar voordelen van de music director: Hij spreekt de taal van de componist. Dit is makkelijker voor de componist en voor de verschillende betrokken partijen. Hij heeft verstand van de “ins en outs” van muziek en de productie ervan. Hij heeft een beter beeld van wat werkt in games.

Game Muziek & Royalties
Bij populaire muziek blijkt het een enorme klus om tot overeenkomsten te komen voor het licenseren van popmuziek naar games. Met name het vinden van de rechthebbenden van de rechten van hiphoptracks is een lastige taak. Er is namelijk vaak niet sprake van 1 rechthebbende, maar een aantal rechthebbenden (d.w.z. de
zogenaamde “splits” door o.a. verschillende teksten, muziek, duo-rappers, collectieven) en per land liggen de exploitatierechten ook nog eens vaak in meerdere handen. Een schijnend voorbeeld was een A&R manager die 4 maanden heeft gezocht naar de rechthebbende van een track van “The Roots” en 160 contracten moest tekenen voor het gebruiken van 20 bestaande tracks in een game. Mede daarom is het voor de industrie erg interessant om artiesten uit de muziekindustrie direct (dus niet achteraf na het schrijven en uitbrengen van een track) te vragen om exclusieve tracks te schrijven voor een game.

Remixen popmuziek
Interessant is dat de gelicenseerde tracks uiteindelijk voordat ze in de game gebruikt worden, vaak eerst opnieuw afgemixt worden. Het originele materiaal wordt opnieuw voornamelijk met een andere balans afgemixt. Vaak moeten de stemmen iets zachter en de drums harder, omdat de het ritme van de
achtergrondmuziek belangrijk is en de tekst van de stemmen in een game minder. Uiteraard moet bij het afmixen ook rekening gehouden worden met de overige sound effects in de game. Uiteindelijk kan hier dus een nieuwe specialisatie ontstaan: audio remixing voor games.

Overigens houdt men zich in het veld helemaal niet bezig met de vraag of popmuziek in games wel geschikt is, of de beste oplossing. Men doet het waarschijnlijk omdat de gamer zijn favoriete muziek in een game wil, of omdat de industrie dat wil. Een wat onsamenhangend onderzoek dat ook gepresenteerd is toont aan dat gamers beter presteren als ze een game kunnen spelen met hun zelf gekozen muziek. Of ze het spel ook als leuker ervaren blijkt hier geenszins uit, en wij zetten behoorlijk wat vraagtekens bij het onderzoek. Op verzoek zijn de details bij ons te verkrijgen.

De componisten van game muziek
De componisten van game muziek gaan grotere bekendheid krijgen als artiest, als het aan de componisten ligt (is een algemene opvatting). In de praktijk blijkt dat veel game muziek nu vaak gebruikt wordt voor meer dan alleen een game, zoals commercials, trailers, soundtracks, ringtones, maar ook als underscores bij
televisieprogramma’s en de SuperBowl. Het optreden van muziek buiten games en de promotie van games zou royalties op moeten leveren, menen de componisten. Daarnaast zou de music pers een grotere rol moeten gaan spelen bij het reviewen van game music, zoals dat ook al gebeurt bij muziek van films. Als popartiesten wel uitdrukkelijk genoemd worden bij de muziek in games, waarom de componisten
dan niet? We gaan nog veel van de componisten horen. Hoe krijg je goede muziek voor je game/hoe vind je de juiste componist? Er waren enkele sessies over het vinden van de juiste componist voor een game. Er
werd een (schrijnend) voorbeeld gegeven van John Williams, die compleet verkeerde muziek instuurde voor een pitching voor de First Person oorlogs-shooter “Tom Clancy Ghost Recon 3” (van Steven Spielberg). Dit lag niet alleen aan het feit dat componisten (die, zoals John Williams, vaak uit de filmindustrie komen) zich te weinig inleven in games (d.m.v. vragen stellen, vergelijkbare games spelen, etc.) maar ook doordat designers vaak weten niet hoe ze zich moeten uitdrukken over muziek. Het geven van een lijstje met keywords waar de game over gaat kan dus volledig verkeerd uitpakken. Het woord “heroïsch” kan wel eens
interpretatieverschillen opleveren, zeker als de componist zelf niet veel games speelt of gespeeld heeft.

Er werden voorbeelden gegeven van hoe je zo goed mogelijk aan een componist komt. Het is een behoorlijke klus, je kunt je uiteindelijk voorstellen waarom een game bedrijf een music director heeft, die zelf niet eens de muziek maakt! Dit is ongeveer de het stappenplan:

• Weet waar je game over gaat, omschrijf hem heel goed, geef zoveel mogelijk informatie over waar het zich afspeelt, wanneer, wat de hoofdkarakters zijn, de doelen in de game, de verhaallijn, de doelgroep, etc;
• Organiseer een meeting met de producer, het hoofd van de marketing, de (lead) game designer, (lead) audio designer of audio director en de music director van de game;
• Vecht uit wie de componist mag kiezen, de audio director of de producer;
• Doel van de meeting:

• Overeenkomsten vinden tussen de betrokkenen;
• Overeenkomen welke stijl het gaat worden;
• Categoriseren keywords en omschrijving;
• Subcategoriseren keywords en omschrijving;
• Discussiëren over meningsverschillen;
• Alle gegevens samenvatten en alle partijen laten ondertekenen (!).

• Audio director en music director luisteren naar beschikbare “demo reels”, stellen een lijst van componisten samen en nemen stukken voorbeeldmuziek (reference music) die getest worden in de context;
• De componisten krijgen:

• Alle informatie over de game (zie eerste punt);
• Artwork, captures, afbeeldingen, foto’s;
• Samenvatting van de muzikale stijl;
• Muziekvoorbeelden (reference music);
• Omschrijving van de rol van muziek in de game;
• Technische specificaties (hoe de muziek aangestuurd wordt, hoe de muziek opgebouwd moet zijn, de lengte van de stukken etc).

• Organiseren van een pitching. Iedereen krijgt de documenten en de opdracht om tot 5 minuten voor een specifieke level te maken volgens een specifieke technische implementatie. Zo kunnen de stukken muziek meteen in de game getest worden.
• De pitches worden gereviewd. De verschillende partijen krijgen een stukje muziek en mogen ernaar luisteren in de context van de game. Er wordt een samenvatting gemaakt van wat is ingeleverd. Punt van aandacht: Hebben ze voldaan aan de outline, zowel technisch als artistiek?

• Er wordt een meeting georganiseerd met de partijen. Men kiest voor een componist. Er werd niet bijgezegd dat iedereen hier weer moest ondertekenen, maar wij denken dat dit ook hier zal gebeuren en anders in de nabije toekomst wel.

• De componist wordt uitgenodigd in de studio. Er wordt gepraat over wat men goed en slecht vond. Er wordt overeengekomen hoeveel muziek, waar de muziek komt en hoe het gaat werken in de game. Het budget wordt overeengekomen, daarbij het budget voor onverwachte zaken en het budget voor live-muzikanten.

Na dit lange stappenplan hebben ze de juiste componist te pakken. Grappig detail is dat de 3 aanwezige componisten vertelden dat ze uiteindelijk in 99% van de gevallen totaal andere muziek maken dan ze voor de pitching hebben gedaan, omdat zij vinden dat het beter werkt en ze de betrokken partijen ervan hebben
kunnen overtuigen dat het beter is!

Game Muziek componeren
Het komt veelvuldig voor dat game designers aan een componist het volgende vragen: “we hebben een jungle-level, dus willen we daar jungle-muziek en we hebben een space-level, dus willen we space-muziek”. Het is aan de componisten om hier doorheen te prikken en niet zozeer alleen maar de (visuele) locatie in een
spel als uitgangspunt te nemen voor een compositie, maar juist voor andere parameters in het spel (gevoel van avatar in dit level, win/lose situatie, etc.). Oftewel: “writing for emotion, not environment”.

De rest: Spraak en Sound Design
Er waren geen sessies betreffende het opnemen, mixen of synthetiseren van spraak in games, of hoe om te gaan met bijvoorbeeld grote Hollywood acteurs in game producties.
Ook specifiek game sound design was niet veel aan de orde. Tijdens round table discussions werd er wel een beetje gepraat over foleywerk (met name een leuke anekdote hoe diverse sounddesigners een studio (en daarbij uiteindelijk ook een collega) in vuur en vlam zetten tijdens de opname van geluid voor de film Indiana Jones I – *inclusief* opname!) maar geen specifieke informatie voor games.

Granulaire Synthese in games
Uitzondering was een sessie over granulaire synthese in games. Helaas werd er geen werkend voorbeeld van synthese in een game gepresenteerd, maar ging de inhoud meer over wat granulaire synthese is en hoe je er mee moet beginnen. De potentie van Granulaire Synthese in games werd bijzonder duidelijk. De techniek is
erg interessant voor platforms met weinig geheugen maar wel rekencapaciteit en games zoals het aankomende Spores (van Will Wright) waarin evolutionaire systemen de hoofdrol spelen.

Nawoord (2008): Voor meer informatie zie de website van Leonard J. Paul.

Physical Modelling
9 mensen in een panel waren zeer terughoudend met physical modelling. Niet dat men er niet in gelooft, maar men gelooft er niet in, in combinatie met games. De vraag wanneer dit mogelijk zal zijn wordt beantwoord met “tegen de tijd dat we een stekker in ons hoofd stoppen.” Wil modeling het gaan overnemen, dan moet het minimaal even goed klinken als samples, maar even snel te maken zijn en evenveel resources (rekencapaciteit) innemen.

Film en game audio
Een interessante discussie was die over het verschil in game audio en film audio. Game audio wordt omschreven als ‘sonically real’ of ‘everything has sound’, terwijl film audio wordt omschreven als ‘reduced reality’, of ‘only what need sounds has sound’. In een eerdere sessie werd ook al eens gezegd dat games ontzettend vol zitten met sound design clichés: dieren zijn nooit stil, alle fietsen hebben bellen,
de nachten zitten vol krekels. Game audio moet meer ‘reduced reality’ door te kiezen voor belangrijkste character in game (ervan uitgaande dat een game een character heeft):

1. break up everything
2. which character is the player most going to relate to?
3. use perspective of that character
4. lay mix of what is most important for that character

Dit is eigenlijk dus een soort voorkeursmixen. Voortdurend wordt gekozen wat belangrijk is en niet alle geluiden zijn hoorbaar.

Game Audio engines en Game audio hardware
“After 25 years, why are we still creating audiotools?”
We zijn nog steeds audio engines aan het maken, aan het verbeteren en er is er eigenlijk nog niet één ideaal! Audio designers in games zijn met name bezig met beperkingen, limitaties en met name de limitaties in resources. Game audio productie nu wordt vergeleken met het werken in oude analoge studio’s, waarin aan de lopende band gesoldeerd en gepionierd moest worden. Met name de strijd om de beschikbare rekenkracht (lees: wat er van de lead designer maximaal nog voor geluid gebruikt mag worden) die telkens gevoerd moet worden is zwaar.

Next-gen?
De next-gen consoles (PlayStation3, Nintendo Revolution, XBOX 360) hebben geen dedicated audio hardware meer. Dit biedt enorme voordelen voor bijvoorbeeld live-synthese en levert vrijwel geen beperkingen op, alleen kan in moderne games het “vechten” voor het audio-aandeel alleen nog maar groter worden (“You have to claim your rights”). Ook moet dus wel een audio engine voorhanden zijn, want het hard-coden van de geluidsaansturing is niet efficiënt. Overigens hebben de consoles behoorlijke rekencapaciteiten: de XBOX 360 heeft drie 3,2 gigahertz processoren,
wat best flink genoemd kan worden. Overigens betaal je voor deze rekenkracht tussen de 300 en 400 euro en hij is al gehacked zodat hij ook andere dingen kan dan alleen games…

MIDI
MIDI is nog altijd niet buitenspel en met name het importeren van een soort VSTinstrumenten (de zogenaamde DSP-instruments) lijkt een interessante optie in combinatie met MIDI-aansturing. VST-plugins hebben een totaal andere efficiëntie dus deze zullen vaak niet bruikbaar blijken.

Toch zal – met de visuele focus in de game industrie – dit alleen zijn weggelegd voor experimentele spellen die bereid zijn grafische details op te offeren ten bate van het geluid. MIDI is verder voornamelijk genoemd in de context van games met zeer beperkte resources, zoals mobiele telefoons.
Het integreren van de sequencer inclusief plugins is een logische stap, met name voor adaptieve muziek. Het zal nog wel even duren, aangezien DSP-instruments en ook de effect- en masteringsplugins veel rekencapaciteit vergen. Hier hoeven we echter niet te wachten tot we stekkers in ons hoofd stoppen, het is dichterbij!

Implementatie
Het veld is er achter dat de implementatie net zo belangrijk is als de geluiden zelf. Veel sound designers willen zelf kunnen programmeren en een paar interessante cases toonden aan dat de samenwerking tussen programmeurs en sound designers/composers zeer vruchtbaar is. De meeste sound designers geven aan dat zij heel graag zelf willen implementeren met speciale scripting.

Als programmeurs
ze een tool aanbieden of uitleggen hoe het gedaan kan worden, kunnen zij hiermee meer bereiken. (letterlijk: “put the decisions to the people with ears”). Deze sound designers moeten dit dan ook wel kunnen!

Lokalisatie van audio files
Games worden enorm. Om te concurreren moet de speellengte lang zijn (meent men) en de hoeveelheid geluidscontent is dus ook echt enorm. In Halo (2) zitten 4000 Sound effects en 80.000 regels gesproken dialoog. Dit heeft grote gevolgen voor de lokalisatie van geluiden (waar zit welk geluid, hoe heet het, waar blijft het, waar sturen we het aan en is het de laatste versie?). Versiebeheer kan niet meer gewoon in een Word-documentje (zeker niet als met een heel team gewerkt wordt!) en op de beurs waren ook diverse bedrijven die interactieve file-managers
aanboden.

Overigens: hier is het een eenvoudige stap om closed-captioning (ondertiteling en omschrijving van geluiden) vanuit het versiebeheer in de game te krijgen. De game is dan toegankelijk voor slecht horenden en doven. Een omschrijving van de geluidsfiles en de op te nemen dialogen wordt toch al gemaakt. Een combinatie heeft veel voordelen.

Audio teams
Omdat de games steeds groter worden, worden de teams ook steeds groter. De
volgende mensen kunnen in een game bedrijf met audio bezig zijn:

• Lead sound designer
• Additional sound designers
• Music supervisor
• Dialog supervisor
• Foley/Postproduction sound designer
• Audio implementation staff
• Audio programmer
• Project coordination
• External: Composer/orchestrator, Dialog production house, Post production house (foley)

Nawoord (2008): Meer informatie is te vinden in

Brandon, A. (2005) Audio for Games, Planning, Process and Production. Berkeley, CA: New riders.

Next-gen-engines (Next Gengines?)
Er werd een aantal nieuwe geluidsengines gepresenteerd. Alle hebben grote voordelen, dus wederom is er weer niet één de beste…

ISACT is een audiotool met netwerk-optie. Hierdoor is het mogelijk om op één computer de game te spelen, terwijl op de andere computer de sound effects in realtime aangepast kunnen worden.
FMOD maakt het mogelijk om de aansturing van een geluid (zoals motor-engine) zeer dynamisch aan te sturen. Je creëert als het ware een virtueel instrument dat reageert op een controller (in dit geval de snelheid).

De Microsoft X3D audio library maakt het mogelijk om zeer dynamisch 3 dimensionale velden te maken, zoals een auto, waarbij aan de achterkant een uitlaat zit, aan de voorkant de motor en de remmen bij de banden. (Project Gotham Racing 3). Voor een creatieve designer is dit natuurlijk niets nieuws, de engine belooft alles geautomatiseerd te doen en daardoor veel rekenkracht te besparen. De stap naar physical modelling of een gecombineerde werkwijze is zo gemaakt, als je tot op zulke details een geluid aan het bewerken bent. Overigens klinken in heel veel gevallen de samples van motoren nog steeds “omhoog gepitched”.

© Richard van Tol en Sander Huiberts, Utrecht School of the Arts, 2006.