The example movie contains an explanation of the music system used in the Xbox-game Shortburst. It’s pretty self explanatory and shows the flexible system in real-time.

The description of the video:
“cell-based music”, or “horizontal resequencing” in a browser-based, simple, nln-player, with the music for the Xbox-game Shortburst.
The web-version of the nln-player was built with the Schillmania Soundmanager 2 library, php and javascript. The idea was to shift the focus from organising the musical material with, often complex, data-structures, to a very simple model in which the limitations for the composer were greater, but the administrative work and the needed understanding of (meta-)data was much less.
This same framework was used for the implementation of the interactive music in XNA5 for an Xbox game, Shortburst.

More information on www.greencouch.nl and www.nln-player.com

By the way, it was a great venue, featuring a truly wonderful performance installation by Matthias Oostrik. See the two pictures below I made before the summit started:

Festival of Games in Ottone

Festival of Games in Ottone

[Download the Slides as PDF]
More information and weblinks at FoG.AudioGames.net

See a slideshow below the break.

[Lees het artikel op Cut-up.com]

[Download als PDF]

—————————————————————————————————————
Fri, 23.06.2006

Inleiding
Sinds lange tijd worden computergames vergezeld van muziek. Muziek in games heeft een enorme ontwikkeling doorgemaakt: van eenvoudige synthesizermelodieën tot complete orkestwerken die tijdens het spelen van het spel afgespeeld worden. Een ontwikkeling die zich vooral de afgelopen drie jaar heeft voorgedaan is het gebruik van popmuziek in games.

Het is niet nieuw dat popmuziek en gamemuziek samengaan. Al in 1983 gebruikte de arcadegame Journey muziek van de gelijknamige hardrockband. Eén jaar daarvoor kwam de soundtrack van PacMan – in geremixte vorm maar met originele geluidseffecten – terecht op de nummer acht positie in de Amerikaanse charts. De laatste jaren is het gebruik van popmuziek in games extreem toegenomen, waarschijnlijk omdat deze ontwikkeling voor de hele entertainmentindustrie interessant is. Via games kan popmuziek gepromoot worden en in sommige gevallen kan muziek zelfs als uitbreiding op het spel verkocht worden. Games zijn vanwege de grote doelgroep een aantrekkelijk platform om muziek te verkopen. De soundtrack van de Grand Theft Auto spellen gebruikt popmuziek voor de autoradio’s in het spel. Dezelfde muziek is op audio-cd’s verkrijgbaar. Bij muziekgames zoals Guitar Hero – waarbij ingespeeld wordt op de liefhebbers van popmuziek – is het bijna onoverkomelijk om popmuziek te gebruiken in een game. Artiesten kunnen hun populariteit vergroten door zichzelf te verbinden aan populaire games. Als een opmerkelijke artiest verbonden wordt aan een game is de kans groot dat de doelgroep zich aangesproken voelt en verkoopt de game beter.

Nu popmuziek steeds vaker in games gebruikt wordt, is het interessant om eens te kijken naar de achtergronden van populaire muziek in games. Welke eigenschappen heeft muziek in games en is bestaande popmuziek wel geschikt om in games te gebruiken, in tegenstelling tot bijvoorbeeld muziek die wél speciaal voor een game geschreven is?

Gamemuziek en spelinformatie
Muziek wordt vaak ingezet om spelers te helpen bij het gamen, bijvoorbeeld om naderend gevaar aan te kondigen, waardoor de speler meer op zijn hoede is. Muziek wordt gebruikt om verschillende gebieden in de spelwereld te onderscheiden. Dit zorgt voor afwisseling en helpt de speler bij het oriënteren. Muziek geeft ook vaak verschillende modi van een spel aan. In Prince of Persia – The Sands of Time start bij elk gevecht speciale muziek, die de “vecht-modus” benadrukt. Het komt namelijk nog wel eens voor dat een speler geen vijand meer ziet terwijl die nog wel aanwezig is. De muziek laat de speler dan weten dat het gevaar nog niet geweken is.

Bij sommige spellen is muziek een essentieel onderdeel van het spel. In games zoals Guitar Hero, SingStar en Donkey Konga 2 wordt met het spel muziek gemaakt. Bij andere spellen, zoals Amplitude, Vib Ribbon, Rez en Technic Beat, wordt de speler gestimuleerd handelingen uit te voeren in het ritme van de muziek. In veel games met popmuziek is er echter geen directe link tussen het spelen van de game en de muziek, bijvoorbeeld in de Grand Theft Auto reeks.

Guitar Heroes on Captivatingsound.com

Gamemuziek en betrokkenheid
Wanneer de muziek van een spel uitgeschakeld wordt merkt een speler vaak dat de ervaring van het spel fundamenteel anders is. Het spel lijkt langer te duren en de betrokkenheid met het spel is veel lager. We zijn eraan gewend dat muziek in games aanwezig is en er zijn eigenlijk zeer weinig computerspellen die geen muziek bevatten. Muziek geeft betekenis en voegt vaak spanning aan een game toe.

Game-componist Tommy Tallarico gaf tijdens een Panel discussie over ‘Future Challenges’ op de Game Developers Conference ’06 aan dat componisten vaak gevraagd worden om “jungle-themed”-muziek te schrijven bij level dat zich in een jungle afspeelt en “space-themed”-muziek te schrijven bij een ander level dat zich in de ruimte afspeelt. Tallarico gaf aan dat hij het belangrijk vindt om zich bij het componeren niet zozeer te richten op een locatie in het spel, maar meer de conditie van het spel (bijvoorbeeld winnen of verliezen) of de emotionele staat van het spel (bijvoorbeeld droevig of blij).

Hoewel er nog steeds onderzoek verricht wordt naar de vraag of games wel emoties kunnen teweegbrengen of slechts afspiegelingen van emoties opwekken, is de game-industrie zich er van bewust dat de emotionele bagage die aan een gamer wordt meegegeven tijdens het spelen van een spel voor een groot deel uit de muziek komt. Game muziek gaat verder dan het overbrengen van emoties of het helpen van een speler bij het spelen van het spel alleen. Vaak worden de emotionele thema’s uit het genre van de filmmuziek aangesproken, waarmee vrijwel iedereen bekend is. Toch is er ook een groot verschil tussen games en film wat ook invloed heeft op de muziek: interactiviteit! Waarbij muziek in film voornamelijk spanningsbogen maakt en inspeelt op de emoties van de toeschouwer, moet gamemuziek de speler stimuleren te blijven spelen. Omdat de opbouw van een game niet even lineair als bij een film is, worden vaak andere eisen gesteld aan de opbouw van de muziek.

Naast enkel de emotionele staat van de game, wordt door de gamer ook andere betekenis ontleend aan de muziek. Vaak wordt een sociale of culturele betekenis aan de muziek meegegeven, die intrinsieke informatie geeft over wie het game karakter is in het spel. Bij Tony Hawk Pro Skater 4 is “skatermuziek” bijgevoegd, waardoor de gamer meteen overtuigd is van het feit dat hij een skater is tijdens het spelen van het spel. Uit een gebruikerstest met diverse games die wij uitvoerden bleek dat muziek soms voor een deel van de gamers de verkeerde betekenis kan hebben. Het computerspel Worms 3D, waarin twee teams met kwaadaardige wormen elkaar bestrijden, heeft in een level rustige ‘ambient’-achtige muziek. Sommige gamers vonden deze muziek erg geschikt voor het spel, daar het de concentratie en het richten op andere wormen vergemakkelijkte, terwijl andere gamers deze muziek niet geschikt vonden voor het spel: ze prefereerden muziek die het oorlogsgevoel versterkte.

Muziek is een sterk middel om de gebruiker af te sluiten van de buitenwereld en zijn vereenzelviging met de game en het gamecharacter – een belangrijke voorwaarde voor betrokkenheid – te versterken.

Voor- en nadelen van popmuziek in games
Oorspronkelijk hadden games een unieke klank, die bijdroeg aan de originele identiteit van een game. Maar inmiddels klinken games ook niet meer per definitie als ‘games’. De originele gameklanken worden al geruime tijd gebruikt in popmuziek en andere vormen van de media. Games nemen nu eigenschappen van een identiteit uit de popmuziek over. Dit spreekt vooral jongeren aan en kan in sommige gevallen erg goed werken. Racegames blijken zich uitstekend te lenen voor popmuziek. Wellicht komt dit door het relatief korte karakter van de gameplay (een race duurt meestal niet zo lang) en de analogie met het luisteren van muziek tijdens het rijden (in de echte wereld luistert men ook naar muziek in de auto). Uit een recent onderzoek blijkt zelfs dat spelers beter presteren in racegames wanneer ze luisteren naar zelf uitgekozen popmuziek (Cassidy, 2004). Steeds meer games bieden gamers de optie zelf muziek toe te voegen aan een spel.

Hoewel popmuziek kan worden gebruikt om een game een bepaalde identiteit te geven, zijn er een aantal kwesties waar een ontwikkelaar rekening mee moet houden wanneer hij of zij popmuziek in een game wil gebruiken. Het grootste nadeel van popmuziek als gamemuziek is het gebrek aan aanpassingsvermogen. Een game blijft zich constant aanpassen aan de handelingen van een speler en met game muziek wordt vaak gepoogd om vooruit te blikken op wat komen gaat om daarmee een bepaalde spanning op te bouwen. Het aanpassingsvermogen van de game muziek is hierbij cruciaal. Popmuziekcomposities zijn van nature niet adaptief, de structuur is namelijk lineair en het is niet eenvoudig deze aan te passen aan de gebeurtenissen in het spel.

Het beste is om de lineaire tracks aan te passen aan de gameplay. Hiermee moet worden opgepast dat de song niet zijn impact verliest. In Super Mario Bros versnelt de muziek naarmate de timer van de level afloopt, iets wat zeer stimulerend werkt. Wanneer hetzelfde gedaan zou worden met een bestaande popsong kan dat gevolgen hebben voor de kwaliteit van de song. Daarnaast leveren statische soundtracks vaak problemen op: veel games van tegenwoordig hebben een erg lange speelduur (80 uur is niet ongewoon) en het voortdurend herhalen van hetzelfde muziekfragment is erg storend (Sanger, 2003 hoofdstuk “Repetition is the problem”). Game-ontwikkelaars richten zich vaak op het gebruik van interactieve muzieksystemen op basis van korte fragmenten om herhaling te voorkomen. Ook lost dit problemen op met de beschikbare “resources”: geluid en muziek is nog steeds de sluitpost als het geheugen van de spelcomputers verdeeld wordt [1]. Bestaande popmuziek is vaak niet geschikt om modulair gebruikt te worden en kan minder dynamisch ingezet worden. Door de herhaling die in dit geval optreedt, kan een stuk popmuziek minder lang gebruikt worden in een game als muziek die modulair opgebouwd en dynamisch aangestuurd wordt.

Het maken van nieuwe opnamen of remixen is vaak nodig, waarna het interactieve systeem losse delen van de muziek dynamisch kan aansturen. Veelal is een nieuwe eindmix nodig, omdat de prioriteiten van de soundtrack van de game heel anders zijn. De verstaanbaarheid van de zanger kan bijvoorbeeld veel minder belangrijk zijn dan het ritme van de drums, waarop de acties van de speler uitgevoerd kunnen worden. Ook is het zaak dat de van diverse artiesten afkomstige nummers onderling gebalanceerd worden.

Tot op heden is het vaak niet eenvoudig om reeds uitgebrachte popmuziek in een game te gebruiken: het vinden van de rechthebbenden van reeds uitgebrachte platen en het sluiten van contracten over de royalty’s kan een erg tijdrovende zaak zijn [2]. Delen van de muziekindustrie staan nog niet uitsluitend positief tegenover de nieuwe ontwikkelingen, hoewel hier door het succes van sommige games verandering in komt.

Tot slot
Aan het gebruik van popmuziek zijn een aantal voordelen en nadelen verbonden. Indien rekening wordt gehouden met welke eisen een game stelt en welke doelgroep een game heeft kan popmuziek wel degelijk met succes gebruikt worden in games. Sommige games lenen zich beter dan andere voor het gebruik van reeds bestaande muziek.

[1] Het gegeven dat muziek praktisch altijd de sluitpost is bleek uit de vele lezingen tijdens de Game Developers Conference 2006, waarin dit onderwerp veelvuldig werd herhaald, bijvoorbeeld in de lezing “Film and Game sound panel: Design Choices”. Het feit dat de “Next-Gen” consoles geen speciale hardware voor geluid meer hebben maakt de strijd alleen maar moeilijker.
[2] GDC ’06, Audio Tutorial, “Music Acquisition for games” door S. Pimentel – Music Licensing and A&R Manager.

—————————————————————————————————————

Literatuur

Brown, E. en Cairns, P. A grounded investigation of game immersion. Vienna: University College London Interaction Centre (UCLIC), Conference on Human Factors in Computing Systems, ACM Press, 2004.

Cassidy, G., et al. The Effects of Aggressive and Relaxing Popular Music on Driving
Game Performance and Evaluation. Digital Games Research Association International
Conference, 2005.

Chion, M. Audiovision, Sound on Screen. New York: Columbia University Press, 1994.

Crawford, C. The Art of Computer Game Design. 27 mei 1997. Washington State University. 10 juni 2006. http://www.vancouver.wsu.edu/fac/peabody/game-book/Coverpage.html.

Sanger, G. “Fat Man”. The Fat Man on Game Audio: Tasty Morsels of Sonic Goodness. Indianapolis: New Riders Publishers, 2003.

Stockburger, A. The game environment from an auditive perspective. Utrecht: Level Up Digital Games Research Conference, Faculty of Arts, Utrecht University, 2003.

Whalen, Z. “Play Along – An Approach to Videogame Music.” International Journal of Computer Game Research volume 4, issue 1 (2004), November 2004

Games

Amplitude (PS2). Developed by Harmonix, Published by SCEA. maart 2003.

Donkey Konga 2 (GameCube). Developed by Namco. Published by Nintendo. 9 mei 2005.
www.donkeykonga.com

Grand Theft Auto III (PC). Rockstar Games. 21 mei, 2002.
www.rockstargames.com

Guitar Hero (PS2). Developed by Harmonix. Published by RedOctane. 1 November 2005.
www.guitarherogame.com

Prince of Persia – The Sands of Time (PC). Developed by Ubi Soft Entertainment. Published by Ubisoft. 2 December 2003.

Rez (PS2). Developed by United Game Artists. Published by SEGA. 8 januari 2002.

SingStar (PS2). Developed by SCEE. Published by Sony Computer Entertainment. 21 mei 2004.
www.singstargame.com

Super Mario Bros (NES). Developed by Nintedo. Published by Nintendo. October 1985.

Technic Beat (PS2). Developed by Arika. Published by Mastiff. 3 november 2004.

The Sims 2 (PC). Developed by Maxis. Published by Electronic Arts. 14 september 2004.
http://www.thesims2.com

Tony Hawk Pro Skater 4 (PC). Developed by Beenox / Neversoft Entertainment. Published by Aspyr. Activision. 31 augustus 2003 .

Vib Ribbon (PlayStation). Developed by SCEJ / Nana On Sha. Published by Sony Computer Entertainment. 9 december 1999.
http://www.vibribbon.com/

Worms 3D (PC). Developed by Team17 Software. Published by SEGA / Acclaim. 11 maart 2004.