Mapping the Field Symposium Music Design

Music Design – Mapping the Field 2010

Vrijdag 12 maart 2010 is om 12.30 uur de aftrap van het symposium
Music Design – Mapping the field 2010 in het Huis aan de Werf te Utrecht.

Deze middag zullen ontwerpers zich vanuit verschillende disciplines buigen over nieuwe ontwikkelingen rond het maken van muziek voor de podia, media, games en de muziekindustrie.

Vragen over de verschillende rollen van de muziekontwerper in multidisciplinaire producties, het dwingende keurslijf van ‘temp track’ en ‘sound-a-like’, de veranderende muziekindustrie en de gevolgen daarvan voor muziekproductie en de veranderende rol van geluid en muziek in game design zullen die middag aan de orde komen in korte en levendige discussies tussen muziekontwerpers en ontwerpers uit de genoemde disciplines (o.a. filmmakers, game designers, choreografen en programmeurs). De middag wordt samengevat en afgesloten met een keynote over ontwerpprocessen vanuit een geheel ander perspectief.

Tijdens de aansluitende borrel & buffet is er volop gelegenheid om te netwerken.

Voor de avond is er in verschillende zalen van het Huis aan de Werf een onderhoudend programma met presentaties, films, optredens en installaties samengesteld door aanstormende ontwerptalenten.

Het symposium Music Design – Mapping the field 2010 wordt georganiseerd door de opleiding Muziektechnologie en het Lectoraat Muziekontwerp van de HKU.

Mapping the Field Symposium Music Design achterkant

Meer en inschrijven op symposium.hku.nl

By the way, it was a splashing venue, featuring a truly wonderful performance installation by Matthias Oostrik. See the two pictures below I made before the summit started:

Festival of Games in Ottone

Festival of Games in Ottone

[Download the Slides as PDF]
More information and weblinks at FoG.AudioGames.net

See a slideshow below the break.

Saturday June 13. Richard van Tol and I will present developments in game music at the Music@Games Summit of the Utrecht Festival of Games. Attending this summit is free, but registration is required.

Music@Games: new developments in MultiMedia Music

The explosive growth of audiovisual culture in the last thirty years has meant an enormous development for the multimedia music genre. Music can’t be missed while watching television, or visiting theatres, movies, even museums, and of course, while playing videogames. How does the world of multimedia music work? How is it implemented and by whom? And what does adaptivity in music for games mean? Featuring interesting lectures, discussions and musical demonstrations Music@Games will reveal the connection between the music and games industry.

Music@Games is part of the program on June 13th at Ottone (map). There will also be a reception and the concert NLGD Play. The adres of Ottone is: Kromme Nieuwegracht 62, Utrecht.

NLGD Play is the perfect closing event of the Festival of Games 2009! Bring your friends and contacts to have a drink and experience the show. Make sure to register: in combination with Music@Games or directly for NLGD Play (free public event).

More information: musicatgames.nl

Download flyer_music for games as PDF

Download complete program as PDF

Game Audio Lab: an educational framework for research and design of realtime, nonlinear sound and music design. Photo © Sander Huiberts

The Music Design Group of the Utrecht School of the Arts under Jan IJzermans in the Netherlands has developed a lab for academic purposes which enables research and rapid prototyping of nonlinear audio. The system offers designers the ability to construct composite variables based on variables that are available in the original game system. In this paper, the architecture of the hardware and software as well as the motivation for this setup are discussed.

Nonlinear and adaptive systems for sound and music in games are gaining popularity due to their potential to enhance the game experience. The framework enables academics to map composite variables and adapt sound and music design in real-time during active game play. Composite variables were found to be more useful than mapping simple game parameters directly to the sound design. To give an example: mapping the state of an adaptive environment to the health level of the avatar often is too obvious for the player.

The paper also discusses the need for open game systems, which help designers to study sound design in realtime settings. Most game platforms are closed and protected by intellectual property. Interestingly, many academics mentioned this during the conference.

Unfortunately, I can’t publish the article here, so if you are interested it’s probably best to visit the AES website. The reference to the article is:

Huiberts, S. Van Tol, R and Went, K. (2009) GAME AUDIO LAB – AN ARCHITECTURAL FRAMEWORK FOR NONLINEAR AUDIO IN GAMES. In: Kelly, M. Proceedings AES 35th International Conference Audio for Games, 2009. Royal Academy of Engineering, London, UK.

Kees presenting at the AES. Photo: Sander Huiberts

Some video demos of applications (Half-Life 2 Source engine, OSC, Bridge software, FMOD and GStoolkit in Max/MSP) are listed below:

Credits for the game lab and these applications go to Arjen Schut, Mark Doeze, Maurice Alberts, Ramon Kerstens and Rogier Habraken. They truly did a wonderful job in this project.

Full demonstration Game Audio Lab Half Life 2: actual game play (select watch in high quality):

Simple demonstration: gunsound impact changes:

Simple demonstration: atmosphere dynamically changes with health status:

[For more information and the slides of this presentation, head over to adaptivemusicsystems.hku.nl]

To make things clear: we’re not talking about composing a song from the beginning to the end (linear music); the composer makes a large amount of musical ‘cells’ and the system selects new cells based on the rules of the composer (nonlinear music). Such an approach can be highly suitable for games, that mostly have a nonlinear character, as the music is able to correspond with the narrative or the presupposed experience of the player. And at least, we’re preventing the repetitive background track that drives players crazy.

The adeptive toolkit is still being developed, and now the developers have published a demonstration video of the toolkit with music composed by Than van Nispen. This is an interesting annotated video which shows the value of this system. What you see is an overview screen with music cells and a two-dimensional dipolar state diagram, which triggers the music. Notice the real-time “Notepad”-information which shows what is going on (real-time!).

The research focused on a basic nonlinear (adaptive) music structure, with a composer (non programmer) friendly approach to use any audio with a basic data design for nonlinear music, to enable prototyping and communication between game developers and composers.

[Watch the annotated nonlinear game music in Adeptive Toolkit v0.9 video here]

[Visit the Adaptive music systems Research group here]

[1] Vincent Akkermans, Bertus van Dalen, Siebe Domeijer, Than van Nispen tot Pannerden and Pınar Temiz.

Update: the adeptive toolkit has been published here. Read info from the devs below the cut:

The Adeptive Toolkit is an interface to a nonlinear music structure.

At the Utrecht School of Music and Technology, Bernard Herrmann’s flexible film composition methods were researched: a method of ‘cell composition’ – a cell being a small musical element or motif. Cells can be succeeded by different other cells, the choice depending on the demand of the (game/interactive) system (for example: more tension).

Cells are connected by transitions. The connections give the sense of a network, hence the term ‘cellnetwork’. Composers can chop their music into flexible cell-pieces, connect these with conditional transitions and value the cells with some variable, for example: “tension – 5″.

A flexible and responsive continuity in music can be created. A composer will then typically find himself making more and different transitions and ‘musical paths’ when he finds out how to serve the demands of the game better.

A video game engine communicates a request to the music structure, for example: avatar health 1. In this case, the music will transition to the ‘almost dead’ music IF the composer indeed provided a convenient transition network through his material.

Generally the ‘cellnetwork method’, reflected in the Toolkit, has been found an interesting way to deal with nonlinear music in contexts.The use of an open-source Max/MSP elaboration of the Cellnetwork Method could provide quick access to editing and expanding the system, as Max/MSP is used by many music technologists, sound designers and composers.

If you like to evaluate this toolkit, I’d suggest to contact the developers. They are interested in collaborating with other parties in order to expand this toolkit.

In the past years, I’ve designed quite some audio menus for audio games and supervised projects that used audio-only interaction for blind users. Below I share some of my experiences concerning these menus, and include the original recommendations of the thesis.

illustration by zkukkuiz

An updated summary of Audio Menus (2002).

An audio menu is a menu, which utilizes sound as primary feedback mechanic. The user interacts in various ways with the menu system, for example with keys or speech control. Audio menus are mostly found in applications where the user is not able to use the visual alternatives of menus. Also, when the menu is not in sight (controlling the menu of a ’smarthome’-system throughout the building) or when a visual task is required (e.g. in a car), audio menus can be valuable. At present, audio menus are most frequently found in audio games [2] or games for the blind.

In general, these menus do not seem to be as pleasant and user-friendly as most visual menus are. Current menus found in phone systems often read out all the options, before letting the user make his choice. In this case, the user often feels passive due to this very passive way of interaction. In this case, the user is waiting continuously.
When developing an audio menu, one could choose a ‘more active’ interaction model, in which the user can browse with two keys and listen to each option in his own tempo. In that case, he can interrupt options and confirm his choice. With this model the waiting time is decreased because the menu-system does not have to tell the user which option corresponds to which key every time, which prevents listener-fatigue when used frequently. Also, the user might feel ‘in control’ instead of slaved to the application, while carrying out instructions. Yet, the instructions for a more active interaction model requires more explanation and some players have difficulties, because of their non-existent expectations.

One key issue to acknowledge is that the domain of audio fundamentally differs from the visual domain. The information in the auditory domain is presented in time instead of at the same time on screen. For the user, it can be rather difficult to keep overview. This also has implications for the number of options that can be represented in one menu layer: after 7 options, most users have forgotten what the first options were. A good source on this aspect comes from Buxton, Gaver & Bly (1991) [3]. The following information is abstracted from their article, which shows the strengths and weaknesses of using audio in the interface:

Other considerations to improve usability are:

• decrease the number of choices within one level of the menu, to ease navigation and increase overview;
• rearrange the options in a more logical order so the desired option is found faster, preferably adaptive to the presumed task of the user, following user profiles;
• using background sound to give the user an impression of the menu-layers and the structure of the menu [4]. In a prototype that was made for the menu, most users understood the function of an ambient sound layer that altered when a different layer of the menu was accessed. The main menu can be easily accentuated with sound;
• choosing the correct terminology in the explanation to inform the user about the menu-interaction. Visual references can be misleading when interacting in the auditory domain. To give examples: what is ‘back to top’ when using sound? What is the most right option?

One should also take into account that the user goes through a learning process. Few users have encountered an audio menu, and do not have experiences with audio menus on regular computers. The presence of a computer screen often has high impact on the expectations of the user. It can be desirable to replay the spoken explanation for users that do not interact with the menu and use and alternative – more complete – explanation when they do not seem to understand at all how to interact with the system.

A difficulty with audio menus is that experienced users as well as novice users have to be able to work with the menu. In graphical menus, this is not an issue, as the user knows the location of the button and does not have to wait for the options to appear.
A way of handling this is to assume that experienced users use higher interaction speeds: they know the options and are already acquainted with the controls. A designer can choose to wait for a short period before playing the explanation files, so experienced users do not have to hear “This is an audio menu. Use these keys to browse…”. Also, auditory icons can accomplish this ‘need for speed’, when they replace the function of the speech samples. In the audio game Drive (2002) [5], these techniques were applied to allow the player to navigate with high speed, while hearing only the short and subtle icons (so only the beginning of the files). The short silence between the tones and the speech fragment prevents clicks in the audio. Novice users just listen to the complete sound file and make their choice in their own time.

The short auditory icon at the beginning of the sound file allows fast navigation for experienced users.

A more frequent use of audio menu’s and a (perhaps spontaneously arised) standardization are likely to have a positive effect on the expectation and experience of users.

References

[1] The author would like to express gratitude to Jan IJzermans, Richard van Tol. Hugo Verweij and Kees Went.

[2] AudioGames.net

[3] Buxton, W., Gaver, W. & Bly, S. (1991). The use of non-speech audio at the interface. Tutorial no. 8. In: CHI’91 Conference proceedings, Human Factors in Computing Systems, ‘Reaching through technology,’ New Orleans, ACM Press: Addison-Wesley.

[4] This technique was implemented in the main menu of the Audio Game Maker by The Bartiméus Accessibility Foundation.

[5] Huiberts, Van Tol, Verweij. Utrecht School of the Arts. Review and research report at AudioGames.net

Reference:

Huiberts, S. (2002). Audio menus. Unpublished thesis. (Utrecht School of the Arts, The Netherlands). Updated abstract, 2008, Retrieved 15 December, 2008, from
http://captivatingsound.com/audio-only-menus/

The moderators of PUGS are Richard van Tol and Sander Huiberts. For the past three years the have been giving a course Game Audio Design at the Utrecht School of the Arts (Netherlands), in which the students were asked to reflect upon game sound, similar to the idea behind PUGS.com (“gather 1 minute of footage of what you consider to be ‘good’ game audio and 1 minute of footage of what you consider to be ‘bad’ game audio”).

Please feel free to contribute to this website either by uploading your favourite example of good or bad game audio, or by commenting the uploaded examples of others!

[visit PUGS]

Based on our review of literature and repertoire we have formulated a framework that uses an alternate approach to classify game audio: the IEZA framework. The primary purpose is to refine insight in the communication by means of game audio by providing a coherent organization of four domains belonging to two dimensions.

The authors would like to thank Jan IJzermans for his conceptual contribution to IEZA, as well as the feedback to the article.

[Read the article about the IEZA framework at Gamasutra]

[PDF]

Disclaimer: this is an document reporting the state of a rapidly developing field, many facts may be outdated. Mainly intended for “nostalgia” or reference! You can download the original report as PDF (Dutch) or read the article below this line, oftewel het artikel hieronder lezen: (Dutchy stuff has already started)

Game Developers Conference 2006

© Richard van Tol en Sander Huiberts, Utrecht School of the Arts, 2006.

Inleiding
Dit document omvat een verslag van diverse ontwikkelingen op het gebied van game audio design, naar aanleiding van de Game Developers Conference ‘06.

Muziek in games
De grote nadruk van dit jaar lag op de samensmelting van de populaire muziekindustrie en de game industrie. Popmuziek wordt meer en meer toegepast in games en gamemuziek vindt steeds vaker haar weg in andere multimedia buiten (vaak nog wel rondom) games, zoals: audio-cd’s, commercials, film, etc. Een bedrijf als Sony kan hierdoor haar producten (zowel games (PlayStation) als muziek (Sony Record Label)) wijder verspreiden.

Tot voor kort was de muziekindustrie erg afwachtend en niet erg happig om zijn/haar artiesten te verbinden aan games. Het succes van bijvoorbeeld Guitar Hero en SingStar heeft dit veranderd. Deze games zijn een goed voorbeeld dat het promoten van muziek van de muziekindustrie in games erg interessant is en dat games gebaseerd op populaire muziek leuke gameplay kunnen opleveren voor een zeer breed (nieuw) publiek.

Music Director
Door de bovengenoemde ontwikkelingen is er een nieuwe taak ontstaan binnen veel game bedrijven: de music director. Deze werkt samen met of onder supervisie van de audio director en coördineert alle zaken die te maken hebben met de soundtrack van een game. Deze persoon organiseert pitchings met componisten of gaat hij achter de rechten van de muziek die men wil gebruiken aan.
Designers weten vaak niet hoe ze zich zo moeten uitdrukken dat een componist er veel aan heeft. Vaak drukt men teveel de omgeving van de levels uit, in plaats van de emoties van de levels. Idealiter wil de componist een creatieve license en ook informatie over “ik wil dat de speler X voelt en Y denkt.”

Een paar voordelen van de music director: Hij spreekt de taal van de componist. Dit is makkelijker voor de componist en voor de verschillende betrokken partijen. Hij heeft verstand van de “ins en outs” van muziek en de productie ervan. Hij heeft een beter beeld van wat werkt in games.

Game Muziek & Royalties
Bij populaire muziek blijkt het een enorme klus om tot overeenkomsten te komen voor het licenseren van popmuziek naar games. Met name het vinden van de rechthebbenden van de rechten van hiphoptracks is een lastige taak. Er is namelijk vaak niet sprake van 1 rechthebbende, maar een aantal rechthebbenden (d.w.z. de
zogenaamde “splits” door o.a. verschillende teksten, muziek, duo-rappers, collectieven) en per land liggen de exploitatierechten ook nog eens vaak in meerdere handen. Een schijnend voorbeeld was een A&R manager die 4 maanden heeft gezocht naar de rechthebbende van een track van “The Roots” en 160 contracten moest tekenen voor het gebruiken van 20 bestaande tracks in een game. Mede daarom is het voor de industrie erg interessant om artiesten uit de muziekindustrie direct (dus niet achteraf na het schrijven en uitbrengen van een track) te vragen om exclusieve tracks te schrijven voor een game.

Remixen popmuziek
Interessant is dat de gelicenseerde tracks uiteindelijk voordat ze in de game gebruikt worden, vaak eerst opnieuw afgemixt worden. Het originele materiaal wordt opnieuw voornamelijk met een andere balans afgemixt. Vaak moeten de stemmen iets zachter en de drums harder, omdat de het ritme van de
achtergrondmuziek belangrijk is en de tekst van de stemmen in een game minder. Uiteraard moet bij het afmixen ook rekening gehouden worden met de overige sound effects in de game. Uiteindelijk kan hier dus een nieuwe specialisatie ontstaan: audio remixing voor games.

Overigens houdt men zich in het veld helemaal niet bezig met de vraag of popmuziek in games wel geschikt is, of de beste oplossing. Men doet het waarschijnlijk omdat de gamer zijn favoriete muziek in een game wil, of omdat de industrie dat wil. Een wat onsamenhangend onderzoek dat ook gepresenteerd is toont aan dat gamers beter presteren als ze een game kunnen spelen met hun zelf gekozen muziek. Of ze het spel ook als leuker ervaren blijkt hier geenszins uit, en wij zetten behoorlijk wat vraagtekens bij het onderzoek. Op verzoek zijn de details bij ons te verkrijgen.

De componisten van game muziek
De componisten van game muziek gaan grotere bekendheid krijgen als artiest, als het aan de componisten ligt (is een algemene opvatting). In de praktijk blijkt dat veel game muziek nu vaak gebruikt wordt voor meer dan alleen een game, zoals commercials, trailers, soundtracks, ringtones, maar ook als underscores bij
televisieprogramma’s en de SuperBowl. Het optreden van muziek buiten games en de promotie van games zou royalties op moeten leveren, menen de componisten. Daarnaast zou de music pers een grotere rol moeten gaan spelen bij het reviewen van game music, zoals dat ook al gebeurt bij muziek van films. Als popartiesten wel uitdrukkelijk genoemd worden bij de muziek in games, waarom de componisten
dan niet? We gaan nog veel van de componisten horen. Hoe krijg je goede muziek voor je game/hoe vind je de juiste componist? Er waren enkele sessies over het vinden van de juiste componist voor een game. Er
werd een (schrijnend) voorbeeld gegeven van John Williams, die compleet verkeerde muziek instuurde voor een pitching voor de First Person oorlogs-shooter “Tom Clancy Ghost Recon 3” (van Steven Spielberg). Dit lag niet alleen aan het feit dat componisten (die, zoals John Williams, vaak uit de filmindustrie komen) zich te weinig inleven in games (d.m.v. vragen stellen, vergelijkbare games spelen, etc.) maar ook doordat designers vaak weten niet hoe ze zich moeten uitdrukken over muziek. Het geven van een lijstje met keywords waar de game over gaat kan dus volledig verkeerd uitpakken. Het woord “heroïsch” kan wel eens
interpretatieverschillen opleveren, zeker als de componist zelf niet veel games speelt of gespeeld heeft.

Er werden voorbeelden gegeven van hoe je zo goed mogelijk aan een componist komt. Het is een behoorlijke klus, je kunt je uiteindelijk voorstellen waarom een game bedrijf een music director heeft, die zelf niet eens de muziek maakt! Dit is ongeveer de het stappenplan:

• Weet waar je game over gaat, omschrijf hem heel goed, geef zoveel mogelijk informatie over waar het zich afspeelt, wanneer, wat de hoofdkarakters zijn, de doelen in de game, de verhaallijn, de doelgroep, etc;
• Organiseer een meeting met de producer, het hoofd van de marketing, de (lead) game designer, (lead) audio designer of audio director en de music director van de game;
• Vecht uit wie de componist mag kiezen, de audio director of de producer;
• Doel van de meeting:

• Overeenkomsten vinden tussen de betrokkenen;
• Overeenkomen welke stijl het gaat worden;
• Categoriseren keywords en omschrijving;
• Subcategoriseren keywords en omschrijving;
• Discussiëren over meningsverschillen;
• Alle gegevens samenvatten en alle partijen laten ondertekenen (!).

• Audio director en music director luisteren naar beschikbare “demo reels”, stellen een lijst van componisten samen en nemen stukken voorbeeldmuziek (reference music) die getest worden in de context;
• De componisten krijgen:

• Alle informatie over de game (zie eerste punt);
• Artwork, captures, afbeeldingen, foto’s;
• Samenvatting van de muzikale stijl;
• Muziekvoorbeelden (reference music);
• Omschrijving van de rol van muziek in de game;
• Technische specificaties (hoe de muziek aangestuurd wordt, hoe de muziek opgebouwd moet zijn, de lengte van de stukken etc).

• Organiseren van een pitching. Iedereen krijgt de documenten en de opdracht om tot 5 minuten voor een specifieke level te maken volgens een specifieke technische implementatie. Zo kunnen de stukken muziek meteen in de game getest worden.
• De pitches worden gereviewd. De verschillende partijen krijgen een stukje muziek en mogen ernaar luisteren in de context van de game. Er wordt een samenvatting gemaakt van wat is ingeleverd. Punt van aandacht: Hebben ze voldaan aan de outline, zowel technisch als artistiek?

• Er wordt een meeting georganiseerd met de partijen. Men kiest voor een componist. Er werd niet bijgezegd dat iedereen hier weer moest ondertekenen, maar wij denken dat dit ook hier zal gebeuren en anders in de nabije toekomst wel.

• De componist wordt uitgenodigd in de studio. Er wordt gepraat over wat men goed en slecht vond. Er wordt overeengekomen hoeveel muziek, waar de muziek komt en hoe het gaat werken in de game. Het budget wordt overeengekomen, daarbij het budget voor onverwachte zaken en het budget voor live-muzikanten.

Na dit lange stappenplan hebben ze de juiste componist te pakken. Grappig detail is dat de 3 aanwezige componisten vertelden dat ze uiteindelijk in 99% van de gevallen totaal andere muziek maken dan ze voor de pitching hebben gedaan, omdat zij vinden dat het beter werkt en ze de betrokken partijen ervan hebben
kunnen overtuigen dat het beter is!

Game Muziek componeren
Het komt veelvuldig voor dat game designers aan een componist het volgende vragen: “we hebben een jungle-level, dus willen we daar jungle-muziek en we hebben een space-level, dus willen we space-muziek”. Het is aan de componisten om hier doorheen te prikken en niet zozeer alleen maar de (visuele) locatie in een
spel als uitgangspunt te nemen voor een compositie, maar juist voor andere parameters in het spel (gevoel van avatar in dit level, win/lose situatie, etc.). Oftewel: “writing for emotion, not environment”.

De rest: Spraak en Sound Design
Er waren geen sessies betreffende het opnemen, mixen of synthetiseren van spraak in games, of hoe om te gaan met bijvoorbeeld grote Hollywood acteurs in game producties.
Ook specifiek game sound design was niet veel aan de orde. Tijdens round table discussions werd er wel een beetje gepraat over foleywerk (met name een leuke anekdote hoe diverse sounddesigners een studio (en daarbij uiteindelijk ook een collega) in vuur en vlam zetten tijdens de opname van geluid voor de film Indiana Jones I – *inclusief* opname!) maar geen specifieke informatie voor games.

Granulaire Synthese in games
Uitzondering was een sessie over granulaire synthese in games. Helaas werd er geen werkend voorbeeld van synthese in een game gepresenteerd, maar ging de inhoud meer over wat granulaire synthese is en hoe je er mee moet beginnen. De potentie van Granulaire Synthese in games werd bijzonder duidelijk. De techniek is
erg interessant voor platforms met weinig geheugen maar wel rekencapaciteit en games zoals het aankomende Spores (van Will Wright) waarin evolutionaire systemen de hoofdrol spelen.

Nawoord (2008): Voor meer informatie zie de website van Leonard J. Paul.

Physical Modelling
9 mensen in een panel waren zeer terughoudend met physical modelling. Niet dat men er niet in gelooft, maar men gelooft er niet in, in combinatie met games. De vraag wanneer dit mogelijk zal zijn wordt beantwoord met “tegen de tijd dat we een stekker in ons hoofd stoppen.” Wil modeling het gaan overnemen, dan moet het minimaal even goed klinken als samples, maar even snel te maken zijn en evenveel resources (rekencapaciteit) innemen.

Film en game audio
Een interessante discussie was die over het verschil in game audio en film audio. Game audio wordt omschreven als ‘sonically real’ of ‘everything has sound’, terwijl film audio wordt omschreven als ‘reduced reality’, of ‘only what need sounds has sound’. In een eerdere sessie werd ook al eens gezegd dat games ontzettend vol zitten met sound design clichés: dieren zijn nooit stil, alle fietsen hebben bellen,
de nachten zitten vol krekels. Game audio moet meer ‘reduced reality’ door te kiezen voor belangrijkste character in game (ervan uitgaande dat een game een character heeft):

1. break up everything
2. which character is the player most going to relate to?
3. use perspective of that character
4. lay mix of what is most important for that character

Dit is eigenlijk dus een soort voorkeursmixen. Voortdurend wordt gekozen wat belangrijk is en niet alle geluiden zijn hoorbaar.

Game Audio engines en Game audio hardware
“After 25 years, why are we still creating audiotools?”
We zijn nog steeds audio engines aan het maken, aan het verbeteren en er is er eigenlijk nog niet één ideaal! Audio designers in games zijn met name bezig met beperkingen, limitaties en met name de limitaties in resources. Game audio productie nu wordt vergeleken met het werken in oude analoge studio’s, waarin aan de lopende band gesoldeerd en gepionierd moest worden. Met name de strijd om de beschikbare rekenkracht (lees: wat er van de lead designer maximaal nog voor geluid gebruikt mag worden) die telkens gevoerd moet worden is zwaar.

Next-gen?
De next-gen consoles (PlayStation3, Nintendo Revolution, XBOX 360) hebben geen dedicated audio hardware meer. Dit biedt enorme voordelen voor bijvoorbeeld live-synthese en levert vrijwel geen beperkingen op, alleen kan in moderne games het “vechten” voor het audio-aandeel alleen nog maar groter worden (“You have to claim your rights”). Ook moet dus wel een audio engine voorhanden zijn, want het hard-coden van de geluidsaansturing is niet efficiënt. Overigens hebben de consoles behoorlijke rekencapaciteiten: de XBOX 360 heeft drie 3,2 gigahertz processoren,
wat best flink genoemd kan worden. Overigens betaal je voor deze rekenkracht tussen de 300 en 400 euro en hij is al gehacked zodat hij ook andere dingen kan dan alleen games…

MIDI
MIDI is nog altijd niet buitenspel en met name het importeren van een soort VSTinstrumenten (de zogenaamde DSP-instruments) lijkt een interessante optie in combinatie met MIDI-aansturing. VST-plugins hebben een totaal andere efficiëntie dus deze zullen vaak niet bruikbaar blijken.

Toch zal – met de visuele focus in de game industrie – dit alleen zijn weggelegd voor experimentele spellen die bereid zijn grafische details op te offeren ten bate van het geluid. MIDI is verder voornamelijk genoemd in de context van games met zeer beperkte resources, zoals mobiele telefoons.
Het integreren van de sequencer inclusief plugins is een logische stap, met name voor adaptieve muziek. Het zal nog wel even duren, aangezien DSP-instruments en ook de effect- en masteringsplugins veel rekencapaciteit vergen. Hier hoeven we echter niet te wachten tot we stekkers in ons hoofd stoppen, het is dichterbij!

Implementatie
Het veld is er achter dat de implementatie net zo belangrijk is als de geluiden zelf. Veel sound designers willen zelf kunnen programmeren en een paar interessante cases toonden aan dat de samenwerking tussen programmeurs en sound designers/composers zeer vruchtbaar is. De meeste sound designers geven aan dat zij heel graag zelf willen implementeren met speciale scripting.

Als programmeurs
ze een tool aanbieden of uitleggen hoe het gedaan kan worden, kunnen zij hiermee meer bereiken. (letterlijk: “put the decisions to the people with ears”). Deze sound designers moeten dit dan ook wel kunnen!

Lokalisatie van audio files
Games worden enorm. Om te concurreren moet de speellengte lang zijn (meent men) en de hoeveelheid geluidscontent is dus ook echt enorm. In Halo (2) zitten 4000 Sound effects en 80.000 regels gesproken dialoog. Dit heeft grote gevolgen voor de lokalisatie van geluiden (waar zit welk geluid, hoe heet het, waar blijft het, waar sturen we het aan en is het de laatste versie?). Versiebeheer kan niet meer gewoon in een Word-documentje (zeker niet als met een heel team gewerkt wordt!) en op de beurs waren ook diverse bedrijven die interactieve file-managers
aanboden.

Overigens: hier is het een eenvoudige stap om closed-captioning (ondertiteling en omschrijving van geluiden) vanuit het versiebeheer in de game te krijgen. De game is dan toegankelijk voor slecht horenden en doven. Een omschrijving van de geluidsfiles en de op te nemen dialogen wordt toch al gemaakt. Een combinatie heeft veel voordelen.

Audio teams
Omdat de games steeds groter worden, worden de teams ook steeds groter. De
volgende mensen kunnen in een game bedrijf met audio bezig zijn:

• Lead sound designer
• Additional sound designers
• Music supervisor
• Dialog supervisor
• Foley/Postproduction sound designer
• Audio implementation staff
• Audio programmer
• Project coordination
• External: Composer/orchestrator, Dialog production house, Post production house (foley)

Nawoord (2008): Meer informatie is te vinden in

Brandon, A. (2005) Audio for Games, Planning, Process and Production. Berkeley, CA: New riders.

Next-gen-engines (Next Gengines?)
Er werd een aantal nieuwe geluidsengines gepresenteerd. Alle hebben grote voordelen, dus wederom is er weer niet één de beste…

ISACT is een audiotool met netwerk-optie. Hierdoor is het mogelijk om op één computer de game te spelen, terwijl op de andere computer de sound effects in realtime aangepast kunnen worden.
FMOD maakt het mogelijk om de aansturing van een geluid (zoals motor-engine) zeer dynamisch aan te sturen. Je creëert als het ware een virtueel instrument dat reageert op een controller (in dit geval de snelheid).

De Microsoft X3D audio library maakt het mogelijk om zeer dynamisch 3 dimensionale velden te maken, zoals een auto, waarbij aan de achterkant een uitlaat zit, aan de voorkant de motor en de remmen bij de banden. (Project Gotham Racing 3). Voor een creatieve designer is dit natuurlijk niets nieuws, de engine belooft alles geautomatiseerd te doen en daardoor veel rekenkracht te besparen. De stap naar physical modelling of een gecombineerde werkwijze is zo gemaakt, als je tot op zulke details een geluid aan het bewerken bent. Overigens klinken in heel veel gevallen de samples van motoren nog steeds “omhoog gepitched”.

© Richard van Tol en Sander Huiberts, Utrecht School of the Arts, 2006.