Mapping the Field Symposium Music Design

Music Design – Mapping the Field 2010

Vrijdag 12 maart 2010 is om 12.30 uur de aftrap van het symposium
Music Design – Mapping the field 2010 in het Huis aan de Werf te Utrecht.

Deze middag zullen ontwerpers zich vanuit verschillende disciplines buigen over nieuwe ontwikkelingen rond het maken van muziek voor de podia, media, games en de muziekindustrie.

Vragen over de verschillende rollen van de muziekontwerper in multidisciplinaire producties, het dwingende keurslijf van ‘temp track’ en ‘sound-a-like’, de veranderende muziekindustrie en de gevolgen daarvan voor muziekproductie en de veranderende rol van geluid en muziek in game design zullen die middag aan de orde komen in korte en levendige discussies tussen muziekontwerpers en ontwerpers uit de genoemde disciplines (o.a. filmmakers, game designers, choreografen en programmeurs). De middag wordt samengevat en afgesloten met een keynote over ontwerpprocessen vanuit een geheel ander perspectief.

Tijdens de aansluitende borrel & buffet is er volop gelegenheid om te netwerken.

Voor de avond is er in verschillende zalen van het Huis aan de Werf een onderhoudend programma met presentaties, films, optredens en installaties samengesteld door aanstormende ontwerptalenten.

Het symposium Music Design – Mapping the field 2010 wordt georganiseerd door de opleiding Muziektechnologie en het Lectoraat Muziekontwerp van de HKU.

Mapping the Field Symposium Music Design achterkant

Meer en inschrijven op symposium.hku.nl

Best game sound ever… at AnswerGarden.ch.

What’s the future of Game Audio… at AnswerGarden.ch.

Last week, Creative Heroes released the Helmut Scream, which can be used freely. You’re invited to download and use Wilhelm’s jealous brother in your projects.

By the way, it was a splashing venue, featuring a truly wonderful performance installation by Matthias Oostrik. See the two pictures below I made before the summit started:

Festival of Games in Ottone

Festival of Games in Ottone

[Download the Slides as PDF]
More information and weblinks at FoG.AudioGames.net

See a slideshow below the break.

Saturday June 13. Richard van Tol and I will present developments in game music at the Music@Games Summit of the Utrecht Festival of Games. Attending this summit is free, but registration is required.

Music@Games: new developments in MultiMedia Music

The explosive growth of audiovisual culture in the last thirty years has meant an enormous development for the multimedia music genre. Music can’t be missed while watching television, or visiting theatres, movies, even museums, and of course, while playing videogames. How does the world of multimedia music work? How is it implemented and by whom? And what does adaptivity in music for games mean? Featuring interesting lectures, discussions and musical demonstrations Music@Games will reveal the connection between the music and games industry.

Music@Games is part of the program on June 13th at Ottone (map). There will also be a reception and the concert NLGD Play. The adres of Ottone is: Kromme Nieuwegracht 62, Utrecht.

NLGD Play is the perfect closing event of the Festival of Games 2009! Bring your friends and contacts to have a drink and experience the show. Make sure to register: in combination with Music@Games or directly for NLGD Play (free public event).

More information: musicatgames.nl

Download flyer_music for games as PDF

Download complete program as PDF

Kees presenting at the AES. Photo: Sander Huiberts

Door Kees Went en Sander Huiberts, HKU-KMT, Utrecht. Lectoraat Muziekontwerp onder Jan IJzermans.
11-13 februari 2009, Londen.

Inleiding

Dit was de eerste conferentie die door AES georganiseerd is die compleet in het teken stond van audio voor games. In eerdere bijeenkomsten werden wel al onderwerpen op dit gebied behandeld. De opkomst voor deze game-specifieke conferentie was anderhalf maal meer dan verwacht, men sprak dus van een succes.

De onderwerpen waren over het algemeen erg technisch, er was weinig op het artistieke vlak (maar er zit per slot van rekening ook de E van Engineering in AES). Het aanbod was interessant. De tutorials op de eerste dag waren wat basaal, zeker voor kenners of frequente bezoekers van de Game Developers Conference (GDC). De tutorialdag was voornamelijk bedoeld om mensen die niet bekend waren met game audio in te leiden. In het algemeen viel op dat in de lezingen met name sound design aan bod kwam, compositie was nauwelijks vertegenwoordigd.

Over het werkveld

Het werkveld raakt enigszins verzadigd. De mening van industrie en academici is dat een sound designer zonder programmeervaardigheden weinig kans maakt op een baan in de game-industrie. Programmeren of in elk geval scripten en algoritmiseren is namelijk onlosmakelijk verbonden met sound design voor games. Het hebben van alleen artistieke vaardigheden is niet genoeg meer, tenzij er sprake is van uitzonderlijk talent, natuurlijk.

Synthese

Het vak klankontwerp is ’superhot’. Waren mensen uit de game-industrie eerst nog sceptisch tegenover realtime synthese en modeling (GDC 2006 en 2007), nu moet alles synthese worden. Het lijkt dat CPU-resources – die eerst de bottleneck waren – niet meer zo kostbaar zijn als opslagruimte en geheugenbandbreedte. Een groot voordeel van realtime rendering is dat door middel van scripting herhaling van steeds weer dezelfde sample voorkomen kan worden. Het bestrijden van herhaling kwam regelmatig aan de orde.

Modale synthese is daarnaast de nieuwe hype. In het kort samengevat: de attack wordt gescheiden van de resonantie. Voor de attack wordt nog steeds een sample gebruikt, maar de resonantie wordt gehersynthetiseerd. De resolutie van de hersynthese (het aantal modes) kan worden bepaald door de prioriteit die een geluidsobject heeft voor de gebruiker. Als de speler zelf een wijnglas stuk laat vallen, klinkt het geluid met de volledige resolutie, maar als een vijand in de buurt van een waterval een wijnglas stuk laat vallen, zijn maar een paar modes hoorbaar. Geluiden die minder belangrijk zijn of voor een groot deel gemaskeerd worden door andere geluiden nemen dus minder processorkracht in beslag.

Een mooie toepassing is hetzelfde object dat zich over verschillende oppervlakten beweegt. Bijvoorbeeld een knikker die rolt over hout, marmer, stof etc. Het vormgeven van deze geluiden wordt met deze technieken heel ‘elastisch’.

Er komen steeds meer voorbeelden van granulaire synthese in games. Het een eenvoudige manier om flexibel met samples om te kunnen gaan en kan veel schijfruimte besparen. Deze synthesevorm wordt ondermeer gebruikt voor ‘airspeed’, crashes en surface noise. Substractieve synthese wordt ook genoemd als interessante optie. Er wordt geëxperimenteerd met combinaties van synthese technieken. Alles kan, als het maar het gewenste resultaat oplevert.

De meest gebruikte interface voor ontwerpers, die gebruik maken van synthese, is er een met curves en envelopes (zoals in FMOD). Dit vind je op vrijwel alle platforms. Mixage vond tot nu toe dikwijls plaats door gebruik te maken van snapshots (een snapshot per situatie).

Echt interactief mixen heeft de toekomst en wordt met bovengenoemde ‘elastische’ technieken steeds haalbaarder. Dit sluit aan bij de theorie over dynamic prioritised mixing: het systeem bekijkt welke geluiden in de soundscape van een game moeten klinken en welke geluiden niet gehoord worden door de speler en dus niet afgespeeld hoeven te worden.

In Japan – waar spraaksynthesizers frequent gebruikt worden, zelfs in popmuziek – wordt veel onderzoek gedaan naar spraaksynthese en realtime spraakmorphing voor games. Dit is bijvoorbeeld te vinden in gamesystemen als Singstar, waar de speler door een microfoon zingt. Developers in de VS vinden dit weer een interessant gebied voor de VoIP toepassingen in met name First Person Shooters, waarbij gamers met elkaar kunnen overleggen tijdens het spelen van het spel en niet meer klinken als studentjes achter een computer, maar stoere mannen in een oorlogssituatie.

Het Franse bedrijf Voxler, dat samenwerkt met IRCAM, heeft de laatste tijd flink wat vorderingen gemaakt op het gebied van spraakherkenning. Een van de onderzoeken is gericht op de moeilijkheid van interpretatie van verschillende talen. Het blijkt dat Germaanse talen (o.a. Engels, Duits, Nederlands) makkelijker te interpreteren zijn dan Romaanse talen. De betekenis van woorden is al duidelijk wanneer de lettergreep met de klemtoon gepasseerd is. De rest van het woord (de uitgang) is dan niet meer belangrijk (wordt dan ook vaak slordig uitgesproken). Bij Romaanse talen (o.a. Frans, Spaans, Italiaans) zit een groot deel van de betekenis juist in de uitgang van woorden.

Surround

Surround staat hoog op de agenda, zowel 5.1/7.1 als HRTF. Er was ook veel aandacht voor elevation, de hoogte-as. Deze as wordt niet gebruikt door 5.1 en 7.1 systemen.
Verschillende concepten voor positionering van geluidsobjecten werden gepresenteerd, van panning, 5.1 (‘cheap 3d panning: no altitude cues’), hrtf en doppler (“the ‘lens-flare’ effect of audio”).

Er werd ook aandacht besteed aan technieken om ‘obstruction’ (er bevindt zich een voorwerp tussen de geluidsobject en de luisteraar) en ‘occlusion’ (het geluidsobject bevindt zich buiten de huidige ruimte), ‘portalling’ (je hoort het geluid door een ‘poort’, zoals een deuropening) vorm te geven o.a. door middel van filtering. Alle 3d-behaviours kunnen dynamisch gestuurd en gemixt worden. Volgens de ontwikkelaars draagt ruimtelijke positionering veel bij aan de beleving van de game omdat de speler daardoor, naast de positie, de snelheid en afstand van objecten beter kan bepalen.

Ook het Fraunhofer Institut houdt zich bezig met surroundversies van het MP3-formaat en MPEG-surround. Verder worden MP3’s met HRTF-codering onderzocht. Demo’s zijn te downloaden van de website (http://www.iis.fraunhofer.de/bf/amm/). Volgens Dr. Karlheinz Brandenburg (die zich presenteerde als ‘de uitvinder van MP3′) werken HRTF-MP3’s vooral goed wanneer je ze afluistert via een halfgesloten koptelefoon in dezelfde ruimte als waar ze zijn opgenomen.

Educatie

Regelmatig kwam de geslotenheid van de game industrie ten opzichte van educatieve instellingen ter sprake. Game engines zijn vaak moeilijk toegankelijk en ontwikkelaars scharen zich achter contracten die publicatie van onderzoeksresultaten verbieden. Het was opvallend dat vrijwel elke educatieve instelling hiermee worstelde.

Toch werd in een paneldiscussie duidelijk dat dit niet zo hoeft te zijn. Sony heeft programma’s voor stages en samenwerkingsverbanden, biedt regelmatig ondersteuning aan onderzoekers, maar binnen Sony is men hier niet mee bekend, of heeft men te weinig tijd om hier invulling aan te geven. Er is zelfs een aantal betaalde PhD-programma’s, maar er worden geen onderzoekers gevonden om deze te vervullen.

Tegelijkertijd geeft de industrie aan dat studenten niet over de juiste competenties beschikken. Dat hangt ook samen met de geslotenheid van de systemen: studenten kunnen pas leren werken met deze systemen als ze in dienst zijn van een game-ontwikkelaar. Twee leden van de Interactive Audio Special Interest Group(IASIG van de IGDA) werken aan een algemeen curriculum en competentielijsten voor studenten. Deze informatie is nog niet publiek gemaakt.

We hebben ook kennis gemaakt met Unity. Dit bedrijf ontwikkelt een game development tool waarmee 3d-games gemaakt kunnen worden (nu al voor Mac, binnenkort voor PC). Voor studenten betekent dit dat zij op zeer eenvoudige wijze games kunnen maken, dus ook het geluid voor 3d-omgevingen.

Game Audio Lab: an educational framework for research and design of realtime, nonlinear sound and music design. Photo © Sander Huiberts

The Music Design Group of the Utrecht School of the Arts under Jan IJzermans in the Netherlands has developed a lab for academic purposes which enables research and rapid prototyping of nonlinear audio. The system offers designers the ability to construct composite variables based on variables that are available in the original game system. In this paper, the architecture of the hardware and software as well as the motivation for this setup are discussed.

Nonlinear and adaptive systems for sound and music in games are gaining popularity due to their potential to enhance the game experience. The framework enables academics to map composite variables and adapt sound and music design in real-time during active game play. Composite variables were found to be more useful than mapping simple game parameters directly to the sound design. To give an example: mapping the state of an adaptive environment to the health level of the avatar often is too obvious for the player.

The paper also discusses the need for open game systems, which help designers to study sound design in realtime settings. Most game platforms are closed and protected by intellectual property. Interestingly, many academics mentioned this during the conference.

Unfortunately, I can’t publish the article here, so if you are interested it’s probably best to visit the AES website. The reference to the article is:

Huiberts, S. Van Tol, R and Went, K. (2009) GAME AUDIO LAB – AN ARCHITECTURAL FRAMEWORK FOR NONLINEAR AUDIO IN GAMES. In: Kelly, M. Proceedings AES 35th International Conference Audio for Games, 2009. Royal Academy of Engineering, London, UK.

Kees presenting at the AES. Photo: Sander Huiberts

Some video demos of applications (Half-Life 2 Source engine, OSC, Bridge software, FMOD and GStoolkit in Max/MSP) are listed below:

Credits for the game lab and these applications go to Arjen Schut, Mark Doeze, Maurice Alberts, Ramon Kerstens and Rogier Habraken. They truly did a wonderful job in this project.

Full demonstration Game Audio Lab Half Life 2: actual game play (select watch in high quality):

Simple demonstration: gunsound impact changes:

Simple demonstration: atmosphere dynamically changes with health status:

[For more information and the slides of this presentation, head over to adaptivemusicsystems.hku.nl]

To make things clear: we’re not talking about composing a song from the beginning to the end (linear music); the composer makes a large amount of musical ‘cells’ and the system selects new cells based on the rules of the composer (nonlinear music). Such an approach can be highly suitable for games, that mostly have a nonlinear character, as the music is able to correspond with the narrative or the presupposed experience of the player. And at least, we’re preventing the repetitive background track that drives players crazy.

The adeptive toolkit is still being developed, and now the developers have published a demonstration video of the toolkit with music composed by Than van Nispen. This is an interesting annotated video which shows the value of this system. What you see is an overview screen with music cells and a two-dimensional dipolar state diagram, which triggers the music. Notice the real-time “Notepad”-information which shows what is going on (real-time!).

The research focused on a basic nonlinear (adaptive) music structure, with a composer (non programmer) friendly approach to use any audio with a basic data design for nonlinear music, to enable prototyping and communication between game developers and composers.

[Watch the annotated nonlinear game music in Adeptive Toolkit v0.9 video here]

[Visit the Adaptive music systems Research group here]

[1] Vincent Akkermans, Bertus van Dalen, Siebe Domeijer, Than van Nispen tot Pannerden and Pınar Temiz.

Update: the adeptive toolkit has been published here. Read info from the devs below the cut:

The Adeptive Toolkit is an interface to a nonlinear music structure.

At the Utrecht School of Music and Technology, Bernard Herrmann’s flexible film composition methods were researched: a method of ‘cell composition’ – a cell being a small musical element or motif. Cells can be succeeded by different other cells, the choice depending on the demand of the (game/interactive) system (for example: more tension).

Cells are connected by transitions. The connections give the sense of a network, hence the term ‘cellnetwork’. Composers can chop their music into flexible cell-pieces, connect these with conditional transitions and value the cells with some variable, for example: “tension – 5″.

A flexible and responsive continuity in music can be created. A composer will then typically find himself making more and different transitions and ‘musical paths’ when he finds out how to serve the demands of the game better.

A video game engine communicates a request to the music structure, for example: avatar health 1. In this case, the music will transition to the ‘almost dead’ music IF the composer indeed provided a convenient transition network through his material.

Generally the ‘cellnetwork method’, reflected in the Toolkit, has been found an interesting way to deal with nonlinear music in contexts.The use of an open-source Max/MSP elaboration of the Cellnetwork Method could provide quick access to editing and expanding the system, as Max/MSP is used by many music technologists, sound designers and composers.

If you like to evaluate this toolkit, I’d suggest to contact the developers. They are interested in collaborating with other parties in order to expand this toolkit.