Spielen im Dunkeln: Wie 3D-Audio hilft, ein Videospiel ohne Grafik zu entwickeln

Einführung

Schließen Sie die Augen und lassen Sie Ihre Ohren (und Ihre Fantasie) walten – nun, nicht so sehr für diesen Artikel, sondern wenn Sie Ihr erstes Audiospiel ausprobieren! Ein "Audiogame" ist ein Videospiel ohne Grafik oder visuelle Elemente, bei dem der Spieler ausschließlich sein Gehör benutzt, um Fähigkeiten zu erlernen, sich in der Umgebung zurechtzufinden, Gegner zu besiegen, Rätsel zu lösen und zu gewinnen. Einige AAA-Spiele bieten Zugänglichkeits-Mods, die es Menschen ohne Sehvermögen ermöglichen, einige oder die meisten Spiele zu spielen, aber die Bedeutung der visuellen Darstellung in diesen Spielen ist immer noch die treibende sensorische Erfahrung. Ein echtes Audiogame schaltet den Sehsinn komplett aus und konzentriert sich auf den anderen Sinn, der über einen Desktop-Computer oder eine Spielkonsole vermittelt werden kann: das Hören. 

In den letzten Jahrzehnten hat eine kleine, aber leidenschaftliche Gemeinschaft experimenteller Spieleentwickler reine Audiospiele für Desktops, Mobiltelefone und das Internet herausgebracht, darunter die herausragenden Spiele Papa Sangre (2010) und A Blind Legend (2016). Da keine visuellen Elemente zur Verfügung stehen, müssen Audiospiele ausschließlich auf Sounddesign, Audiocues, Musik, Sprachdialoge und DSP-Techniken zurückgreifen, um Spielmechaniken und Spielebenen zu erstellen. Eine gängige Technik in vielen der beliebtesten Audiospiele ist die Verwendung von binauralem Raumklang, um überzeugende Audioumgebungen und diegetische Klangbilder zu schaffen. Das Erreichen dieses Gefühls der hörbaren Realität ist entscheidend dafür, dass der Spieler seinen Ohren beim Spielen und Gewinnen vertraut und vollständig in die Spielwelt eintaucht.

Anfang dieses Jahres habe ich mein allererstes Indie-Spiel für PC und Mac auf der Plattform Steam veröffentlicht. Es heißt "Rocococo Audiogame Fantastique" und ich freue mich, über meine Erfahrungen bei der Entwicklung des Spiels zu berichten und darüber, wie räumliches Audio eine Schlüsselkomponente des Designs ist.

Wie meine Reise mich vorbereitet hat

Ich hätte mich wahrscheinlich nicht an eine solche Aufgabe wie die Entwicklung und Gestaltung eines Audiospiels herangewagt, wenn nicht zwei wesentliche Aspekte meiner Karriere und meiner jahrelangen Beschäftigung mit Audiotechnologie eine Rolle gespielt hätten: die Entwicklung von Spielen und räumliches Audio. In den letzten 25 Jahren als elektronischer Musiker und Komponist war ich immer davon begeistert, wie Technologie einzigartige, eindringliche und interaktive Klangerlebnisse ermöglichen kann. Ich hatte das Glück, ein Jahrzehnt damit zu verbringen, musikbasierte Videospiele zu entwickeln, und ein weiteres Jahrzehnt damit, die räumliche Audiotechnologie voranzutreiben und zu propagieren.

Bei Harmonix, einem Spielestudio mit Sitz in Boston, USA, habe ich 13 Jahre lang als Audio-Director, Produzent und Game Director an interaktiven Musikspiel-Franchises wie Guitar Hero, RockBand und Dance Central gearbeitet. Dort habe ich gelernt, Spiele zu entwickeln, zu gestalten und zu produzieren, in denen sich auch Nicht-Musiker wie Rockstars fühlen können. Durch zahllose Prototypen und Experimente haben ich und das Team dort einzigartige Wege gefunden, ein musikalisches Erlebnis zu abstrahieren und es in ein unterhaltsames und lohnendes Spielerlebnis zu verwandeln.

Nach meiner Arbeit an Spielen war ich bereit für eine neue Herausforderung und wechselte in die Spatial-Audio-Technologie. Zunächst arbeitete ich bei Microsoft an der Spatial-Computing-Plattform HoloLens und zuletzt bei THX, wo ich die Produktentwicklung für deren Spatial-Audio-Angebot leitete. Ich begann auch, meine eigenen Musik-VR-Apps für Oculus Rift- und Meta Quest-Geräte zu entwickeln, bei denen 6doF und räumliche Audiotechnologie eingesetzt wurden, um interaktive Klangumgebungen zu schaffen. Dabei habe ich eng mit DSP- und Akustik-Ingenieuren zusammengearbeitet, um die Technologie zu verstehen und zu verbessern, zu lernen, wie sie auf verschiedenen Plattformen eingesetzt und optimiert wird, die Tools zu entwickeln, die Kreative benötigen, um die Technologie zu nutzen, und Best Practices zu entwickeln, wie man das Beste aus einem räumlichen Klangerlebnis herausholt.

• Laden Sie meine kostenlose Musik-VR-App  (m)ORPH herunter.
• Oder sehen Sie sich das Filmmaterial der (m)ORPH VR-App hier an:

Mit meinem umfangreichen Wissen darüber, was es braucht, um ein Videospiel zu entwickeln, und wie man räumliches Audio am besten einsetzt, um immersive Audioerlebnisse zu schaffen, war ich bereit, diese Kenntnisse zu kombinieren und mein erstes Audiogame zu entwickeln. Mein Ziel war es, ein Spiel zu entwerfen, bei dem das Hinzufügen von visuellen Elementen vom Erlebnis ablenken und den Sound als wesentliche Komponente weiter festigen würde.

Tauchen Sie in die Dunkelheit ein und drehen Sie die Lautstärke auf!

Die Entwicklung von Rocococo Audiogame Fantastique dauerte etwa 20 Monate. Es basiert auf der Unity-Spiel-Engine und der FMOD-Audio-Middleware-Engine und wurde von drei Unity-Ingenieuren, zwei Synchronsprechern, einem Drehbuchautor und zahllosen Freunden und Kollegen für QA-Tests entwickelt. Ich für meinen Teil habe das Spielkonzept entwickelt und das Spiel entworfen, die Welt, in der es spielt, komponiert, die gesamte Musik und das Sounddesign entworfen und das Audio in FMOD integriert. Das Spiel verwendet das FMOD-Plugin Oculus Spatializer Spatial Audio, um die gesamte Binauralisierung der Musik, des Sounddesigns, der Sprachausgabe und der Umgebungsgeräusche in Echtzeit durchzuführen. Für alle Zwischensequenzen der Geschichte wurden vorgerenderte binaurale Mischungen verwendet, die mit dem DAW-Plugin THX Spatial Creator erstellt wurden.

• Möchten Sie binaurale Mischungen für Ihre Musik-, Spiele- oder Medienprojekte erstellen? Holen Sie sich die kostenlose Testversion von THX Spatial Creator.

Der beste erste Schritt bei jeder neuen Spielidee besteht darin, schnell einen Prototyp des Kernspiels zu erstellen – im Wesentlichen die wichtigsten Aktionen, die Sie im Spiel ausführen und auf denen alle anderen Entscheidungen des Spieldesigns beruhen. Wenn diese grundlegenden Spielmechaniken nicht gleichzeitig Spaß machen und eine Herausforderung darstellen, dann ist man wahrscheinlich nicht auf dem richtigen Weg. Mir war klar, dass ich kein Rhythmus-Actionspiel (z. B. Guitar Hero) entwickeln wollte, bei dem man so genau wie möglich zu einem visuellen oder akustischen Hinweis tippt. In meinem Musikspiel sollte es eher darum gehen, versteckte Tonspuren eines Songs zu finden und sie wieder zusammenzusetzen, während man gleichzeitig schädlichen Hindernissen ausweicht – und das alles nur mit den Ohren. 

Innerhalb weniger Wochen hatte ich einen funktionierenden Unity-Prototyp, den ich mit der unterstützenden Community auf www.audiogames.net teilen konnte, mit Feedback von blinden, sehbehinderten und sehenden Spieler*innen. Dieses wichtige Feedback half mir, zu verstehen, was funktionierte und was nicht, sodass ich das Erlebnis so weit wie möglich verfeinern konnte. Ein Element, das im Prototyp nicht gut funktionierte, waren zu viele Geräusche um einen herum, die alle Lärm machten und um die Aufmerksamkeit des Spielers buhlten. Diese kognitive Überlastung durch Geräusche war etwas, auf das ich sorgfältig achten musste. Glücklicherweise funktionierte die Haupthandlung, die darin bestand, mit den Ohren die Tonspuren um einen herum zu finden, und das war sowohl eine Herausforderung als auch ein Spaß!

Spatial Audio als Herzstück des Designs

Das Grundprinzip von Rocococo besteht darin, dass jede der 13 Spielstufen einen Song darstellt, der in seine einzelnen Elemente zerlegt wurde – Snare, Kick, Hats, Bass-Synth, Lead-Synth, Arp-Synth usw. Einige Levels haben nur 6 Tracks, während die schwierigeren Levels zwischen 15–20 verschiedene Tracks haben. Der Spieler befindet sich in einem Raum (völlig dunkel, ohne visuelle Elemente) und die Audiospuren sind zufällig im Raum verteilt. Das Ziel des Spielers ist es, diese Spuren, auch Audio-Zonen genannt, zu finden und zu ihnen zu navigieren. Wenn sie so nah wie möglich sind, fängt man sie mit einem Tastendruck ein und erhält Punkte für die Genauigkeit. Am Ende des Levels ist die Punktzahl umso höher, je genauer du die Zonen einfängst. Jeder Track ist ein binauralisiertes Klangobjekt, alle mit exakt denselben abstandsbasierten Lautstärkekurven. Diese Entfernungskurven wurden sorgfältig ausgewählt und so abgestimmt, dass Sie nur die nächstgelegenen 2–3 Audiozonen um Sie herum hören können. So können Sie die nächstgelegene Zone schnell ausfindig machen, sich auf sie konzentrieren und auf sie zulaufen. 

Das HRTF-basierte binaurale Audio lässt den Spieler klar erkennen, ob sich eine Zone links oder rechts befindet, und wenn der Spieler das Audio zentriert, weiß er, dass es sich direkt vor ihm befindet. Läuft man auf die Zone zu, wird sie lauter, läuft man weg, wird sie leiser, genau wie in der realen Welt. Diese grundlegende Verwendung von Raumklang ist die Schlüsseltechnologie, die es dem Spiel ermöglicht, zu funktionieren und den Spielern zu ermöglichen, ihren Ohren zu vertrauen. Außerdem gibt es in den Levels viele Klangobjekte, die dem Spieler Schaden zufügen können, wie z. B. statische und stationäre Roboter. 1 bis 3 Treffer eines Roboters und man muss den Level von vorne beginnen! Manchmal taucht eine böse Königin auf, die dich verfolgt und dir "den Kopf abschlagen" kann, sodass der Spieler ein wachsames Ohr für ihre Anwesenheit hat. Alle Harm-Bots und die Königin sind binauralisiert, damit der Spieler ein konkretes Gefühl dafür bekommt, wo sie sich befinden und wie weit sie entfernt sind. Die Levels werden dann mit all diesen räumlichen Klangobjekten abgestimmt, die in Entfernungen platziert werden, die die Levels einfacher oder schwieriger machen. Je schwieriger die Levels werden, desto mehr Audio-Zonen müssen gefunden werden, während gleichzeitig viele eng beieinanderstehende Roboter vermieden werden müssen, indem man vorsichtig um sie herum navigiert.

© Kasson Crooker

Die lästigen Beschränkungen von Spatial Audio

Diejenigen, die mit Spatial Audio arbeiten, sind sich der vielen Einschränkungen der Technologie bewusst: von allgemeinen HRTFs, die nicht für jeden gut funktionieren, über tonale Färbungen bis hin zu Höhenproblemen, bei denen Klänge nicht glaubhaft über oder unter einem klingen. Das war auch bei meinem Spiel der Fall, und ich musste einige Designentscheidungen treffen und klangliche Anpassungen vornehmen, um die Elemente zu verbessern, bei denen die räumliche Wiedergabe mangelhaft war. Die allererste Design-Entscheidung, die ich getroffen habe, noch bevor ich mit dem Prototyping begonnen habe, war, dass der Spieler nicht mehr nach oben oder unten schauen oder sich an hohe oder niedrige Stellen bewegen muss, wenn der Sound an einer anderen Stelle als dem Azimut räumlich dargestellt werden soll. Durch diese Entscheidung kann Spatial Audio am besten auf der Ebene um den Kopf herum funktionieren, und der Spieler kann sich einfach auf die Audio-Objekte um ihn herum auf derselben Ebene konzentrieren. 

Das wahrscheinlich größte Problem bei der räumlichen Audiowiedergabe in meinem Spiel war die Binauralisierung von Musiktiteln, die alle unterschiedliche Frequenz- und Amplitudeneigenschaften aufweisen. Bass-Synthesizer- und Kick-Drum-Tracks wurden aufgrund der niedrigen Frequenzen nicht gut räumlich dargestellt, während bestimmte resonante Synthesizer-Tracks überlastet waren und in bestimmten Entfernungen Verzerrungen verursachten. Außerdem beherrscht das Oculus Spatializer-Plugin keine Nahfeldverarbeitung, was die Probleme noch vergrößerte, wenn man sich sehr nahe an der Emitterposition befand.

Ich musste neben der räumlichen Verarbeitung auch andere Klangtechniken einsetzen, um dem Spieler zu helfen, diese musikalischen Audiozonen mit einem hohen Maß an Genauigkeit zu lokalisieren. Ein Aspekt, der für die Spieler eine Herausforderung darstellte, war das Erkennen, wenn sie an einer Audiozone vorbeigingen (oder sie durchquerten) und diese sich nicht mehr vor, sondern hinter ihnen befand. Das Spatial Audio platzierte den Sound-Emitter aus der Renderperspektive zwar korrekt hinter einem, aber die Klangveränderung war zu subtil und die Spieler bemerkten die Veränderung nicht. Um zu verdeutlichen, dass sich Zonen hinter einem befinden, habe ich einen Tiefpassfilter eingesetzt, der sofort einsetzt, wenn man an dem Emitter vorbeigeht. Je weiter man an ihm vorbeikommt, desto mehr höhere Frequenzen werden entfernt. Indem ich die Parameter dieses Filters einstellte, wurde es für den Spieler kristallklarer, wann sich eine Zone vor oder hinter ihm befand.

Ein weiterer Aspekt des Spiels, bei dem das räumliche Audio ein wenig zu kurz kam und verstärkt werden musste, waren die Harm-Bots. Diese rachsüchtigen Roboter sind im ganzen Level verstreut, wobei einige statisch sind und andere sich bewegen. Jeder Harm-Bot gab vermittels Audio-Loop immer wieder eine Zeile des VO-Dialogs wieder. Diese Audio-Emitter wurden auch räumlich dargestellt, aber während es für den Spieler klar war, wo sie sich befanden (links, rechts, vor oder hinter einem), war es nicht präzise genug, um zu wissen, wie weit sie von einem entfernt waren. Ab einer bestimmten Entfernung würden sie einem Schaden zufügen, sodass die Spieler wussten, dass sie einen gewissen Abstand einhalten mussten, aber der räumliche Ton allein gab ihnen diesen Hinweis auf die Entfernung nicht. Daher fügte ich zusätzlich zum räumlichen Klang eine zweite Schleifenschicht mit räumlichem Klang hinzu, diesmal eine übel klingende SFX-Spur, die wie eine Mischung aus Alarm und roboterhaften Piepsen und Blöken klang. Diese zweite Schleife war der Sound, der den Spieler darauf aufmerksam machte, dass er sofort weglaufen oder angegriffen werden sollte. Dieses duale Audiosystem war so abgestimmt, dass die VO-Schicht ab einer Entfernung von 6 m zu hören war, was dem Spieler zu erkennen half, wo sich der Harm-Bot befand, aber nicht unbedingt in Gefahr war. 

Die Figur der Königin, die den Spieler gelegentlich verfolgt, ist ebenfalls spatialisiert, und die Kombination aus ihren VO-Audio-Events und den SFX-Effekten für laufende Schritte reichte gerade aus, damit der Spieler wusste, wann sie in der Nähe war. Ihr VO-Ereignissystem schaltete auch von weit entfernten VO-Zeilen wie "Wo bist du? Ich weiß, dass du hier irgendwo bist!", wenn sie 8 m oder mehr entfernt war, und wechselte dann zu einem anderen VO-Baum bei weniger als 8 m mit Zeilen wie "Ich bin dir dicht auf den Fersen" und "Ich bin so nah, dass ich dich fangen kann", um dem Spieler anzuzeigen, dass er sich weiter von ihr entfernen sollte.

Was ist die Zukunft von Rocococo Audiogame Fantastique?

Das Spiel wurde offiziell auf der Plattform Steam weltweit veröffentlicht (siehe Link unten) und ich hoffe, das Spiel als nächstes auf andere Spielplattformen wie Konsolen und VR zu bringen. Am meisten freue ich mich auf VR, da dies die 6doF-Plattform ist, auf der Spatial Audio wirklich glänzt, da man all diese Mikrobewegungen des Kopfes hat, die helfen, die diegetischen Soundpositionen dynamisch zu aktualisieren. Außerdem könnte die Haptik der Controller dem Gameplay eine weitere Dimension verleihen und das hörbasierte Gameplay unterstützen und verstärken. Ich freue mich auch, neue und aufregende räumliche Audiolösungen von neuen Entwicklern zu sehen. Ich bin gespannt darauf, mehr mit ihnen zu experimentieren und zu sehen, welche Möglichkeiten sie für ein immersives Audioerlebnis bieten.

• Holen Sie sich das Rocococo-Audiospiel auf Steam. 
• Sind Sie an einem tieferen Einblick in reine Audio-Spiele interessiert? Sehen Sie sich denVortrag Game Developers Conference talk by Brian Schmidt.

Ich ermutige alle Spieleentwickler*innen, ihre Komfortzone zu verlassen und mit der Entwicklung eines Spiels zu experimentieren, das andere Sinne nutzt, und sich bewusst zu machen, wie unsere Spiele und Apps von Menschen mit eingeschränkten Seh-, Hör- und Bewegungsfähigkeiten genutzt werden. Spiele für alle zugänglich zu machen, bringt viel mehr Spieler in die fröhliche Welt der Spiele – schnappt euch eure Kopfhörer und lasst uns spielen!