Audio Design in XR: Praktische Ratschläge, häufige Fehler und Techniken

In einer Branche, die sich so schnell verändert, ist es schwer, den Überblick zu behalten und zu wissen, wie man die Dinge richtig macht. Oftmals tappen Künstler*innen in die Falle, sich auf die neueste und coolste Technologie zu konzentrieren, anstatt sich auf die Kunst selbst zu konzentrieren. Im Laufe der Jahre habe ich gelernt, dass es wichtig ist, sich daran zu erinnern, was man als Künstlerin vermitteln will, und die Technologie danach auszuwählen. Auch wenn sich die Technik jedes Jahr ändert - die kreative Arbeit bleibt die gleiche. 

Definition von Spatial Audio

Es gibt so viele Möglichkeiten, Spatial Audio zu beschreiben, dass jeder, den Sie treffen, seine eigene hat! Als Apple ankündigte, dass es Spatial Audio unterstützt, war das ein ganz anderes Produkt als das, was Dolby mit seinem Atmos-System anbietet. Von Spieleentwicklern, die Spatial Audio zur Richtungsbestimmung in Videospielen verwenden, bis hin zu Musiker*innen, die Spatial Audio zur Kalibrierung eines großen Lautsprecherarrays einsetzen - es war schwer zu definieren, was Spatial Audio ist. Es wurde zu einem dieser überladenen Begriffe, die jeder als Schlagwort verwendet, um sein Produkt zu verbessern.

Im Kern handelt es sich bei Spatial Audio um eine Technologie, die den Eindruck erweckt, dass der Ton von einer Sache kommt (einem Objekt im Raum, einer Figur auf dem Bildschirm), während er in Wirklichkeit von Kopfhörern auf Ihren Ohren oder den Lautsprechern im Raum kommt. 

Spatial Audio erzeugt ein dreidimensionales, multidirektionales Klangbild, das - wenn es richtig gemacht wird - Hörer*innen in ein Erlebnis eintauchen lässt. 

Spatial Music

Dies ist die Kategorie, die Musiker*innen anstreben, wenn sie zum ersten Mal von Spatial Audio hören. Wie man den Klang seiner Musik von verschiedenen Orten im Raum aufnimmt, um einen räumlichen Dolby-Atmos-Mix zu erstellen.

Ich habe gesehen, wie jeder, von Indie-Künstler*innen bis hin zu Aufnahmeexpert*innen und allem, was dazwischen liegt, versucht hat, Spatialisierung auf seine Musikmischungen anzuwenden. Hier sind die guten und die schlechten Seiten: Bei der Arbeit mit zeitgenössischer Musik, mit kompletten DAW-Produktionen, mögen die Hörer*innen nicht wirklich einen räumlichen Mix. Als Apple zum ersten Mal "Spatial Music" einführte, war das ein cooles Feature, aber die meisten Benutzer suchten absichtlich nach Möglichkeiten, es auszuschalten, und das vielleicht zu Recht. Das Genre der zeitgenössischen Musik wurde entwickelt, um mit guten Kopfhörern gehört zu werden, oder vielleicht auf einer lauten Party, wo der Klang durch den ganzen Körper geht und die Lautsprecher Schallwellen durch den Raum schieben. 

Wenn wir einen neuen Song hören, ist das letzte, worüber wir nachdenken wollen, aus welcher Richtung die einzelnen Sounds kommen, vor allem, wenn es sich um elektronische Musik handelt. Wir wollen in den Song eintauchen und nicht nach der Richtung des Schlagzeugs oder der Gitarre suchen. Spatial Audio kann ein Fluch sein, wenn es falsch eingesetzt wird, und bei dieser Art von Produktionen würde ich sagen, dass es mehr schadet als nützt. Das einzige Mal, dass räumliche Abmischungen bei gut produzierter Musik gut funktionieren, ist, wenn Künstler*innen bekannte Erfahrungen nehmen und sie in einen neuen Kontext stellen, normalerweise mit der Unterstützung einer großen Firma. 

Ein gutes Beispiel dafür sind die Dolby Studios, die einen Mix für Elton Johns Rocket Man in Spatial Audio erstellt haben. Das Publikum ist mit dem Lied vertraut, und deshalb hat die Erfahrung, sich im Weltraum zu befinden und etwas Vertrautes zu hören, tatsächlich sehr gut funktioniert. Eine andere Art von musikalischer Erfahrung, die in einer räumlichen Umgebung gut funktioniert, sind Chöre und klassische Ensembles. Es gibt einige Gründe, warum das gut funktioniert. Klassische Musik wurde immer live aufgeführt und ist so geschrieben, dass der Raum in das eigentliche Stück einbezogen wird. Klassische Komponisti*innen mussten sich Gedanken über die Art des Raums machen, in dem das Stück aufgeführt werden sollte, und die Reflexionen des Klangs als Teil des Stücks nutzen. Der Stil der Musik berücksichtigte, wo die Zuhörer*innen stehen oder sitzen würden und wo die Musiker*innen sitzen würde. Ein weiterer Grund, warum Chöre und A-capella-Musik so gut funktionieren, ist, dass unser Gehirn die menschliche Stimme im Raum leicht wahrnehmen kann, so dass die Platzierung von Sänger*innen an verschiedenen Seiten einen großartigen Effekt erzeugt, der in der räumlichen Audiowiedergabe tatsächlich zum Tragen kommt! 

Bandbreitenbeschränkung

Mit neuer Technologie kommen auch neue Beschränkungen. Leider haben die meisten XR-Headsets nur begrenzte Möglichkeiten, wenn es um Audio geht, und die Reaktion der Lautsprecher ist nicht besonders gut (um es vorsichtig auszudrücken). Um die volle Bandbreite an Audiosignalen zu erhalten, entscheiden sich einige Autor*innen dafür, ihre Erlebnisse für Kopfhörern zu konzipieren, aber für diejenigen, die in den verschiedenen App-Stores oder Streaming-Kanälen veröffentlichen, gibt es keine Möglichkeit, zu kontrollieren, wie die Nutzer*innen das Erlebnis hören werden. 

Das ist heutzutage ein bekanntes Problem, nicht nur bei XR. In der Vergangenheit konnten sich Musiker*innen darauf verlassen, dass zumindest die meisten Musikfans ein anständiges Audiosystem haben, um ihre Musik zu Hause zu hören. Heutzutage müssen Audioproduzent*innen die Audioqualität berücksichtigen, die von tausend Dollar teuren Lautsprechern bis hin zu billigen Kopfhörern und allem, was dazwischen liegt, reichen kann. Außerdem hat jeder Streaming-Dienst seine eigene Kompressionsrate, sodass es im Grunde keine Möglichkeit gibt, zu wissen, wie ein Song am anderen Ende klingen würde. Bei XR ist das Problem im Vergleich zu herkömmlicher Musik weniger groß, aber es besteht immer noch. Die meisten XR-Headsets sind mit sehr einfachen Lautsprechern ausgestattet, die kaum die Ohren bedecken.

Bei AR-Geräten bedecken die Lautsprecher das Ohr überhaupt nicht, um ein offenes Hörerlebnis zu ermöglichen. Die Entfernung, die der Klang zwischen dem Lautsprecher und dem Ohr des Zuhörers zurücklegen muss, verursacht bereits einen erheblichen Frequenzverlust. Hinzu kommen die Größe und Qualität der Lautsprecher (je nach Headset), und die Bandbreite, die Musiker*innen zur Verfügung steht, ist wirklich begrenzt. Das Gute an XR ist, dass man, wenn das Erlebnis hauptsächlich über ein Headset (z. B. Quest) angeboten wird, ein Erlebnis entwerfen kann, bei dem man weiß, dass die Bandbreite begrenzt ist, aber einen Mix erstellen kann, der mit den vorhandenen Lautsprechern ziemlich gut klingt. Als Faustregel gilt: Testen Sie Ihren Sound immer mit dem Headset, vertrauen Sie niemals den Computermonitoren. 

Sound Design

Wenn es um das Sounddesign geht, kann es in XR schwierig sein. Vor allem, weil das Sounddesign mit der Ästhetik des Erlebnisses übereinstimmen muss. XR-Geräte sind in der Regel klein und tragbar, was bedeutet, dass sie nur über eine begrenzte CPU- und GPU-Leistung verfügen, so dass die meisten Erlebnisse in Bezug auf die Grafik keine High-End-Erfahrung sein werden. Der Sound muss der gleichen künstlerischen Idee folgen wie die Grafik, und in den meisten Fällen müssen die Entwickler*innen entscheiden, was in dem Erlebnis wichtig ist und wo sie ihre Bemühungen einsetzen wollen, und sich an der Gesamtästhetik des visuellen Designs orientieren.

Bei der Verwendung von Synthesizern können die Klänge harsch und unangenehm sein. Als ich anfing, mit XR zu arbeiten, dachte ich, die Lösung könnte sein, hauptsächlich mit Sinuswellen zu arbeiten. Sie klingen immer schön und angenehm für die Ohren. Ich habe sehr schnell gelernt, dass sich Sinuswellen nicht gut verräumlichen lassen. Genau genommen lassen sie sich überhaupt nicht räumlich darstellen. Eine Sinuswelle hat nicht genug Informationen, um sich durchzusetzen und sich je nach der Parallaxe der Ohren zu verändern, so dass sie infolgedessen nicht räumlich ist. 

Um einen Sound zu entwerfen, der in XR hervorsticht, ist es am besten, den Sound mit verschiedenen Texturen zu überlagern, um einen tiefgründigen Sound zu erzeugen. Das macht es einfacher, ihn räumlich zuzuordnen, und kaschiert die Bandbreitenbeschränkungen gut. 

Haptik

Haptik ist eines der geheimen Werkzeuge des XR-Audioentwicklers. Haptik wird immer als eine von Audio getrennte Kategorie betrachtet, aber wenn man darüber nachdenkt, ist Klang die Bewegung von Luft. Genauer gesagt ist es die Vibration von Luft. Haptik - ist Vibration. Die Vibrationen sind in der Regel so gering, dass wir sie nicht als hörbaren Ton wahrnehmen, aber sie gehören definitiv in die gleiche Kategorie wie Klang. Sie wird sogar durch dieselben Merkmale wie der Schall definiert. Amplitude, Frequenz und Dauer. Haptik kann verwendet werden, um die Interaktionen in XR zu verbessern, indem Klang mit Gefühl gepaart wird.

In einer sich so schnell verändernden Branche gibt es viele Möglichkeiten für Kreativität, und man kann sich leicht verirren. Die Technologie sollte der Kreativität nie im Wege stehen, sie sollte ein Werkzeug sein, etwas, das es uns ermöglicht, neue Dinge zu schaffen, aber stattdessen sind wir in der Terminologie gefangen. Denken Sie daran, das Medium für das zu nutzen, wofür es gut ist, und lassen Sie es wirklich glänzen. Vielleicht wird in Zukunft ein neues Musikgenre entstehen, ein Genre, das die modernen Stile der Audioproduktion und die neue Technologie für immersives Computing vermittelt.