Echtes Spatial Audio bei Spielen, XR und darüber hinaus

Spatial Audio und die Magie im Inneren

Das immersive Potenzial von Multimediainhalten - von der erweiterten Realität (XR) über Spiele und das Social Web bis hin zu Musik und Kino - wird durch die Integration von räumlicher Audiotechnologie erheblich gesteigert. Heutzutage gibt es viele verschiedene Begriffe wie 3D-Audio, Immersive Audio, Ambisonics oder Spatial Audio für das gleiche oder ein ähnliches Wahrnehmungsziel: die Nachahmung der natürlichen Art und Weise, wie Menschen Geräusche in der Umgebung wahrnehmen, um ein Hörerlebnis zu schaffen, das genauso real ist wie die visuellen Reize, die es begleitet. In diesem Artikel geht es darum, wie räumliches Audio unsere Erfahrung mit Medien beeinflusst. Wir werden untersuchen, wie sie Dinge wie unser Raumgefühl, unsere Emotionen, unser Wohlbefinden und die Art und Weise, wie Geschichten erzählt werden, beeinflussen. Anschließend werden wir die Verwendung von räumlichem Audio in Spielen diskutieren und atmoky und die Tools vorstellen, die es für Spiele-Engines und Audio-Middleware bietet. 

Förderung des räumlichen Bewusstseins, der Immersion und des Engagements

Es ist intuitiv einleuchtend, dass die Nachbildung einer dreidimensionalen Klanglandschaft uns dem realen Hörerlebnis näherbringt. Und die Wissenschaft untermauert dies mit faszinierenden Beweisen. In einer Studie von Kobayashi, Ueno und Ise (2015) 1 wurde untersucht, wie räumliche Klänge das Gefühl des Dabeiseins in virtuellen Umgebungen nicht nur psychologisch, sondern auch physiologisch deutlich verstärken.

In ihrer Studie wurde eine 3D-Klangwiedergabe verwendet, um Geräusche zu simulieren, die sich dem Hörer nähern, und mit nicht verräumlichtem Audio verglichen. Die Ergebnisse sind überzeugend:

• Tiefere psychologische Präsenz: Die Teilnehmer berichteten über ein viel stärkeres Gefühl der Präsenz mit räumlichem Audio, was bestätigt, dass die genaue Platzierung des Klangs die immersive Erfahrung virtueller Welten verstärkt.
• Physiologische Reaktion: Noch verblüffender ist, dass die verräumlichten Klänge eine stärkere Aktivierung des sympathischen Nervensystems auslösten, ähnlich wie es jemand tun würde, der im wirklichen Leben in den persönlichen Raum eindringt. Dies deutet darauf hin, dass unser Körper auf sorgfältig gestaltete virtuelle Klänge ähnlich wie auf reale Interaktionen reagiert.
• Geist und Körper im Gleichklang: Die Studie ergab eine signifikante Korrelation zwischen den psychologischen und physiologischen Messungen, was zeigt, dass unsere emotionalen und körperlichen Reaktionen auf virtuelle Umgebungen eng miteinander verwoben sind.

Insgesamt verdeutlicht diese Forschung den tiefgreifenden Einfluss der Klangqualität auf den Realismus und die emotionale Bindung in virtuellen Umgebungen. Gut gestaltete auditive Hinweise werden nicht nur wahrgenommen, sondern auch vom Körper gefühlt, was das gesamte virtuelle Erlebnis verbessert.

Zu ähnlichen Ergebnissen kommen auch  Hendrix & Barfield (1996)2, die untersuchten, wie sich das Vorhandensein oder Fehlen von räumlichem Klang auf die Erfahrung der Benutzer in virtuellen Räumen auswirkt. Es überrascht nicht, dass sie feststellten, dass räumlicher Klang das Gefühl der Präsenz im Vergleich zu flachem Klang deutlich erhöht. Noch interessanter ist jedoch, dass räumliches Audio die Art und Weise, wie Benutzer mit virtuellen Umgebungen interagieren, grundlegend verändert. Die Teilnehmer hatten das Gefühl, dass die Geräusche von bestimmten Orten ausgingen, was das Erlebnis nicht nur realistischer machte, sondern auch ihr Engagement für die virtuelle Welt erhöhte - ein wichtiger Aspekt für die Entwickler von Plattformen.

Verbesserte Konzentration und Wohlbefinden

Neben dem immersiven Nervenkitzel bietet Spatial Audio auch überraschende Vorteile für unser geistiges Wohlbefinden. Studien haben gezeigt, dass es unsere Konzentration steigern und Stress reduzieren kann.

Stellen Sie sich vor, Sie versuchen, eine bestimmte Stimme in einem überfüllten Raum herauszuhören. Mit normalem Audio kann das ein Kampf sein. Untersuchungen von Kilgore & Chignell (2005)3 haben jedoch ergeben, dass räumliches Audio die Identifizierung von Stimmen erheblich erleichtert, was auf eine bessere Konzentration und eine geringere geistige Belastung hindeutet. Es scheint, als hätte unser Gehirn weniger zu tun, wenn Klänge in einer natürlichen 3D-Umgebung präsentiert werden.

Die Vorteile gehen über alltägliche Aufgaben hinaus. Eine Studie von Greenberg et al. (2021)4 untersuchte den Einsatz von Raumklang zur Verringerung von Stress und negativen Stimmungen. Die Ergebnisse waren besonders vielversprechend für Personen mit Angstzuständen oder Depressionen, was das Potenzial von Raumklang als therapeutisches Mittel unterstreicht.

Darüber hinaus haben Untersuchungen von Hale et al. (2005)5 gezeigt, dass das Training mit räumlichen Audiohinweisen in virtuellen Umgebungen zu einer geringeren geistigen Beanspruchung und einer besseren Konzentration führt. Dies deutet darauf hin, dass die Einbeziehung von Raumklang in Bildungs- und Trainingskontexte zu effektiveren Lernerfahrungen mit geringerer mentaler Belastung führen kann.

Wenn Sie also das nächste Mal die Wunder von Spatial Audio erleben, denken Sie daran, dass es nicht nur darum geht, eine coole Klanglandschaft zu schaffen – es geht darum, dass Ihr Geist dabei schärfer und ruhiger wird. Die Plattformen, mit denen atmoky in diesem Zusammenhang arbeitet, sind VRelax, YourHaven, and Portal.

Spatial Audio in Spielen

Das Sounddesign von Spielen spielt seit langem eine wichtige Rolle beim Erzählen von Geschichten, bei der Gestaltung von Emotionen und beim Vorantreiben von Erzählungen. Spatial Audio erzählt die Geschichten nicht - aber es lässt sie uns fühlen. Durch die Platzierung von Klängen im virtuellen Raum wird eine starke emotionale Verbindung geschaffen, die mit herkömmlichem Audio einfach nicht erreicht werden kann. Aus diesem Grund ist Spatial Audio vor allem bei Spielen und XR ein wichtiger Faktor.

Akustische Ökologie in Spielen: Grimshaw & Schott (2007)6 befassen sich mit dem Konzept der "akustischen Ökologie" in Ego-Shooter-Spielen und argumentieren, dass Sound nicht nur ein Add-on, sondern ein integraler Bestandteil des Spielerlebnisses ist. Die Art und Weise, wie Geräusche in der virtuellen Welt platziert werden und interagieren, hat einen erheblichen Einfluss auf die Wahrnehmung des Spielers, die Entscheidungsfindung und die allgemeine Immersion. Dies verdeutlicht, dass ein ausgeklügeltes Sounddesign in Spielen über die Schaffung einer Atmosphäre hinausgeht; es gestaltet aktiv, wie Spieler mit der Welt interagieren, und steigert letztlich das gesamte Spielerlebnis.

Die Erstellung immersiver Klanglandschaften in Spiele-Engines stellt jedoch eine Herausforderung dar, die über die traditionellen Digital Audio Workstations (DAWs) hinausgeht, die für die Erstellung und Bearbeitung von Audio-Assets verwendet werden.

Ein wesentliches Hindernis ist die begrenzte Verfügbarkeit von speziellen Spatial-Audio-Plugins für Spiele-Engines wie Unity und Unreal Engine. Diese Engines sind zwar leistungsstark für die Spieleentwicklung, verfügen aber oft nicht über robuste native Spatial-Audio-Funktionen. Darüber hinaus erfordern Spieleumgebungen eine Audioverarbeitung in Echtzeit, im Gegensatz zur vorgerenderten Audiobearbeitung, die in DAWs üblich ist. Eine leistungsstarke Echtzeit-Audioverarbeitung ist entscheidend für Schlüsselelemente im Sounddesign von Spielen wie die dynamische Positionierung von Klangobjekten, dynamischer Hall und das Rendering von Klanglandschaften (z. B. Ambisonics oder mehrkanalige Inhalte), die sich ständig an die Bewegungen des Spielers und das Head-Tracking anpassen müssen.

In der Spieleentwicklungslandschaft gibt es zwei große Engines: Unity und Unreal Engine. Während die Unreal Engine einige integrierte Spatial-Audio-Tools (MetaSounds) bietet, sind die nativen Fähigkeiten und die Kanalbreite in Unity noch eingeschränkter, da hier nur wenige native Immersive-Audio-Funktionen zur Verfügung stehen. Für Projekte mit anspruchsvollen Audioanforderungen werden häufig dedizierte Audio-Middleware-Lösungen wie FMOD und Wwise eingesetzt. Diese bieten umfangreiche Tools zur Audiomanipulation und lassen sich nahtlos in die wichtigsten Game Engines integrieren. Aber selbst dort sind die Lösungen für eine hochwertige und intuitive räumliche Audioverarbeitung begrenzt. Es gibt auch Open-Source-Lösungen für räumliches Audio, aber ihnen fehlt oft die Präzision und Kontrolle, die für die professionelle Spieleentwicklung erforderlich ist. Außerdem sind die meisten verfügbaren Bibliotheken veraltet, nicht plattformübergreifend kompatibel (d.h. sie klingen nicht auf allen Plattformen gleich) und bieten keine Unterstützung oder Integration von fortgeschrittenen Funktionen. atmoky schließt diese Lücke mit seinen atmoky trueSpatial Plugins. Sie lassen sich nahtlos in die wichtigsten Game-Engines und Middlewares wie Unity, FMOD und Wwise integrieren und ermöglichen es Entwicklern, fortschrittliche räumliche Audio-Funktionen in ihren Projekten zu nutzen.

atmoky trueSpatial: Der Brückenschlag für hochqualitatives räumliches Audio

atmoky hat die Grenzen der nativen Audio-Tools in Game-Engines und die Komplexität der Audio-Middleware erkannt und trueSpatial entwickelt, um eine leistungsstarke und leicht zugängliche Lösung für die Erstellung immersiver Audio-Erlebnisse zu bieten. Hier ist eine Zusammenfassung der Fähigkeiten des Plugin-Pakets:

• Binaurales Rendering und Wahrnehmungsmodellierung: Das Herzstück von trueSpatial ist eine fortschrittliche binaurale Rendering-Engine, die ein Wahrnehmungsmodell enthält. Dies sorgt für eine minimale Klangverfärbung und maximiert das immersive Erlebnis, selbst bei komplexen ambisonalen Szenen.
• Externalisierungs-Verstärker: Bei der Verwendung von Kopfhörern führt das Fehlen einer simulierten Raumakustik oft dazu, dass Klänge innerhalb des Kopfes wahrgenommen werden, was das Gefühl der Externalisierung verringert. trueSpatials Externalizer behebt dieses Problem, indem er ein überzeugendes Erlebnis außerhalb des Kopfes bietet.
• Signalverarbeitung und Effizienz: trueSpatial verfügt über eine hoch optimierte Faltungs-Engine, die Anpassungen in Echtzeit ermöglicht, ohne die Leistung zu beeinträchtigen, selbst in Szenen mit zahlreichen Audioquellen. Auch wenn die Audioverarbeitung nicht annähernd so viel Platz einnimmt wie die visuelle Verarbeitung, ist es von Vorteil, hochleistungsfähige Lösungen anzubieten.
• Erweiterte Manipulation von Audioobjekten: Das Plugin bietet eine ausgefeilte Kontrolle über die Richtungsmuster von Audioobjekten und Verdeckungseffekte, die das reale Klangverhalten imitieren und die Glaubwürdigkeit virtueller Räume erhöhen.

• Nahfeldeffekte: Wenn sich Schallquellen in der Nähe des Zuhörers befinden, treten bestimmte Nahfeldeffekte auf. Diese Effekte beeinflussen, wie wir die Entfernung wahrnehmen, und schaffen ein Gefühl von Intimität. Studien von Spagnol et al. (2017) und Hyodo et al. (2021) zeigen, wie wichtig die genaue Nachbildung dieser Effekte für eine verbesserte räumliche Genauigkeit und eine tiefere emotionale Wirkung ist. 

Spiele, die bereits mit atmoky gebaut werden, sind: 

• Breachers 
• VailVR
• TinHearts

Einen vollständigen Überblick über die Funktionen und die Verwendung des Plugins finden Sie hier: atmoky trueSpatial for Unity

Wie kann das klingen? Hier ist eine Demo der Funktionalitäten:

Plattformübergreifend und mehr

Nahtlose Erlebnisse über alle Geräte hinweg: Die Kraft von atmoky

Wir bei atmoky wissen, wie wichtig es ist, konsistente, hochwertige Audioerlebnisse zu liefern. Deshalb ist unsere trueSpatial-Engine so konzipiert, dass sie auf jeder unterstützten Plattform gleich klingt! Das bedeutet, dass Sounddesigner immersive Klanglandschaften mit der Gewissheit kreieren können, dass die Nutzer sie genau so hören, wie sie beabsichtigt sind, unabhängig davon, ob sie auf einem PC, einer Konsole oder einem mobilen Gerät spielen.

Jenseits von Spielen: Ausweitung der Reichweite von Spatial Audio

Unser Engagement für plattformübergreifende Kompatibilität geht über die Welt der Spiele und XR hinaus. Wir haben erfolgreich räumliche Audioerlebnisse ins Web gebracht und damit spannende Möglichkeiten für:

• Sprachkommunikation in Echtzeit: Stellen Sie sich vor, Sie nehmen an virtuellen Besprechungen oder geselligen Zusammenkünften teil, bei denen die Stimmen natürlich und räumlich realistisch klingen, was die Kommunikation und Verbindung verbessert. meet.atmoky.com

  Video URL

  atmoky showroom on arrival.space

• Immersive Web-Erlebnisse: Webbasierte Konzerte, virtuelle Touren und interaktive Installationen können jetzt die Möglichkeiten von Raumklang nutzen, um wirklich fesselnde Erlebnisse zu schaffen. Siehe Sonic Meds - Enchanted Forest von Jelmer Althuis. 

  Video URL

  atmoky trueSpatial for web - enchanted forest

Wir sind auch stolz darauf, in eine innovative soziale Webplattform integriert zu sein, auf der wir auch unseren Showroom eingerichtet haben. 

Diese plattformübergreifende Flexibilität ermöglicht es Entwicklern, innovative und beeindruckende Erlebnisse für eine größere Anzahl von Plattformen und Anwendungsfällen zu schaffen.

atmoky und unsere Reise

Bevor wir atmoky gegründet haben, waren wir auf der IEM in Graz und haben uns mit fortschrittlicher Spatial Audio Technologie beschäftigt. Wir haben auch die IEM-Plugins entwickelt, die heute zu den meistgenutzten Werkzeugen für die Produktion und Arbeit mit Spatial Audio gehören. Basierend auf diesem Wissen und dieser Erfahrung haben wir uns vorgenommen, die Technologie auf die nächste Stufe zu heben und eine flexible und vielseitigere Alternative zu den bekannten Lösungen zu bieten, die aus der Unterhaltungsbranche und der Lautsprecherwiedergabe kommen. 

• 1

  Kobayashi, Ueno, & Ise (2015): Kobayashi, M., Ueno, K., & Ise, S. (2015). The Effects of Spatialized Sounds on the Sense of Presence in Auditory Virtual Environments: A Psychological and Physiological Study. PRESENCE: Teleoperators and Virtual Environments, 24, 163-174. https://doi.org/10.1162/PRES_a_00226.

• 2

  Hendrix, C., & Barfield, W. (1996). The Sense of Presence within Auditory Virtual Environments. Presence: Teleoperators & Virtual Environments, 5, 290-301. https://doi.org/10.1162/pres.1996.5.3.290. 

• 3

  Kilgore, R., & Chignell, M. (2005). Simple Visualizations Enhance Speaker Identification when Listening to Spatialized Voices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 49, 615 - 618. https://doi.org/10.1177/154193120504900403. 

• 4

  Greenberg, D., Bodner, E., Shrira, A., & Fricke, K. (2021). Decreasing Stress Through a Spatial Audio and Immersive 3D Environment: A Pilot Study With Implications for Clinical and Medical Settings. Music & Science, 4. https://doi.org/10.1177/2059204321993992. 

• 5

  Hale, K., Stanney, K., & Malone, L. (2009). Enhancing virtual environment spatial awareness training and transfer through tactile and vestibular cues. Ergonomics, 52, 187 - 203. https://doi.org/10.1080/00140130802376000. 

• 6

  Grimshaw, M., & Schott, G. (2007). Situating gaming as a sonic experience: the acoustic ecology of first-person shooters. https://wlv.openrepository.com/bitstream/handle/2436/35996/Grimshaw_DiGRA2007.pdf?sequence=1