Sol Rezza 
10 Minuten
Als Teil meiner Arbeitsroutine überarbeite ich häufig meine 3D-Klangverräumlichungsprojekte in ein binaurales Format und speichere eine Version für die digitale Verbreitung. Darüber hinaus verwendet ein großer Teil meiner Arbeit absichtlich das binaurale Format, wobei ich oft binaurale Panning-Plugins einsetze, anstatt mich ausschließlich auf binaurale Aufnahmen zu verlassen.
Die Herausforderung, räumliche Elemente in immersiven Klangerzählungen zu schaffen, insbesondere mit binauralem Audio, unterstreicht die Bedeutung des Verständnisses, wie räumliche Elemente eine grundlegende Rolle bei der Gestaltung der Wahrnehmung von Zeit und Raum spielen. Diese Transformation verbessert die immersive Klangerzählung während des Hörerlebnisses.
In diesem Zusammenhang spielen Werkzeuge wie das binaurale Panning eine entscheidende Rolle, um eine nahtlose Integration zwischen den verschiedenen greifbaren und nicht greifbaren Räumen zu erreichen, in denen sich binaurale immersive Erzählungen entfalten.
Stretch – Erweitern Sie den Raum
In der Physik, der Philosophie und im alltäglichen Leben wird das Konzept des Raums als die "Ausdehnung, die alle Materie und Energie im Universum umgibt und umfasst" definiert, die sich als dreidimensionales Kontinuum manifestiert, das sich unendlich in alle Richtungen erstreckt. Das Wort Raum hat seine Wurzeln im lateinischen spatium, abgeleitet vom Verb spando, was so viel wie "sich ausdehnen" bedeutet.
Binaurales Audio bietet verschiedene Ansätze, um den Raum zu "dehnen und zu erweitern".
Der bildende Künstler und Forscher Charles Stankievech 1 erforscht die von den Künstlern Janet Cardiff und George Bures Miller2 geschaffenen akustischen Spaziergänge. Diese immersive Erfahrung interpretiert das Konzept der Klangspaziergänge neu und ermutigt die Zuhörer, die Stadt zu erkunden, während sich ein vielschichtiger Soundtrack durch binaurale Aufnahmen in ihren Ohren entfaltet. Auf diese Weise gelingt es den Künstlern, die Grenzen zwischen dem inneren Raum des Zuhörers und der sich ständig bewegenden äußeren physischen Umgebung zu verwischen.
Walks Janet Cardiff.
Mein neuestes Werk mit dem Titel "20",3 habe ich aus einer Sprachnachricht auf WhatsApp entwickelt. Ich habe mich darauf konzentriert, eine intime Perspektive für den Hörer zu entwickeln und eine immersive und abstrakte Atmosphäre zu schaffen, die von der Stimme in einem virtuellen Raum geleitet wird. Eine erneute Aufnahme der Sprachnachricht mit einem binauralen Mikrofon war nicht möglich, da die Essenz der Erfahrung in der spontanen Natur der Nachricht lag. In diesem Zusammenhang halfen mir subtile Manipulationen mit binauralen Schwenks dabei, Räumlichkeit zu schaffen, Bewegung zu erzeugen und ein Gefühl der Zeitverschiebung zu vermitteln. Dadurch wurde der physische Raum des Hörers in einen imaginären, abstrakten Raum im Kopf überführt.
"The Encounter" von Simon McBurney 4, ist eine theatralische Erfahrung, die vollständig mittels eines binauralen Mikrofons ermöglicht wird. Durch das Hören über Kopfhörer wird eine individuelle Einbeziehung des Publikums erreicht, während gleichzeitig eine kollektive Teilung des physischen Raums, in dem sich die Handlung entfaltet, erfolgt. McBurneys Solo-Performance verwischt geschickt die Grenzen zwischen dem greifbaren physischen Raum des Theaters, in dem sich die Erfahrung abspielt, und der intimen Dimension der Erzählung.
Simon McBurney in "The Encounter" in "The Encounter", World Premiere at the Edinburgh International Festival, August 2015 by Christian Michelides
Bei binauralem Audio wird oft behauptet, dass diese Technik darauf abzielt, das menschliche Gehör nachzuahmen. Ich bin jedoch der festen Überzeugung, dass es sich um eine Technik handelt, die darauf abzielt, eine intimere Verbindung mit dem Hörer herzustellen. Vielleicht ist es die effektivste Methode, um einen narrativen Raum im "Geist" des Hörers zu schaffen.
Wenn man mit Kopfhörern hört, wird die räumliche Vermittlung der unmittelbaren physischen Umgebung eliminiert und eine begrenzte virtuelle Akustik im Kopf des Zuhörers geschaffen. Durch diese Trennung zwischen dem virtuellen Hörraum und der unmittelbaren physischen Umgebung entstehen Zwischenräume (zwischen dem greifbaren und dem virtuellen Raum), die traditionelle Sichtweisen in Frage stellen.
Sie sind hier, in Ihrem Kopf
Während binaurale Aufnahmen mit speziellen Mikrofonen unersetzlich sind und eine einzigartige Raumerweiterung bieten, die nicht allein durch binaurale Panning-Plugins erreicht werden kann, wird die Verwendung dieser Plugins zu einem interessanten Verbündeten bei der Schaffung dreidimensionaler Raumwahrnehmungen aus Mono- und Stereoklängen.
Ein binauraler Panner ist ein unverzichtbares Werkzeug in der immersiven Audioproduktion, das Audioquellen strategisch in einem dreidimensionalen Raum platziert, um ein intimes und realistisches Hörerlebnis zu schaffen.
Bei der Arbeit mit dreidimensionalem (3D-) Klang wählen wir einen Brennpunkt als Ursprung und legen ein Koordinatensystem fest, das auf den Kopf des Zuhörers zentriert ist, genau in der Mitte zwischen seinen Ohren. Diese Konfiguration führt zu drei Ebenen, die sich im Ursprung schneiden und einen Rahmen für räumliche Messungen bieten.
Jedes Plugin verwendet jedoch ein anderes Koordinatensystem oder einen anderen Satz von Koordinatensystemen, je nach Benutzeroberfläche und Ansatz des Plugins.
Im kartesischen Koordinatensystem werden die Koordinaten in Form von horizontalen Abständen (X-Achse), vertikalen Abständen (Y-Achse) und der Tiefe (Z-Achse) in Bezug auf den Abhörpunkt beschrieben. Im Polarkoordinatensystem werden die Koordinaten in Form eines radialen Abstands und eines Winkels beschrieben, der durch den radialen Vektor mit einer gewählten Richtung gebildet wird, in der Regel die Richtung der positiven X-Achse.
Cartesian and Polar Coordinates: Wikipedia
Dies unterstreicht, wie wichtig es ist, die Spezifikationen der Plugins für binaurales Panning zu lesen, um mehr Informationen darüber zu erhalten, wie die Klangquellen im dreidimensionalen Raum des gewählten Plugins für binaurales Panning zu positionieren sind. 5
Die Wahl eines Koordinatensystems beeinflusst den Arbeitsablauf erheblich. Diese Entscheidung ist eng mit dem künstlerischen Ziel des Projekts verknüpft.
Nehmen wir zum Beispiel meine Arbeit "Entre Marte y Júpiter", 6 ein zweisprachiges experimentelles Radiostück im Auftrag des Goethe-Instituts von Uruguay. Es basiert auf einem Interview mit der uruguayischen Astronomin Esmeralda Herminia Mallada Invernizzi, Mitbegründerin der Vereinigung der Amateurastronomen Uruguays.
Die Herausforderung bei dieser Komposition bestand darin, Malladas Stimmen auf Spanisch mit der deutschen Übersetzung zu vereinen. Die Wahl des Koordinatensystems ermöglichte zwei verschiedene Ansätze zur Handhabung der Stimmen und der Begleitgeräusche für jede Stimme.
Für den Abschnitt, in dem Esmeralda Mallada erklärt, was ein Asteroid ist und wie er sich bewegt, habe ich das Polarkoordinatensystem verwendet. Dadurch konnte ich mit abstrakteren Bewegungen experimentieren und ein natürliches Gefühl dafür entwickeln, wie sich die Stimme um das Sounddesign dreht. Da Polarkoordinaten die strategische Platzierung von Klangquellen in verschiedenen Winkeln und Entfernungen ermöglichen, gelang es mir, ein Gefühl von Nähe und Intimität zu erzeugen, das auf der Wahrnehmung des Zuhörers und nicht auf der strikten Positionierung der Stimme in der virtuellen Umgebung beruht.
Entre Marte y Júpiter fragments - Sol Rezza 2021 |#1
Entre Marte y Júpiter fragments - Sol Rezza 2021 |#2
Das andere Segment habe ich mit kartesischen Koordinaten bearbeitet. Die Stimme des Übersetzers sollte sich bewegen und einen bestimmten Platz im Raum einnehmen, um einen Kontrast zu Malladas Stimme zu schaffen. In diesem Zusammenhang boten kartesische Koordinaten eine präzise Kontrolle über die Position der Stimme im dreidimensionalen Raum und ermöglichten eine genaue Positionierung entlang der X-, Y- und Z-Achsen. Dies führte zu einer natürlichen und realistischen räumlichen Darstellung, die ein Gefühl der Intimität aus einer anderen räumlichen Perspektive vermittelte.
Bei beiden Systemen geht es darum, die psychologische Wirkung zu verstehen, die sich aus den verschiedenen Möglichkeiten der Klangpositionierung in einer virtuellen dreidimensionalen Umgebung ergibt. Faktoren wie Entfernung, Richtung und Bewegung tragen zur emotionalen Verbindung zwischen dem Hörer und dem Audioinhalt bei. Die Fähigkeit, diese Elemente zu manipulieren, sei es durch die Präzision kartesischer Koordinaten oder die künstlerische Flexibilität von Polarkoordinaten, ermöglicht einen personalisierten Ansatz zur Schaffung von Hörerlebnissen, die die Intimität und Verbindung herstellen, die wir als Produzenten suchen.
Stärker auf den Raum konzentriert
Die meisten binauralen Panner bieten zusätzliche Steuerelemente, die eine entscheidende Rolle bei der Gestaltung der intimen Qualitäten des Klangs spielen, darunter Okklusionssteuerung, Reflexionssteuerung, Fokussteuerung, Amplitudensteuerung, Dämpfungssteuerung und die Möglichkeit, benutzerdefinierte HRTF-Funktionen 7 zu verwenden.
DearVR Pro and DearVR Micro audio panning plugins
Im Folgenden werde ich einige dieser Parameter kurz erläutern und zeigen, wie sie den Fokus in binauralen Erzählungen beeinflussen.
Okklusionssteuerung: Die Okklusionssteuerung bezieht sich auf die Fähigkeit, die Blockierung oder Behinderung von Schall durch Objekte in der virtuellen Umgebung zu simulieren. Diese Steuerung ist von entscheidender Bedeutung für die Schaffung realistischer räumlicher Erfahrungen, bei denen Klänge teilweise oder vollständig durch virtuelle Hindernisse verdeckt werden können, wodurch ein Gefühl der Präsenz im Raum entsteht.
Reflexionssteuerung: Mit den Steuerelementen für die Reflexion lassen sich die Schallreflexionen im virtuellen Raum beeinflussen. Die Manipulation von Reflexionsparametern, z. B. Materialien und Oberflächenwinkeln, verbessert die Wahrnehmung der Körperlichkeit eines Raums.
Fokus-Steuerung: Die Fokussteuerung ermöglicht die Konzentration des Klangs auf bestimmte Richtungen oder Bereiche innerhalb des dreidimensionalen Raums. Dies ist entscheidend, um die Aufmerksamkeit des Zuhörers zu lenken und die emotionale Wirkung zu verstärken.
Breitensteuerung: Die Breitensteuerung beeinflusst die wahrgenommene Amplitude des Klangfelds. Die Einstellung dieses Reglers trägt dazu bei, ein Gefühl von Weite, Nähe und Bewegung im Raum zu erzeugen.
Dämpfungssteuerung: Die Dämpfungssteuerung bezieht sich auf die Abschwächung des Schalls über die Entfernung oder durch virtuelle Materialien. Sie ist entscheidend, um ein realistisches Ausklingen zu erreichen und dem Raum Tiefe zu verleihen.
Benutzerdefinierte HRTF: Die Integration von HRTF-Funktionen (Head-Related Transfer Function) in binaurale Panning-Plugins stellt einen grundlegenden Fortschritt bei der Verbesserung der Genauigkeit der räumlichen Audioreproduktion dar. HRTF, ein Mechanismus, der die individuellen Unterschiede in der Interaktion von Klängen mit dem Kopf und den Ohren des Zuhörers berücksichtigt, verfeinert das immersive Audioerlebnis erheblich. Während viele binaurale Panning-Plugins mit einer Standard-HRTF ausgestattet sind, bieten einige Plugins die Flexibilität, benutzerdefinierte Messungen einzubinden. Die Verfügbarkeit von Online-Repositories, die HRTF-Daten von verschiedenen binauralen Mikrofonen enthalten, ermöglicht es Produzenten, diese Messungen herunterzuladen und in die von ihnen gewählten Plugins zu integrieren.
Abschließende Anmerkungen
Binaurale Panning-Plugins bieten die Möglichkeit, Klänge kreativ und realistisch im Raum zu positionieren, was die verfügbaren narrativen Optionen erheblich erweitert. Binaurale Panning-Tools sind unkomplizierte und zugängliche Ressourcen für die meisten unabhängigen Produzenten.
Aus meiner Sicht sind sie ein geeigneter Ausgangspunkt, um räumliche Funktionalitäten zu begreifen und die ersten Schritte in die Welt des immersiven Audios zu machen.
Immersive Audioerlebnisse unterliegen einem bemerkenswerten Wandel, der durch die Integration von Künstlicher Intelligenz (KI) und biometrischen Funktionen in Kopfhörern veranschaulicht wird. Diese Innovationen, kombiniert mit Echtzeitanpassungen bei der Unterdrückung von Hintergrundgeräuschen, ermöglichen ein Klangerlebnis, das auf die Vorlieben und Bedürfnisse der Nutzer zugeschnitten ist.
Diese Revolution der Hörformen verspricht, unsere Wahrnehmung der Zeit und der verschiedenen Räume, mit denen wir interagieren, völlig neu zu konfigurieren.
Die Erforschung des binauralen Klangs und des räumlichen Hörens erstreckt sich zwar über mehr als ein Jahrhundert, doch in den letzten zwei bis drei Jahrzehnten wurden bedeutende Fortschritte erzielt. In diesem Zusammenhang bieten experimentelle binaurale Erzählungen nicht nur die Möglichkeit, den intimen Raum zu bereichern, sondern auch neue Verbindungen zu realen physischen Räumen herzustellen, die zu wesentlichen Elementen sich ständig weiterentwickelnder immersiver Klangerzählungen werden.
- 1
Charles Stankievich Website https://www.stankievech.net/
- 2
Jena Walk (Memory Field) 2006 https://cardiffmiller.com/walks/jena-walk-memory-field/
- 3
mehr Informationen über das Werk "20" https://solrezza.net/en/portfolio/20/
- 4
The Encounter Website https://www.complicite.org/work/the-encounter/
- 5
Es ist wichtig, im Handbuch des Plugins nachzuschlagen, um festzustellen, welchen Maßstab die einzelnen Koordinatensystemgraphen verwenden. Dies gewährleistet eine genaue Interpretation und Nutzung der räumlichen Funktionen des binauralen Panning-Plugins.
- 6
more information about the work “Entre Marte y Júpiter” https://solrezza.net/en/portfolio/entre-marte-y-jupiter/
- 7
HRTF (Head Related Transfer Function), is a mathematical representation that describes the filtering process that occurs when sound travels from a sound source to the listener’s ears, taking into account the unique characteristics of the head and ears.Each individual has a different HRTF, as the shape and size of the head, ears, and torso affect how sound is perceived. HRTF captures these individualized characteristics and is used to simulate the spatial perception of sound in immersive audio systems.
Sol Rezza
Sol Rezza, eine argentinische Sound-Innovatorin, verbindet elektronische Klanglandschaften mit 3D-Technologie für immersive Erfahrungen. Sie verfügt über umfangreiche Erfahrungen mit Radiokunst und Mehrkanal-Performances. Zu ihren gefeierten Werken gehören "SPIT", "In the Darkness of the World", "Rooms in Your Mind" und "Catastrophic Forgetting". Seit 2023 befasst sie sich mit Audio der nächsten Generation, räumlichem Audio und dem Einfluss von KI auf immersive Erzählungen. Sol möchte den Wissensaustausch unter Künstlern fördern und die entscheidende Rolle unabhängiger Produzenten bei der Gestaltung zukünftiger Audioerlebnisse hervorheben.
Artikelthemen
Artikelübersetzungen erfolgen maschinell und redigiert.
// Ähnliche Artikel
