ROOMS für deine Ohren

Binaurales Stereo

Die binaurale Klangerzeugung hat sich von einem Privileg der Großindustrie zu einer zugänglichen immersiven Technologie entwickelt. Um sie noch zugänglicher zu machen, haben die Professoren des Instituts für Elektronische Musik und Akustik, IEM, Gerhard Eckel, Franz Zotter und Matthias Frank, einen Kurs "Binaurale Produktion für Klangkünstler*innen" entwickelt. Als pädagogischer Teil eines ROOMS-Projekts zielt der Kurs darauf ab, technische und künstlerische Ansätze miteinander zu verbinden und Klangkünstler*innen praktische Werkzeuge an die Hand zu geben.

Die Projektleiterin von "ROOMS", Alisa Kobzar, hat mit den Autoren des Kurses Interviews über den Inhalt und die Entwicklung des Kurses geführt.

Alisa: Üblicherweise denkt man, dass binaurales Audio eine Art von Stereoformat ist, das mit Kopfhörern assoziiert wird. Aber was ist das Besondere an binauralem Stereo?

Franz: Oberflächlich betrachtet ähnelt das binaurale Stereo dem typischen Stereoformat mit seinen zwei Kanälen. Und die meisten Kopfhörer-Hörer dürften bisher beides verwechseln, weil sie ihre Lautsprecher-Stereo-Musik über Kopfhörer hören. Doch das bereits in den 1980er Jahren kurzzeitig berühmte binaurale Stereo liefert direkt die Signale, die in einem 3D-Klangfeld an den Ohren ankommen würden. Klänge können in allen umgebenden Richtungen und Höhen erscheinen, nicht nur vorne wie beim Lautsprecher-Stereo.

Alisa: Das klingt spannend! Es scheint, dass die Kopfhörer-Hörer*innen die Lautsprecher-Hörer jetzt dominieren. Können Sie sagen, dass das binaurale Format mehr 3D-Eindrücke vermittelt als Stereo oder 5.1?

Franz: Es ist heutzutage recht erschwinglich, die meiste Musik und Audio über Kopfhörer und ein Smartphone oder einen Laptop zu konsumieren. Und binaurales Stereo ist für die meisten Anwendungen perfekt geeignet und kann auf Kopfhörern mehr 3D-Eindrücke liefern als auf einem Stereo- oder 5.1-Lautsprechersystem.

Alisa: In welchen Kontexten könnte man die binaurale Stereoanlage einsetzen?

Matthias: Viele Musikproduzent*innen verfolgen derzeit das Ziel, ihr immersives Audio in einem Format zu liefern, das über Kopfhörer gehört werden kann, obwohl die Produktion selbst normalerweise in Studios mit umgebenden Lautsprechersystemen erfolgt. Es ist zu erwarten, dass binaurales Stereo in Zukunft für den Konsumenten noch wichtiger sein wird als heute, weil das, was heute in Open-World-Virtual-Reality-Spielen üblich ist, immer populärer und verbreiteter werden wird. Dort werden interaktiv gerenderte 3D-Klangumgebungen, die eine statische Außenwelt imitieren, das Ziel sein, und Smartphones können die erforderliche Audioverarbeitung und Positionserfassung übernehmen. Auch für das Internet gibt es viele interessante interaktive Anwendungen, das Grazer Unternehmen atmoky arbeitet an navigierbaren, virtuellen 3D-Audiowelten, die im Webbrowser navigierbar sind.

Für Klangkünstler*innen eignet sich binaurales Stereo auch hervorragend, um zu simulieren, wie ihre Musik auf verschiedenen Lautsprechersystemen und in verschiedenen elektroakustischen Aufführungsräumen klingen würde. Dies ist einer der Hauptschwerpunkte des ROOMS-Projekts (Einzelheiten siehe unten).

Kreative Potenziale des binauralen Formats

Das Institut für Elektronische Musik und Akustik (IEM) ist ein Zentrum für vielfältige Forschungen, von denen zwei Bereiche für den Kurs "Binaurale Produktion für Klangkünstler*innen" direkt relevant sind: "Spatial Audio" und "Klang und Raum". Die Videodozenten des Kurses sind Experten aus beiden Bereichen. Die Zusammenarbeit zwischen den technischen und künstlerischen Abteilungen des IEM hat zu mehreren binauralen Klangkunstprojekten geführt, wie z.B. "tingles & clicks" des ORF musikprotokoll im Jahr 2020, der kamerabasierte 3D-Audioplayer, die HOAST 3D-Audio- und Video-Streaming-Bibliothek, um nur einige zu nennen. Zusätzlich bietet das IEM eine kostenlose Plug-in-Suite, die im Kurs häufig verwendet wird. Verschiedene Publikationen, darunter "Ambisonics: A Practical 3D Audio Theory for Recording, Studio Production, Sound Reinforcement, and Virtual Reality" von F. Zotter und M. Frank, bereichern das theoretische und praktische Wissen des IEM.

Alisa: Angesichts dieses reichhaltigen Umfelds stellt sich die Frage: Was sollten Klangkünstler*innen bei der Produktion für das binaurale Format beachten?

Gerhard: Es ist zwar interessant, die immersiven Möglichkeiten des binauralen Formats zu erforschen, d.h. Klänge überall um den Hörer herum, in verschiedenen Entfernungen, mit unterschiedlichen Ausrichtungen der Klangquelle und in verschiedenen akustischen Umgebungen zu lokalisieren, aber der Grad der Immersion kann noch gesteigert werden, indem binaurale Klangschichten mit nicht-binauralen kontrastiert werden. Genauer gesagt, könnte der Ort des Klangs sein:

• im Kopf: wenn man dasselbe Signal an beide Ohren sendet, wodurch das surreale Gefühl entsteht, dass sich der Klang im Kopf des Zuhörers befindet.
• nur auf einem Ohr: wenn ein Signal nur auf einem Ohr dargeboten wird (was in einer unvermittelten Hörsituation, d. h. ohne Kopfhörer, keine Entsprechung hat).
• zwischen #1 und #2: innerhalb eines großen Spektrums von Möglichkeiten zwischen den genannten Extremen, die hybride räumliche Klangerlebnisse und ein Morphing zwischen ihnen ermöglichen.
• zwischen akustischen Umgebungen: Binaurale Klänge geben Ihnen das Gefühl, sich in verschiedenen Räumen zu befinden, was nur mit Kopfhörern möglich ist, da diese andere Geräusche ausblenden. Im Gegensatz zu Lautsprechern, die den Hörer nicht von seiner Umgebung isolieren. Die Übergänge zwischen den akustischen Umgebungen können als starkes dramaturgisches Mittel eingesetzt werden, um beispielsweise beim Hörer das Gefühl der Bewegung durch verschiedene Räume zu erwecken.
• als gemeinsames Erlebnis: Die Verwendung von offenen Kopfhörern ermöglicht es Komponist*innen, die individuelle binaurale Klangprojektion mit der gemeinsamen Lautsprecherprojektion zu kombinieren, was eine weitere Palette von klangdramaturgischen Mitteln in Konzertsituationen eröffnet.

IR - ein technisches oder kompositorisches Werkzeug?

Eines der wichtigsten Produktionsmittel für virtuelle Räume ist die IR oder Impulsantwort. Sie ist ein notwendiger Bestandteil des Faltungsprozesses und der Faltungsplugins, die in diesem Kurs verwendet werden.

Alisa: Obwohl es im Videokurs ausführlich erklärt wird, Franz, könntest du uns kurz sagen, was der Hauptzweck von IR ist?

Franz: Impulsantworten (IRs) sind eine sehr aussagekräftige Charakterisierung der Reaktion eines Systems auf einen Impuls. In Räumen ist die Raumimpulsantwort (RIR) sehr aussagekräftig, um zu charakterisieren, was die Akustik des Raumes mit dem Signal eines Lautsprechers macht, wenn es empfangen wird. Und für unsere Ohren charakterisieren die binauralen Raumimpulsantworten (BRIRs), was durch den Raum zu den Ohren des Zuhörers gelangt, wenn ein Lautsprecher einen impulsiven Klick, einen Impuls, abspielt. Wir verwenden einen Kunstkopf, einen Puppenkopf mit zwei Ohrmuscheln und Ohrmikrofonen, um dies zu messen.

Das Tolle an Impulsantworten ist, dass wir ein Signal in eine Folge von eng beieinander liegenden Impulsen mit unterschiedlichen Amplituden zerlegen können. Auf diese Weise wissen wir auch, was jedes dieser winzigen Signalbits als gewichtete Impulsantwort an den Ohren erzeugen wird. Die Addition dieser Folge von signalgewichteten und zeitlich verschobenen binauralen Impulsantworten wird als Faltung bezeichnet und liefert uns die Signale, die wir über Kopfhörer wiedergeben können. Für Forscher*innen und viele künstlerische Forscher*innen ist das eigentlich nichts Neues, aber für die Audio- und Musikproduktion ist es dennoch eine sehr nützliche Sache.

Binaurale Raumimpulsantworten virtualisieren das Verhalten eines Raums mit vielen Lautsprechern für eine Hörposition. So können wir ausprobieren, wie verschiedene Signale klingen würden, wenn sie über die Lautsprecher im virtuellen Raum abgespielt werden.

Das ist immer noch erstaunlich, auch nach mehr als 20 Jahren Arbeit in diesem Bereich. Bei Interesse: Schauen Sie sich unsere Video-Vortragsreihe und ihre Beispiele an.

Alisa: Vom technischen Standpunkt aus betrachtet klingt das sehr interessant! Und welche künstlerischen Implikationen der IRs könnten Sie sich vorstellen?

Gerhard: Mir fallen die folgenden zwei Implikationen ein:

• Simulation der akustischen Zielumgebung. IRs sind ein großartiges Hilfsmittel für die Arbeit mit elektroakustischen Aufbauten (Lautsprecher und Mikrofone in einem Raum) außerhalb des Hauses. Das Einzige, was Sie brauchen, sind gute Kopfhörer. Nehmen wir an, Sie wollen ein ortsspezifisches elektroakustisches Werk produzieren und haben während des Kompositionsprozesses nur begrenzten Zugang zum Ort. Wenn Sie in der Lage sind, binaurale Impulsantwortmessungen an der Einrichtung Ihrer Wahl vorzunehmen, können diese Ihnen eine sehr zuverlässige Simulation der wichtigsten akustischen Eigenschaften der Situation liefern, für die Sie komponieren. Auch wenn nicht alle Details durch eine solche Simulation abgedeckt werden können, ist der Vorteil, in der Zielumgebung statt im Studio komponieren zu können, enorm.
• IRs als kreativer Raum. Es besteht die Möglichkeit, mit den IRs selbst zu komponieren, indem man Klangmaterial mit den gemessenen IRs faltet, um andere Effekte als die Auralisierung einer bestimmten elektroakustischen Umgebung zu erzielen. Stellen Sie sich vor, Sie falten einen Klang immer wieder mit den IRs einer bestimmten Lautsprecher-/Mikrofonanordnung in einem Raum. Dies entspräche (zumindest konzeptionell) dem Ansatz, den Alvin Lucier in seinem bahnbrechenden Stück "I Am Sitting in a Room" von 1969 verwendete. In dem Videokurs gehe ich auf diese Idee ein und zeige, wie man mit solchen Konzepten komponieren kann.

Kurs: "Binaurale Produktion für Klangkünstler*innen"

"Binaurale Produktion für Klangkünstler*innen" war ein Online-Kurs des IEM für Komponist*innen und Klangkünstler*innen zur Arbeit mit räumlichem 3D-Audio nur mit Kopfhörern und einem Laptop. Er umfasste die notwendige Theorie und Praxis der Arbeit mit modernen 3D-Audioproduktionswerkzeugen und konzentrierte sich auf das binaurale Stereoformat als Ziel. Ziel des Kurses war es, die erworbenen Kenntnisse und Fähigkeiten in Theorie und Praxis des Raumklangs in binauraler Darstellung in der eigenen künstlerischen Praxis anzuwenden. 

Die Phase des Pilotprojekts (durchgeführt im Frühjahr 2022) umfasste 12 Teilnehmer - elektronische/elektroakustische Komponist*innen, Klangkünstler*innen und Musiker*innen aus der Ukraine, die nach 1981 geboren wurden, und Student*innen der Universität für Musik und darstellende Kunst Graz (KUG) in Österreich mit Erfahrung im Schreiben von elektroakustischer, Computermusik oder Sounddesign.

Während des 30-tägigen Zugriffs auf die Video-Tutorial-Reihe (die auf der Moodle-Plattform gehostet wurde) konnten die Teilnehmer jederzeit mit den Kursleitern in Kontakt bleiben - über das Diskussionsforum oder durch persönliche Beratung im Zusammenhang mit dem Kurs. Das Schulungsmaterial bestand aus Tutorial-Videos, ergänzenden Inhalten und Tests, die nacheinander das nächste Tutorial freischalten.

Die Abschlussarbeit des Kurses war eine Klangkomposition oder ein Arrangement einer eigenen Komposition oder Klanginstallation (bis zu zehn Minuten lang), die auf der Website des ROOMS-Projekts und seiner Playlist veröffentlicht wurde.

Am Ende des Kurses wurden aus den Abschlussarbeiten mehrere Arbeiten ausgewählt, die mit besonderen Preisen ausgezeichnet wurden.

Hier sind einige der fertigen Werke (SoundCloud-Playlist)

Nachdem die Pilotphase des pädagogischen Teils des ROOMS-Projekts abgeschlossen war, wurde eine Video-Tutorial-Serie für die Öffentlichkeit zugänglich gemacht. Als Teil des Kurses entwickelte Gerhard Eckel ein SuperCollider-Tool, das in den letzten vier Einheiten der Video-Tutorial-Reihe behandelt wird.

Alisa: Gerhard, kannst du das kreative Potenzial eines Werkzeugs beschreiben, das du in SuperCollider entwickelt hast?

Gerhard: Bei der Vorbereitung des Kurses suchte ich nach einem Beispiel für die Anwendung von Faltung mit Raumimpulsantworten zu anderen Zwecken als der Vertonung. Alvin Luciers Stück "I Am Sitting in a Room", das seit mehr als einem halben Jahrhundert viele Komponist*innen und Klangkünstler*innen inspiriert, schien mir ein attraktiver Ausgangspunkt zu sein. Ausgehend von einer Aufführung des Stücks im IEM CUBE habe ich eine Umgebung geschaffen, die diese Aufführung mit Hilfe von in der Sprache SuperCollider geschriebenem Signalverarbeitungscode simuliert.

Alle Operationen werden in Nicht-Echtzeit ausgeführt und können daher vom/von der Komponist*in sehr leicht geändert und erweitert werden. Die mitgelieferten SuperCollider-Klassen ermöglichen die Erstellung strukturierter Korpora von iterativ gefalteten Signalen, die mit einem grafischen Werkzeug durchgeblättert werden können, das die topologischen Beziehungen der zur Messung der Impulsantworten verwendeten Lautsprecher und Mikrofone veranschaulicht. Dies vermittelt ein erfahrbares Verständnis der Klangveränderungen und ihrer Abhängigkeit von den kleinsten Details der Lautsprecher-/Mikrofonkonfigurationen, worin auch eine der Faszinationen von Luciers Stück liegt. Indem ich die heutigen Möglichkeiten der einfachen Arbeit mit Impulsantworten und Faltung mit Luciers bahnbrechendem Werk der Klangkunst in Verbindung bringe, hoffe ich, Komponist*innen und Klangkünstler*innen dazu zu inspirieren, die zugrunde liegenden Konzepte künstlerisch weiter zu erforschen.

Alisa: Welche Voraussetzungen sollte eine Person mitbringen, um den Kurs optimal nutzen zu können?

Matthias: Sie können den Kurs am besten nutzen, wenn Sie Grundkenntnisse in der Klangbearbeitung mit dem Computer haben, d.h. wenn Sie wissen, was eine DAW ist und diese bedienen können. Außerdem sind Erfahrungen mit Klangbearbeitungsumgebungen wie Pure Data, SuperCollider oder Max/MSP sehr hilfreich. Es ist von Vorteil, eine Aufführung von "I Am Sitting in a Room" von Alvin Lucier erlebt zu haben. Was die Hardware betrifft, so sind ein Laptop und ein guter Stereokopfhörer alles, was benötigt wird.

Alisa: Und wo kann das im Kurs erworbene Wissen angewendet werden?

Franz: In Ihrer künstlerischen Praxis als Komponist*in und Klangkünstler*in, als Produzent*in von Hörspielen und Sound für Theater - um nur einige Beispiele zu nennen. Die Kenntnisse und Fähigkeiten werden überall dort nützlich sein, wo die Besonderheiten akustischer Umgebungen und deren Simulation kreativ genutzt werden können.

Postskriptum: ROOMS Projekt

© IEM

Screenshot aus dem Kurs "Binaurale Produktion für Klangkünstler"

Ursprünglich war ROOMS als internationale Doppelresidenz geplant, die von der IEM KUG in Graz, Österreich, und der NGO Creative Sensor auf dem weitläufigen Gelände des Vymiriuvach Innovation Park in Zhytomyr, Ukraine, veranstaltet wurde. Der Ausbruch der Pandemie und der anschließende Krieg in der Ukraine veranlassten das ROOMS-Team jedoch, sein ursprüngliches Offline-Format in ein vielseitiges Projekt umzuwandeln. Diese Umwandlung führte zur Entwicklung von zwei Hauptkomponenten:

• Ein pädagogischer Aspekt wird durch eine frei verfügbare Online-Videotutorial-Reihe dargestellt.
• Eine Initiative zur Renovierung von Schutzräumen konzentrierte sich auf die dringende Renovierung eines Bunkers in Zhytomyr.

Der Name des Projekts leitet sich von seinem zentralen Konzept der Erkundung virtualisierter Räume ab. Die Video-Tutorial-Reihe mit dem Titel "Binaurale Produktion für Klangkünstler*innen" konzentriert sich auf die Verwendung von binauralem Stereo als primäres Format sowohl für theoretische als auch für praktische kreative Elemente. Diese Wahl sollte die Zugänglichkeit des Kurses verbessern, da nur ein Laptop, Kopfhörer und eine Internetverbindung erforderlich sind. Die Hauptsprache des Kurses ist Englisch, wobei nach der Pilotphase alle Videoinhalte mit englischen und ukrainischen Transkriptionen ergänzt wurden.

Weitere Informationen finden Sie auf der Website des ROOMS-Projekts.

Das Projekt wurde durch das House of Europe Grant for International Collaborations finanziert. Der Großteil der Produktionskosten für die Video-Tutorial-Reihe wurde der Initiative zur Renovierung von Unterkünften gespendet.

Autoren des Kurses "Binaurale Produktion für Klangkünstler*innen"

© Barbara Becker, Franz Zotter, Matthias Frank

Gerhard Eckel, Franz Zotter, Matthias Frank

Gerhard Eckel ist Professor für Computermusik und Multimedia am IEM (KUG) in Österreich, außerordentlicher Professor an der Königlichen Technischen Hochschule (KTH) und Gastprofessor am Royal College of Music (KMH) in Stockholm. Neben seiner künstlerischen Arbeit und Lehre leitet er öffentlich geförderte transdisziplinäre Forschungsprojekte und betreut wissenschaftliche und künstlerische Doktorarbeiten. Er ist ein Künstler, der mit Hilfe von Klang Wege der Weltgestaltung erforscht.

Franz Zotter ist außerordentlicher Professor am IEM (KUG). Er forscht im Bereich Audio Engineering. 2019 hat er gemeinsam mit M. Frank das Buch "Ambisonics. A Practical 3D Audio Theory for Recording, Studio Production, Sound Reinforcement, and Virtual Reality" verfasst; erschienen bei Springer. Für die Arbeit zu diesem Promotionsthema und Ambisonics wurde er 2012 mit der Lothar-Cremer-Medaille der Deutschen Gesellschaft für Akustik (DEGA) ausgezeichnet. Er ist Mitglied der DEGA, der AES und des VDT.

Matthias Frank ist Assistenzprofessor am IEM (KUG). Er ist Spezialist für räumliche Klangaufnahme und -wiedergabe und ein aktiver Forscher und Entwickler von virtueller und erweiterter Realität im Bereich der Akustik. Im Jahr 2019 verfasste er zusammen mit F. Zotter das Open-Access-Buch "Ambisonics. A Practical 3D Audio Theory for Recording, Studio Production, Sound Reinforcement, and Virtual Reality", das bei Springer erschienen ist. Er ist Mitglied der DEGA, der AES und des VDT.