Holly+, Holly Herndons digitaler KI-Stimmenzwilling

Holly Herndon ist eine amerikanische Sängerin, Komponistin und KI-Musikerin, die in Berlin lebt und arbeitet. Sie beschäftigt sich seit Jahren mit maschinellem Lernen und setzt KI-Tools in ihrer Musikproduktion ein. Stilistisch bewegt sich ihre Musik zwischen Pop, Folk, Chormusik und Electronica. 

Das Album Proto 

Gemeinsam mit ihrem Partner Mathew Dryhurst und dem Entwickler Jules LaPlace hat Herndon bereits auf ihrem 2019er Album Proto neuronale Netze eingesetzt. Bei der Produktion des Albums wurde ein KI-Modell mit Gesangsaufnahmen von Herndon und einem Berliner Vokalensemble trainiert.

Die Ausgaben des Netzwerks werden dann ständig mit den Eingaben verglichen und angepasst. Durch dieses Training lernt das System und wird immer präziser. 

Das KI-Tool „laichen“ lassen 

Neuronale Netze sind eine Form von KI-Systemen, die der Funktionsweise des menschlichen Gehirns nachempfunden sind, genauer gesagt, der Funktionsweise biologischer Nervenzellen. Künstliche neuronale Netze werden trainiert, indem man sie mit Daten füttert, die sowohl den Input als auch den resultierenden Output enthalten. Für das KI-Tool verwendet Herndon die Metapher eines KI-Babys, eines „Spawn“. „Spawning“ nennt sie den Prozess der Datenfütterung durch das menschliche Kollektiv.

Ziel ist es, die Gewichte der Verbindungen zwischen den digitalen Neuronen so anzupassen, dass die Ergebnisse des Netzwerks den gewünschten Ergebnissen so nahe wie möglich kommen. 

Das KI-Musikwerkzeug Holly+ 

Mit dem Projekt „Holly+“ geht Herndon noch einen Schritt weiter. In Zusammenarbeit mit der Firma NBHS (Never Before Heard Sounds) hat Herndon mit Holly+ einen „digitalen Zwilling“ ihrer Stimme geschaffen.

Auf der Projekt-Website stellt sie den Nutzern ein Tool zur Verfügung, mit dem sie mit Holly+ experimentieren und ihre Musik produzieren können. Dazu können einstimmige oder mehrstimmige Audiodateien hochgeladen und anschließend eine „transformierte“ Holly+ Audiodatei heruntergeladen werden.

© Holly Hendon

Screenshot of Holly+ on holly.plus

Das Herndon-Stimmenmodell ist ein neuronales Netzwerk, das trainiert wird und als Ergebnis ein Textur-Mapping ermöglicht. Auf diese Weise können die Klangeigenschaften eines Quellklangs auf einen Zielklang übertragen werden. Die Qualität der Ergebnisse hängt stark davon ab, wie differenziert und detailliert das Trainingsmaterial ist. Also fütterte sie das Modell mit möglichst vielen Facetten ihrer Sprech- und Singstimme.

Versuchen wir es mal. Hier sind Klangbeispiele, die ich nach und nach auf die Holly+ Website hochgeladen habe. Nach dem Hochladen wurden die Dateien verarbeitet, und ich konnte die neuen „transformierten“ Sounddateien herunterladen. 

Ein neues Verwertungsmodell für AI Work 

Doch damit nicht genug: Herndon hat auch über ein Verwertungsmodell nachgedacht, das den neuen Möglichkeiten der KI-Tools gerecht wird. Er bezieht sich dabei auf das Prinzip des “My Collective Ass”, das von dem Theoretiker McKenzie Wark vorgeschlagen wurde. 

Wark spricht von drei Phasen in der Entwicklung von Kunstwerken, in denen sich Seltenheit und Sammlerwert unterscheiden. Die erste Phase ist die der alten Meister (z. B. Rembrandt). Hier löst sich das Kunstwerk von der Handarbeit. Kunstwerke werden kollektiv in seinem Atelier hergestellt, er tritt als Urheber auf. Im Industriekapitalismus beginnt eine neue Ära. Die Waren werden nun von Arbeitern in Fabriken hergestellt. Die Seltenheit und Sammelbarkeit des Kunstwerks wird dadurch bestimmt, dass der Künstler eine originelle Persönlichkeit ist. Heute ist das Kunstwerk keine Ware mehr, sondern ein Finanzinstrument, ein Derivat, so Wark.

Der Grundgedanke, den Herndon bei Wark aufgreift, ist, dass ein zertifiziertes Original umso wertvoller wird, je prominenter ein Kunstwerk gesehen/gehört wird. 

Ein DAO als Verwaltungsmodell 

Nachdem die Nutzer ihre Holly+-Stimme heruntergeladen haben, können sie damit machen, was sie wollen. Wenn jedoch eine kommerzielle Nutzung erwünscht ist, schlägt Herndon vor, dass eine DAO (Decentralised Autonomous Organization) als Verwalter des Holly+-Abstimmungsmodells über die Zertifizierung neuer Werke abstimmt. Die DAO setzt sich aus Token-Inhabern zusammen. Diese zertifizierten oder lizenzierten Werke werden mit Holly+-Beiträgen geschaffen, die dazu beitragen, den Wert der Stimme zu erhöhen.

Die Werke der Nutzer zielen darauf ab, den Wert der Stimme zu verringern, indem sie beispielsweise diskriminierende Texte verwenden oder negative Assoziationen hervorrufen. Die Inhaber der DAO-Token haben Anspruch auf einen Teil der Gewinne aus den neuen Werken. Und das für einen unbegrenzten Zeitraum.

Herndon sieht einen positiven Kreislauf in Gang gesetzt, indem er Tools freigibt, den Nutzern erlaubt, ihre digitalen Sprachpendants zu verwenden, und die Gewinne den Künstlern, DAO-Mitgliedern und der Weiterentwicklung der Tools zugute kommen.

Künstliche Intelligenz treibt uns zu Kollektiven: Obwohl wir alle zu ihren Trainingsdatensätzen beitragen, ist es unmöglich zu erkennen, welche spezifischen Eingaben die erzeugten Ergebnisse beeinflusst haben. Holly Herndon und Mat Dryhurst führen das Publikum durch Strategien, die kollektives Handeln nutzen, um Künstlern und der Öffentlichkeit eine größere Kontrolle über diese neuen Technologien zu geben.

Wie KI die Musikwelt verändert 

In diesem Video, das 2023 auf Freethink.com veröffentlicht wurde, fassen Mathew Dryhurst und Holly Herndon ihre Vision von der Zukunft der KI in der Musikwelt auf unterhaltsame Weise zusammen. Zu Beginn des Videos demonstriert Dryhurst die neue, optimierte Version von Holly+ in Echtzeit.

Über Herndons Arbeit gibt es im Internet viel zu lesen. Mit ihrem praxisorientierten und wissenschaftlich-künstlerischen Hintergrund ist ihre Beschäftigung mit KI-Tools eine wichtige Stimme, wenn es darum geht, die Rechte der Nutzung von KI-Kunst im Hier und Jetzt zu diskutieren. Empfehlenswert ist auch der Podcast Interdependence von Holly Herndon und Mat Dryhurst. 

Und hier ein aktuellerer Artikel: Holly Herndon´s Infinite Art, veröffentlicht in The New Yorker.