Volkstheater Wien

Eine Einladung zum digitalen „Wolkengucken“: Kann man einer Künstlichen Intelligenz beim „Bilderdenken“ – oder vielleicht gar beim „Träumen“ – zuschauen?

Diese Videoinstallation eröffnet ein kreatives Experimentierfeld, indem Inszenierungen der letzten fünf Spielzeiten des Volkstheaters mithilfe von KI-gestützten Werkzeugen digital neu interpretiert und weiterentwickelt werden. Auf Basis von Rezensionen, Dialogtexten und Beschreibungen generieren speziell adaptierte KI-Sprachmodelle selbstständig fiktive Monologe und Dialoge, die anschließend mittels Voice-Cloning-Technologien von den Originalstimmen des Ensembles gesprochen werden. Parallel dazu lernen KI-Bildgenerierungsmodelle aus umfangreichen Fotoarchiven den visuellen Stil der Produktionen sowie die Gesichter der Schauspieler, um eigenständige, nie dagewesene Bildwelten und virtuelle Szenen neu zu erschaffen. Diese KI-generierten Bilder werden mit lokalen Image-to-Video-Modellen animiert und erhalten so eine dynamische, filmische Qualität. Ergänzt durch Klanglandschaften, die von separaten KI-Modellen aus dem Videomaterial abgeleitet werden, entsteht ein immersives audiovisuelles Gesamtkunstwerk, das die Rezipienten einlädt, technische Innovation hautnah zu erleben und die Grenzen zwischen menschlicher und maschineller Kreativität neu auszuloten.


Workflow
Das zu generierende audiovisuelle Rohmaterial dient als Ausgangspunkt für die künstlerische Kuration, Komposition und Montage durch Robi Voigt, um ein kohärentes Gesamtkunstwerk aus technischer Innovation und künstlerischer Vision zu schaffen.

1. Textgenerierung neuer Dialoge
Grundlage sind Texte, Kritiken und Beschreibungen aller Theaterstücke der letzten fünf Spielzeiten des Volkstheaters Wien. Diese dienen dazu, ein KI-Sprachmodell (GPT-basiert) spezifisch auf Stil und Inhalt der bisherigen Inszenierungen anzupassen. Das Modell generiert daraus selbstständig Vorschläge für neue, fiktive Monologe und Dialoge.

2. Synthese der Sprecherstimmen (Voice-Cloning)
Originale Sprachaufnahmen der Schauspieler*innen aus vergangenen Produktionen werden gesammelt und mithilfe eines Voice-Cloning-Verfahrens in individuelle KI-Stimmen umgewandelt. So können die neu generierten Texte mit den Stimmen der Ensemblemitglieder gesprochen werden.

3. KI-basierte Bildgenerierung und visuelle Verfeinerung
Fotoarchive vergangener Aufführungen und Proben werden verwendet, um ein Bildgenerierungsmodell gezielt auf den visuellen Stil der Volkstheaterproduktionen zu trainieren. Zusätzlich werden Porträtaufnahmen genutzt, um das Modell mit den individuellen Gesichtern der Schauspieler*innen vertraut zu machen. So entstehen neue, fiktive Szenen und Porträts im charakteristischen Stil des Hauses.

4. Bild-zu-Video-Produktion
Die so generierten Bilder und Porträts werden mit lokalen Image-to-Video-Tools dynamisch animiert. Die generierten Videos bilden das visuelle Rückgrat der Installation und erwecken die fiktiven Szenen zum Leben.

5. Generierung algorithmischer Klanglandschaften
Die KI-generierten Videos dienen anschließend als Input für eine eigenständige KI, die algorithmisch passende Soundscapes generiert. Dadurch erhalten die visuellen Inhalte eine akustische Dimension, die das immersive Erlebnis der Installation verstärkt.

Sie werden somit Zeug*innen der Entstehung neuer Bilder, die sich aus dem Quellenmaterial des Volkstheaters nähren. Es ist, als würden die KI-Modelle darüber spekulieren, was in den Originalen als Potenzial angelegt ist, aber niemals zur Verwirklichung kam.

Eine sinnlich-poetische Annäherung an die faszinierende Welt der Künstlichen Intelligenz in der Neuen Medienkunst.


Der Medienkünstler und Bühnenbildner Robi Voigt arbeitet an der Schnittstelle von Theater, Film und bildender Kunst. Als Medienszenograf erschafft er immersive Räume, die Video, Licht und Ton zu audiovisuellen Landschaften verbinden und eher eine Atmosphäre schaffen als konkrete Handlungsstränge. Es ist die Suche nach dem Bild jenseits des Bildes.

Der Generative AI & Data Scientist Tobias Wursthorn verbindet Wissenschaft und Praxis der Ingenieurwissenschaften und der klassischen IT. Als Video- und Sounddesigner sowie Video- und Toningenieur ist er nach 10 Jahren CEO bei Intermediate Engineering GmbH als Freelancer und an der HAW Hamburg als assoziierter Dozent tätig.

Großen Dank an die Fotograf*innen Birgit Hupfeld, Franzi Kreis, Nikolaus Ostermann und Marcel Urlaub sowie die Videokünstler*innen Max Hammel und Ulrike Schild, die für diese Arbeit ihre Archive öffneten!