Per Face Tracking durch Kompositionen schweben

13. November 2020, 11:13

In "Tingles & Clicks" nutzen sieben europäische Komponist/innen die geltenden Social-Distancing-Regeln, die uns die gegenwärtige globale Gesundheitskrise abverlangt, als Ausgangspunkt für ihre Klangarbeiten. Zentrale Schnittstelle zum Publikum ist ein spezielles Online-Setting.

Mit Hilfe eines vom IEM (Institut für Elektronische Musik und Akustik) in Kooperation mit dem musikprotokoll entwickelten und mit Face Tracking gekoppelten Audioplayers können sieben Klangumgebungen erforscht werden. Mit Computer, Webcam und Kopfhörer kann jede/r in interaktive auditive Ein-Personen-Erlebnisse eintauchen.

Wie das genau funktioniert, hat Fränk Zimmer, Co-Kurator und Producer des musikprotokoll, im Gespräch mit Rainer Elstner erklärt.

Rainer Elstner: Worum handelt es sich bei "Tingles and Clicks"?
Fränk Zimmer: Das musikprotokoll hat in den vergangenen zehn Jahren neben der Vergabe und Aufführung von musikalischen Auftragswerken immer wieder auch Projekte einer alternativen Aufführungspraxis entwickelt. Beispielsweise das Karussellprojekt "Let's merry-go-round!", das Vokalprojekt Die Logik der Engel oder Homages, eine mobile Hörausstellung. Gemeinsam war allen Eigenproduktionen, dass wir eine technische Umgebung und teils aufwändige Aufführungssettings vorbereitet und dann Komponist/innen eingeladen haben, diese zu „bespielen“. Das für "Tingles & Clicks" entwickelte Tool eröffnet neue Möglichkeiten. Körperbewegungen und die räumliche Platzierung von Klangobjekten können in den Kompositionsprozess einfließen.

Rainer Elstner: Was kann man sich unter der "räumlichen Platzierung" eines Klanges vorstellen?
Fränk Zimmer: Musik wird oft als Zeitkunst betrachtet. Aber genauso wichtig ist, wie wir Klang im Raum wahrnehmen – Nähe und Ferne, links und rechts, oben und unten. In "Tingles and Clicks" befinden sich die User/innen durch die Kopfhörerwiedergabe in einem primär akustischen Raum, in dem Klangobjekte – fern, nah, oben unten – platziert werden können. Dabei reagiert der Klangraum auf die Körperbewegungen der User/in, sie hören nicht nur "räumlich", sondern erzeugen diesen Raum auf gewisse Weise mit.

Rainer Elstner: Warum wird gerade die Technologie des Face Tracking in diesem Projekt eingesetzt?
Fränk Zimmer: Obwohl das Projekt auf den ersten Blick sehr nach Technologieexperiment ausschaut, soll es genau das nicht sein. Das Steuern von Klang via Gesichtserkennung birgt natürlich – für sich genommen – interessante Möglichkeiten. Aber in dieser Technologie haben nicht zuletzt Verhaltensregeln, wie sie uns durch Covid-19 auferlegt sind, dieses Wechselspiel von Nähe und Distanz, eine Entsprechung. In unserem Fall macht Face Tracking den Körper zum Navigationstool. Zentral sind bei diesem Projekt, was für jedes andere Auftragswerk genauso gilt, der künstlerische Ansatz, das Konzept und natürlich das Klangerlebnis an sich. "Tingles & Clicks" ist also vor allem ein Musikprojekt.

Rainer Elstner: Was müssen User/innen tun, um die Möglichkeiten dieser Technologie erleben zu können?
Fränk Zimmer: Man benötigt einen PC oder einen Laptop, eine Webcam und einen Kopfhörer. Also genau das Equipment, das viele Menschen in jüngster Zeit Corona-bedingt etwa im Home- Office kennengelernt haben. Die Zugänglichkeit zu diesem Netz-Projekt war uns wichtig. Man gibt die Projektadresse in den Browser ein und schon ist man mittendrin.

Die einzelnen Werke haben eine Dauer von acht Minuten. Aber es gibt im Hörerlebnis keinen Anfang und kein Ende – das Erleben entspricht also eher einer Klanginstallation. Auch erklingen die Klangobjekte nicht alle gemeinsam, da der Kopf der User/innen ja immer nur eine bestimmte Position im physischen Raum einnimmt, und diese Position ist immer der erste und eigentliche Trigger. Der Audioplayer, den wir entwickelt haben, startet nicht nur einen Musik-Track, sondern öffnet gewissermaßen eine Umgebung, einen Klangraum, in dem Klangobjekte und Ambient-Flächen angeordnet sind.

Was, wie und wo in diesem Klangraum zu hören ist, entscheidet - hörend und navigierend - das Publikum. Das Neigen, Drehen und Verändern der eigenen Kopfposition erlaubt es den User/innen, sich in diesen Klangräumen zu bewegen.

Service

musikprotokoll.ORF.at – Tingles & Clicks

Gestaltung

• Rainer Elstner

Übersicht

• Musikprotokoll 2020