12 Neue Experimente in der interaktiven Tonvisualisierung

Innerhalb der letzten zehn Jahre ist auch die Visualisierung von durch Rezipienten erzeugtem Sound, die bereits in den 1950er und 1960er Jahren erprobt worden war, weiterentwickelt worden. So erweiterten Levin und Lieberman einerseits Installationen in der Tradition der Echtzeit-Analyse und -Projektion von Silhouetten um Sound-Komponenten: In der Installation re:mark versucht ein Spracherkennungssystem, Äußerungen von Besuchern in Schrift umzusetzen, die sich dann ausgehend von deren Silhouette über eine Projektion bewegt, während die vom Aufbau her vergleichbare Installation messa di voce den Sound in abstrakte Formen umsetzt.^[23]

Eine völlig neue Herangehensweise entwickelten die beiden Künstler 2002 gemeinsam mit dem Ars Electronica Futurelab mit der Installation The Hidden Worlds of Noise and Voice. Hier wird wechselseitige Kommunikation räumlich sichtbar gemacht, die Stimmen oder Geräusche von verschiedenen, um einen runden Tisch sitzenden Rezipienten werden durch 3-D-Technologie in virtuelle Soundplastiken umgewandelt. Die entstehenden Formen sind einerseits mittels spezieller 3-D-Brillen beobachtbar, werden andererseits als Schatten auf den Tisch projiziert, sodass auch umstehende Besucher den visualisierten Kommunikationsprozess verfolgen können.

Eine andere Form der Übersetzung von Ton und Bild ist dann gegeben, wenn keine Visualisierung der Geräusche versucht wird, sondern diese auf symbolischer Ebene interpretiert werden. So lässt z. B. Vincent Elka in seiner Installation Shout ein projiziertes Frauengesicht auf den akustischen Input des Besuchers reagieren. Das System versucht, aus den Stimmen Emotionen herauszulesen und die Frau sowohl mimisch als auch durch Sprache darauf reagieren zu lassen.^[24] Damit referenziert Elka auf Konzepte einer sprachlichen Kommunikation zwischen Mensch und technischem System, die in der KI-Forschung (Künstliche Intelligenz) relevant sind, aufgrund ihrer Fundierung auf symbolischen Systemen jedoch nicht als Ton-Bild-Transformation im engeren Sinne gelten können. Vielmehr wird deutlich, wie interaktive Kunstprojekte meist abstrakteren, oft auch assoziativen Relationen von Tönen mit Farben und Formen verpflichtet ist, zu deren aktiver Erkundung sie einladen.