10 Audiovisuelle Interaktionen im digitalen Medium: interactive widgets

Eine weitere Möglichkeit der visuellen Manipulation von Sound ist seine symbolische Repräsentation durch Objekte, die innerhalb eines interaktiven Prozesses aktiviert werden. Golan Levin bezeichnet sie als interactive widgets.^[17]

Bereits zwischen 1992 und 1994 hat Toshio Iwai ein System mit dem Titel Music Insects entwickelt, bei dem der Rezipient mittels Maus auf dem Bildschirm Zeichnungen erstellen kann. Durch die Auswahl von Farben weist er den gezeichneten Linien und Formen Töne zu. Anschließend wählt er verschiedene Insekten, die jeweils unterschiedliche Instrumente repräsentieren und über den Bildschirm laufen. Sobald sie auf die Zeichnungen treffen, wird der jeweils gewählte Ton aktiviert, wobei weiße und graue Farbtöne die Bewegungsrichtung der Insekten ändern.^[18] Wegweisend ist dabei die Abkehr von einer linear verstandenen Notation hin zu einer, die im Raum organisiert ist. Ähnliches gilt für die Arbeit Small Fish, die Kiyoshi Furukawa gemeinsam mit Wolfgang Münch und Masaki Fujihata 1998/1999 schuf. Die 15 verschiedenen Varianten dieses Systems arbeiten fast alle nach dem Grundprinzip, dass sich ein oder mehrere Tonabnehmer, meist in Form einfacher Punkte, über die Fläche bewegen und bei einem Zusammentreffen miteinander, mit tönenden grafischen Elementen oder mit den Feldbegrenzungen Töne aktivieren und ihre Richtung ändern. Der Rezipient kann die Elemente verschieben und dadurch die Komposition beeinflussen.

Golan Levin kritisiert bei vielen dieser Systeme die sehr beschränkten Einflussmöglichkeiten der Rezipienten auf das akustische Ergebnis, was u. a. aus der Tatsache resultiere, dass nicht das tönende Objekt selbst, sondern lediglich seine Umgebung oder Bewegungsmöglichkeit interaktiv verändert werden könne.^[19] Ihm gelingt es, gemeinsam mit Zachary Lieberman mit der Manual Input Workstation ein vollständig intuitives System zu entwickeln, bei dem die Besucher durch schattenspielartige Handgesten Formen und Töne gleichzeitig und direkt formen und manipulieren. Durch die Nutzung von menschlichen Gesten gibt es keinerlei distanzierende apparathafte Ebene zwischen Input und Output: Form und Farben werden unmittelbar per Hand generiert.