9 Audiovisuelle Interaktionen im digitalen Medium: Pattern Playback

Erst in den 1990er Jahren wurde die gekoppelte Manipulation akustischer und visueller Informationen als Partizipationsangebot für Rezipienten interaktiver Kunstprojekte realisiert. Eine der Strategien zur Bildsonifikation stützt sich dabei auf die Prinzipien des Plattern Playback: 1995 schuf Toshio Iwai mit Piano as image media eine Installation, bei der die Besucher mittels Trackball Formen und Muster zeichnen können, die auf eine Fläche projiziert und als Notation interpretiert werden. Die einzelnen Bildpunkte der uster bewegen sich zunächst langsam zeilenweise in Richtung einer realen Klaviatur und beschleunigen ab einer bestimmten Schwelle auf die Klaviatur zu, die dann selbstständig den jeweiligen Ton anschlägt. Die Bildpunkte scheinen nun durch die Klaviatur hindurchzulaufen, um anschließend – jetzt auf einer vertikalen Projektion – vom Klavier auszustrahlen, wobei sie sich in farbige, geometrische Objekte verwandeln.

Golan Levin experimentiert in seiner audiovisual environment suite ebenfalls mit der direkten Zeichnung von Tönen, allerdings auf einen Standard-Interface aus Maus und Monitor. Ihn interessiert die Idee einer malerischen Interface-Metapher: This metaphor is based on the idea of an inexhaustible, extremely variable, dynamic, audiovisual substance which can be freely ›painted‹, manipulated and deleted in a free-form, non-diagrammatic context.^[16]

In der ersten Applikation der Serie Yellowtail wird die Sonifikation der mittels Maus gezeichneten und durch das System in Bewegung versetzten Formen noch über eine das Bild wiederholt von unten nach oben durchlaufende Achse erreicht, die einen Ton auslöst, sobald sie auf einen Bildpunkt trifft (wobei die horizontale Position die Tonhöhe , die Lichtstärke des Bildpunkts die Lautstärke bestimmt). Im Folgeprojekt Loom verzichtet Levin auf diese Achse und generiert den Sound direkt aus der vom Rezipienten gezeichneten Form, indem er die Zeitachse unmittelbar auf die Form mappt. So erzeugt z. B. eine breitere Linie einen lauteren Ton, eine Richtungsänderung setzt den Ton auf eine höhere Frequenz. Die Bewegungsdynamik der Zeichnung wird registriert, um sie dann wiederholt abspielen zu können.