4 Mappings, die menschliche Aktion erfordern: Instrumente

Eine Reihe performativer Softwaresysteme bezieht auch menschliches Agieren mit ein als primären Input zur Steuerung oder Generierung audiovisueller Erfahrungen. Diese Systeme reichen von bildschirmbasierten musikalischen Spielen und audiovisuellen Instrumenten mit großer Ausdrucksfähigkeit bis zu rätselhaften audiovisuellen Toys, deren Regelwerk es durch schrittweise Interaktion zu entschlüsseln gilt. In vielen Fällen sind die Trennlinien zwischen diesen Formen einigermaßen verschwommen. Manche dieser Systeme sind kommerzielle Produkte, andere sind Installationen in einem Museum oder per Browser aus dem Internet abrufbar; wieder andere pendeln zwischen diesen Formen und Umgebungen. Was bei allen diesen Applikationen jedoch gleich bleibt, ist die Möglichkeit, einen Feedback-Loop zwischen System und User herzustellen, der die User oder Besucher in die Lage versetzt, mit dem Autor bei der Auslotung des Potenzials dieses offenen Systems zusammenzuarbeiten und dabei auch ihr eigenes Potenzial als Akteure zu einzubringen.

Die Kategorie performativer audiovisueller Softwarespiele ist extrem groß und erfährt in diesem Band an anderer Stelle eine ausführlichere Behandlung. Ich möchte mich deshalb hier auf Spiele beschränken, die von Autor und Kritik auch als Kunstwerke betrachtet werden, wie z. B. Masaya Matsuuras Rhythmus-Spiel Vib-Ribbon (1999) oder Kunst/Game-Mods, wie z. B. retroYOU r/c (1999) von Joan Leandre, wo der Code eines Autorennspiels auf kreative Weise umgeschrieben und umfunktioniert wurde. Ein besonders bemerkenswertes, spielähnliches System ist Music Insects (1991–2004) von Toshio Iwai, das zugleich als Malprogramm und als musikalisches Kompositionsprogramm in Echtzeit funktioniert; es ist von Iwai in mehreren Formaten vorgestellt worden, auch als Installation im Museumskontext oder als kommerzielles Game.

Es gibt zahlreiche audiovisuelle Instrumente, die eine gleichzeitige Darstellung von Bild und Ton in Echtzeit ermöglichen. In vielen dieser bildschirmbasierten Programme dient der gestenbetonte Akt des Zeichnens mit seiner starken zeitlichen Komponente als Auslöser für konstruktionistische audiovisuelle Ergebnisse. Ein frühes Beispiel auf diesem Gebiet ist Iannis Xenakis’ UPIC (1977–1994), mit dem es möglich war, spektrografische Skizzen auf einem Grafiktablett zu zeichnen, zu bearbeiten und zu speichern; mit der Version von 1988 konnte man man bereits spektrografische Vorgänge in Echtzeit für Performances und Improvisationen verwenden.^[20] Während Xenakis mit UPIC ein Instrument erstellen wollte, das von einer visuellen Grundlage aus die Komposition und Darstellung von Musik ermöglichte, wurden ähnliche, ebenfalls auf audiovisuelle Performance zielende Systeme ausdrücklich als offene Arbeiten oder Meta-Kunstwerke konzipiert, das heißt, als eigenständige Kunstwerke, die sich nur dann im intendierten Sinn erfahren ließen, wenn sie interaktiv zur Erzeugung von Ton und/oder Bild verwendet wurden. Ein gutes Beispiel ist Motion Phone (1991–1995), von Scott Snibbe, ein Software-Kunstwerk, mit dem der User interaktiv visuelle Musik generieren und aufführen kann, die an die geometrisch-abstrakten Filmen von Oskar Fischinger und Norman McLaren erinnert. Motion Phone zeichnet die Cursor-Bewegungen des Users auf und benützt sie zur Animierung einer Reihe einfacher Figuren (Kreise, Quadrate, Dreiecke); das Ergebnis sind stumme, aber ausdrucksvolle Computergrafik-Animationen.^[21] Eine ähnliche Arbeit, Golan Levins Audiovisual Environment Suite oder AVES (2000), ermöglicht eine Reihe cursorbasierter Interaktionen, mit denen der User mit seinen Bewegungen gleichzeitig dynamische Animation wie synthetischen Ton in Realzeit generieren kann. Aufbauend auf der Metapher einer ›Substanz‹, die unbegrenzt – und unbegrenzt variabel – zur Verfügung steht, zeitabhängig ist und in einem formal uneingeschränkten, nicht diagrammatischen Bild-Raum durch Gesten generiert, gespeichert, manipuliert und gelöscht werden kann, benutzt Levins System Aufzeichnungen der Mausbewegungen des Users zur Beeinflussung von Partikelsimulationen und setzt dann die zeitabhängigen Eigenschaften dieser Simulationen zur Steuerung sowohl der visuellen Animationen wie der Algorithmen der Echtzeitzeit-Tonsynthese ein.^[22] Amit Pitarus Sonic Wire Sculptor (2003) verwandelt ebenfalls die Mausbewegungen des Users in synthetischen Ton und animierte Grafik, verlagert aber die zugrunde liegende Metapher der Darstellung von der zweidimensionalen Bildfläche in einen dreidimensionalen Raum, den die an Bänder erinnernden Zeichnungen des Users bevölkern.^[23] Josh Nimoys populäres BallDroppings (2003) verlässt die formal uneingeschränkte gestische Interaktion und präsentiert stattdessen einen eleganten, mausgesteuerten Bausatz, in dem Bälle vom oberen Rand des Bildschirms fallen und von den Linien, die man mit der Maus zieht, abprallen. Das Abprallen der Bälle verursacht einen perkussiven, melodischen Ton, dessen Höhe von der Geschwindigkeit abhängt, mit der sich der Ball bewegt, wenn er auf die Linie trifft. Nimoy selbst liefert eine zutreffende, knappe Beschreibung des hybriden Wesens derartiger Arbeiten: BallDroppings ist ein Spiel-Zeug mit starker Geräuschentwicklung und beträchtlichem Suchtfaktor. Man kann es auch als emergentes Game verstehen. Als Alternative steht noch die Verwendung als ernstzunehmendes Instrument für audiovisuelle Performances offen.^[24]

Ein weiteres Genre performativer audiovisueller Software verzichtet überhaupt auf jeden Vorgang des Zeichnens zugunsten einer Bildschirmfläche, die (gewöhnlich von Anfang an) mit manipulierbaren grafischen Objekten bevölkert ist. Der User kann die sichtbaren Eigenschaften (Größe, Position, Orientierung) dieser Objekte verändern, die sich ihrerseits wie Fader auf einem Mischpult in Bezug auf eine Reihe von (oft) voraufgezeichneten Audiofragmenten verhalten. Ein Beispiel dafür ist Stretchable Music (1998), ein interaktives System, das Pete Rice am Massachusetts Institute of Technology entwickelte, in dem jedes interaktionsfähige grafische Objekt in einer heterogenen Gruppe eine Spur oder Schicht einer voraufgezeichneten MIDI-Endlossequenz darstellt.^[25] Weitere Beispiele für das Prinzip Interaktion finden sich in John Klimas Glasbead (2000), einem konsequent kollaborativen musikalischen Interface, das bis zu zwanzig Spielern die Möglichkeit gibt, Audiosamples online zu manipulieren und auszutauschen,^[26] oder, zeitlich weniger weit zurückliegend, in Fijuu2 (2004–2006) von Julian Olivier und Steven Pickles, deren justierbare grafische Objekte noch weit dramatischere Audiomanipulationen ermöglichen.

Die oben beschriebenen Systeme sind alle dafür gedacht, mit Computermaus und Tastatur verwendet zu werden, die zwar allgegenwärtig sind, aber als Eingabevorrichtungen nur über beschränkte Möglichkeiten verfügen. Die Verwendung von Eingabevorrichtungen, die dem User mehr Einflussmöglichkeiten geben, wie z. B. Videokameras und Tangible User Interfaces, erweitern den expressiven Spielraum audiovisueller Softwareinstrumente beträchtlich, rückt sie aber formal (und in ihren physischen Dimensionen) auch in die Nähe von Performances bzw. Installationen. Das epochemachende DIMI-O-System (Digital Music Instrument, Optical Input) des finnischen Künstlers und Experimentators Erkki Kurenniemi aus dem Jahr 1971 generierte synthetische Musik von einem Live-Videobild, indem das Kamerasignal so gelesen wurde, als wäre es eine Notenrolle.^[27] David Rokebys Very Nervous System oder VNS (1986–1990) experimentierte mit der Verwendung von kamerabasierter Ganzkörper-Interaktion zur Steuerung der gleichzeitigen Generierung von Ton und Bild. Andere audiovisuelle Softwareinstrumente benützen Tangible User Interfaces als hauptsächliche Schnittstellen, wie z. B. Audiopad (2003) von James Patten und ReacTable (2003–2009) von Sergi Jordà, Marcos Alonso, Günter Geiger und Martin Kaltenbrunner. Beide Instrumente verwenden Echtzeit-Daten bezüglich Position und Orientierung spezieller Objekte auf einer tischähnlichen Oberfläche zur Generierung von Musik und visuellen Projektionen.^[28]