Audiovisuelle Softwarekunst arbeitet mit dem Medium Computersoftware und beschäftigt sich vor allem mit den Beziehungen zwischen Klang und Bild bzw. wird über diese Beziehungen hervorgebracht. Diese Arbeiten werden für sehr unterschiedliche gesellschaftliche Kontexte hergestellt und dienen verschiedenen Zielsetzungen. Auf dem Gebiet der audiovisuellen Softwarekunst überhaupt und in den Beispielen, die hier besprochen werden, sind die Ziele, die mit Software-Kunstwerken verfolgt werden, teilweise vergleichbar mit Kino, Performances, Installationen, Innenraumgestaltung, Games, Toys, Instrumenten, Screensavern, Werkzeugen zu Diagnosezwecken, Vorführungen im Rahmen von Forschungsprojekten und sogar mit Mitauslösern psychedelischer Halluzination. Dabei verschwimmen in vielen Projekten die Grenzen zwischen den Gattungen derart, dass eine Kategorisierung kaum mehr zielführend ist. Audiovisuelle Software-Kunstwerke werden weiterhin von einer Vielzahl nur zum Teil einander überlappender Communities produziert, z. B. von in der Forschung tätigen Wissenschaftlern, von Künstlern, die mit Neuen Medien arbeiten, von Softwareentwicklern, Musikern und Einzelgängern, deren Arbeitsbereich außerhalb von Einrichtungen wie Labors, Schulen, Museen oder Konzernen liegt.
Aufgrund der Verschiedenartigkeit in Bezug auf Herkunft und künstlerische Absicht ist die formale Spannweite dessen, was man als audiovisuelle Softwarekunst ansehen kann, ebenfalls beträchtlich. Manche Arbeiten verwenden Ton, live aufgenommen oder als Konserve, um Bilder oder Animationen zu generieren. Andere Projekte generieren Musik oder Ton mithilfe von statischen Bildern oder Videosignalen oder sie verwenden bildschirmbasierte grafische Benutzeroberflächen, um musikalische Prozesse interaktiv zu steuern. Andere Kunstwerke generieren sowohl Ton wie Bild, indem sie externe Informationen aus einer nicht-audiovisuellen Quelle (z. B. Aktienhandels-Daten oder menschliche Motion-Capture-Daten) oder irgendeinen internen Zufallsprozess verwenden. Eine weitere Gruppe von Systemen verzichtet überhaupt auf Ton und erforscht stattdessen die Möglichkeiten der visuellen Musik, ein Phänomen, das den visuellen Bereich in Analogie zur Musik begreift. Diese formalen, technischen Unterscheidungen werden von einer Vielfalt von Strängen wechselseitiger Beeinflussung und Anregung überlagert, die sich im Lauf der Geschichte der audiovisuellen Softwarekunst herausgebildet haben. Angesichts dieses Sachverhalts wird in diesem Abschnitt audiovisuelle Softwarekunst unter den Gesichtspunkten der Visualisierung und Notation, der Transmutabilität, Performativität und Generativität erörtert, da diese Kriterien häufig ein bestimmendes Moment für diese Art von Arbeiten sind.
Heute sind es Tausende, wenn nicht Zehntausende, die auf dem Gebiet der audiovisuellen Softwarekunst aktiv tätig sind, ursprünglich aber geht die Disziplin auf einige wenige Künstler zurück, die in der Lage gewesen waren, sich Mitte der 1960er Jahre Zutritt zu Computerlabors zu verschaffen. John Whitney, der kalifornische Filmemacher und Pionier des Animationsfilms, und seine Arbeiten eignen sich einigermaßen gut als Anfangspunkt dieser Geschichte. Während die meisten Zeitgenossen von Whitney, die sich schon mit Computerkunst beschäftigten (wie z. B. Georg Nees, Frieder Nake, Manfred Mohr und Chuck Csuri), ganz auf softwaregenerierte Plotterausdrucke konzentriert waren, interessierte sich Whitney ausschließlich für die quasi musikalischen Eigenschaften von zeitabhängigen Bildabläufen. Die Computer der 1960er Jahre waren zu langsam, um komplexe Bilder in Echtzeit generieren zu können; Whitney generierte daher animierte Einzelbilder und übertrug sie auf Film. In Animationen wie Permutations (1966–1968 in Zusammenarbeit mit dem bei IBM tätigen Forscher Jack Citron) und Arabesque (1975 unter Mithilfe von Larry Cuba entstanden) experimentierte Whitney mit Möglichkeiten, über die kinetischen Rhythmen sich bewegender Punkte Wahrnehmungen zu erzeugen, die eine starke Analogie zu den Modulationen einer musikalischen Spannung aufwiesen. Die Begleitmusik von Whitneys Filmen aus dieser Zeit war gewöhnlich nicht elektronisch erzeugt[1]; erst als Anfang der 1980er Jahre die ersten Personal Computer und die ersten Echtzeit-Grafikkarten auf den Markt kamen, verlagerte sich sein Interesse in Richtung Entwicklung eines Softwareinstruments, das ihn in die Lage versetzen sollte, Bild und Ton zugleich zu komponieren, wie er es dann in seinen Animationen Spirals (1987) und MoonDrum (1989) demonstrierte.
Obwohl sich Ende der 1960er, Anfang der 1970er Jahre schon der rapide technische Fortschritt sowohl in der Grafikfähigkeit der Computer wie auf dem Gebiet der Computermusik abzeichnete, war klar, dass man noch mehrere Jahre warten musste, bis es möglich sein würde, beide Medien zugleich in Echtzeit auf dem Computer zu generieren. Deshalb fanden viele bahnbrechende Experimente, in denen die konzeptuelle Grundlage für ausschließlich computerbasierte Echtzeit-Audiovisuals geschaffen wurde, in der rechnerunabhängigen Umgebung des Filmstudios statt. Gute Beispiele sind die Arbeiten, die von der amerikanischen Computerkünstlerin Lillian Schwartz (geboren 1928) in den Bell Laboratories geschaffen wurden. In Zusammenarbeit mit bedeutenden Computermusikern entstanden abstrakte Filmanimationen wie MATHOMS (1970, Musik von F. Richard Moore), MUTATIONS (1972, Musik von Jean-Claude Risset) und MIS-TAKES (1972, Musik von Max V. Mathews). In einem nächsten Schritt kombinierten einige Künstler eine im Computer erzeugte mediale Synthese mit einer traditionellen Live-Performance in einem anderen Medium. So beschrieb der deutsche Computergrafik-Pionier Herbert W. Franke 1975 die Produktion von zwei zehnminütigen Filmen mit grafischer Musik (Rotations und Projections, 1974), in denen Jazzmusiker über gleichzeitig projizierte Muster abstrakt animierter Linien improvisierten.[2] ON-LINE, eine Performance von Schwartz aus dem Jahr 1976, verbindet den Live-Auftritt einer Tänzerin und mehrerer Musiker in Echtzeit mit speziellen grafischen Effekten, die Schwartz über eine QWERTY-Tastatur auf ein computergesteuertes Videosystem übertrug.[3]
Das erste Computersystem, das in der Lage war, sowohl Animation wie Ton in Echtzeit zu synthetisieren, war möglicherweise VAMPIRE (Video and Music Program for Interactive Real-time Exploration/Experimentation), das von Laurie Spiegel zwischen 1974 und 1976 auf einem DDP-224 Computer in den Bell Laboratories in New Jersey entwickelt wurde. VAMPIRE bot ein Grafiktablett, ein Fußpedal und viele Drucktasten und stufenlos verstellbare Drehknöpfe, mit denen man eine Unzahl von Bild- bzw. Tonparametern aufrufen und steuern konnte.[4] VAMPIRE basierte auf Max Mathews’ GROOVE (Generating Real-time Operations on Voltage-controlled Equipment), einem System zur Erforschung der Computermusik, und stellte, wie Spiegel sagte, ein Instrument dar, mit dessen Hilfe es möglich wurde, abstrakte Muster zu komponieren, die sich im Verlauf eines Stücks durch die Aufnahme von menschlichen Beiträgen ändern konnten, die sich über den Computer mit ganz verschiedenen Eingabemöglichkeiten vornehmen ließen. Interpretations- und Einsatzparameter dieser Vorrichtungen waren programmierbar, und alle eingegebenen Daten konnten gespeichert, abgespielt, neu interpretiert und in anderem Zusammenhang wiederverwendet werden. Die vorgegebenen Zeitfunktionen konnte durch alle Transformationen, die man darüber hinaus programmieren wollte, zusätzlich abgeändert und dann zur Steuerung jedes beliebigen Bild- oder Tonparameters verwendet werden, nachdem man sie über Magnetband oder Disk auf den mit einer Audioschnittstelle versehenen Computer zu GROOVE überspielt hatte. Leider war es durch die Aufstellung der Computer in verschiedenen Räumen des Laboratoriums physisch unmöglich, einen einzelnen Satz von aufgenommenen (bzw. am Computer erzeugten) Zeitfunktionen für die gleichzeitige Steuerung sowohl von Bild wie Ton zu verwenden, obwohl dies prinzipiell möglich gewesen wäre.[5]
Bedeutsame Entwicklungen auf dem Gebiet der auf Software basierenden oder von dieser generierten audiovisuellen Kunst zwischen dem Ende der 1960er und den frühen 1980er Jahren sind unter anderem die Computeranimationen von Stan VanDerBeek, Ken Knowlton, Tom DeFanti und Larry Cuba sowie die computergesteuerten Laserprojektionen von Paul Earls und Ron Pellegrino und die interaktiven Installationen von Myron Krueger und Ed Tannenbaum. Die zunehmende Verfügbarkeit des PCs führte zu einer signifikanten Ausweitung des Spielraums für die audiovisuellen Künste und schuf Platz für neue Formen, wie z. B. die digitalen Videoperformance-Arbeiten von Don Ritter und Tom DeWitt und die interaktiven Desktop-Software-Arbeiten von Adriano Abbado und Fred Collopy.
43 Jahre nach John Whitneys ersten Experimenten ist in Echtzeit arbeitende audiovisuelle Software mittlerweile Bestandteil jedes ernst zu nehmenden Computerbetriebssystem. Heute findet die erste Begegnung mit audiovisueller Software für die meisten Menschen normalerweise über einen Bildschirmschoner statt (ein Dienstprogramm, das verhindert, dass sich Teile des Bildes auf dafür anfälligen Bildschirmen einbrennen) oder über ein Musikvisualisierungs-Plugin für einen Media-Player auf dem Computer. In vielen Fällen sind diese Funktionen in einer einzigen Software vereint. Mit ihrer ästhetischen Realisierung zielen derartige Systeme meist auf ein breites Publikum mit oberflächlichem Interesse an psychedelischer visueller Kultur. Das einflussreiche Screensaver- und Visualisierungssystem Cthugha beispielsweise, zwischen 1993 und 1997 von dem australischen Softwareentwickler Kevin »Zaph« Burfitt kreiert, wurde als ein Oszilloskop auf LSD beworben, als eine Form visueller Unterhaltung, die sich für Partys, Konzerte, Raves und ähnliche Anlässe eignet wie auch zum bloßen Abhängen zu mesmerisierenden, hypnotisierenden Bildern.[6] Trotz der etwas überzogen wirkenden Sprache ist die Beschreibung von Cthugha als Oszilloskop vom technischen Standpunkt aus einigermaßen zutreffend. Ein Oszilloskop ist ein Gerät zur Darstellung der Wellenform (oder zur Zeitbereichsdarstellung) eines Signals, z. B. von Musik, in Echtzeit – und Cthugha ist tatsächlich im Wesentlichen ein elaboriertes Oszilloskop, das die Wellenformen von Tönen durch Variationen von Videofeedback mit starken Farbkonstrasten ausschmückt. Wellenformen stellen die denkbar einfachste Information dar, die aus digitalen Audiodaten gewonnen werden kann, und sind daher auch für zahlreiche andere Visualisierungssysteme benutzt worden, wie z. B. Geiss (1998–2008) und MilkDrop (2001–2007) von Ryan M. Geiss, G-Force von Andy O’Meara (das von Apples iTunes-Musicplayer lizenziert worden ist), Advanced Visualization Studio von Nullsoft und ProjectM von Pete Sperl und Carmelo Piccione.[7]
Während manche Softwarekünstler eher versuchten, durch die ästhetische Erfahrung zu unterhalten oder einen tranceähnlichen Zustand zu schaffen, haben andere sich der Herausforderung der Visualisierung von Musik gestellt, um analytische Einsichten in die Struktur des musikalischen Signals zu gewinnen. Diese Arbeiten ersetzen die expressiven visuellen Sprachen der Malerei und des Abstract Cinema durch die Konventionen der Lesbarkeit, wie man sie in Diagrammen und musikalischen Notationssystemen findet. Ein frühes Beispiel ist Music Animation Machine (1982–2001) von Stephen Malinowski, ein Software-Kunstwerk, das MIDI-Tondateien in Form von vorüberziehenden Notenrollen als grafische Echtzeit-Begleitung zum Playback der Musik generiert.[8] Die ersten Versionen der Music Animation Machine stellten Noten durch farbige Balken dar, deren vertikale Position ihrer Tonhöhe entsprach. Spätere Variationen von Malinowskis Projekt bedienten sich zusätzlicher visueller Veranschaulichung zur Darstellung der Konsonanz oder Dissonanz musikalischer Akkorde, der Spanne der melodischen Intervalle und des Timbres der Tonspuren der verschiedenen Instrumente. Malinowskis System zur Darstellung der Tonhöhe ist ein Beispiel einer Frequenzbereichsdarstellung, die neben der (Zeitbereichs-)Wellenform die zweite hauptsächliche Grundform von Tonvisualisierungs-Systemen darstellt. Frequenzbereichsdarstellungen können ganz verschiedene Gestalten annehmen, wie etwa Notenrollen (so genannt, weil sie den Lochbändern ähnlich sehen, die in den elektrischen Klavieren des 19. Jahrhunderts zum Einsatz kamen), Spektrogramme, Sonagramme, die Anzeigen grafischer Equalizer, Wasserfall-Spektren, 3-D-Oberflächen-Spektrogramme und (bei Stimmsignalen) voiceprints oder Stimmmuster.
Sehr häufig stellen Arbeiten auf dem Gebiet der Audiovisualisierung – und zwar sowohl solche mit rein ästhetischen wie mit analytischen Zielsetzungen – animierte Grafiken in Realzeit als Begleitung von Ton dar. In solchen Systemen geht es meist um eine zeitbezogene Darstellung von Wahrnehmungsphänomenen – Tonhöhe, Lautstärke und andere verhältnismäßig schnell vergängliche Tonmerkmale. Eine interessante Abweichung von diesem Trend zur Realzeit ist The Shape of Song von Martin Wattenberg, ein Software-Kunstwerk, das MIDI-Musik in statische Bilder umwandelt, um ihre langfristigen und vielschichtigen Zeitstrukturen offenzulegen. Für The Shape of Song erfand Wattenberg eine völlig neuartige Visualisierungsmethode, die sogenannten arc diagrams oder Bogendiagramme, mit deren Hilfe sich darstellen lässt, wie in einem längeren Musikstück tragende Passagen und Phrasen wiederholt werden. The Shape of Song kann der Natur der Sache nach keine Visualisierung von Musik in Echtzeit sein, da jede Echtzeit-Version vollkommene Kenntnis von Wiederholungen voraussetzen würde, die sich erst in der Zukunft ereignen werden.
Ein wichtiges Thema in audiovisueller Softwarekunst stellt auch die Transmutabilität digitaler Daten dar, wie sie in der Abbildung (im Mapping) des Dateninputs durch Ton oder Grafik zum Ausdruck kommt. Für derartige Arbeiten stellt die Prämisse, dass grundsätzlich jede Information auf algorithmischem Weg zum Klingen gebracht oder abgebildet werden kann, den Ausgangspunkt für eine konzeptuelle Transformation bzw. eine ästhetische Erfahrung dar. In manchen Projekten ist der genaue Ursprung der Inputdaten offensichtlich, in anderen nicht; die tatsächliche Quelle der umgewandelten Daten kann völlig belanglos sein. Das wird besonders deutlich in Data Diaries (2002) von Cory Arcangel. Hier hat der Künstler den Quicktime Movie Player von Apple dazu verwendet, um die gesamte Festplatte seines Computers einfach als ganz normale Filmdatei zu interpretieren.[9] Alex Galloway schreibt dazu in den Anmerkungen, die das Projekt einleiten: [Arcangels] Entdeckung sah so aus: Nimm eine riesige Datei – im konkreten Fall den gesamten Inhalt der Festplatte – und lass Quicktime glauben, es handle sich hier um eine Videodatei. Dann drück Play.[10] Obwohl die Vorgangsweise, deren sich Arcangel bei Data Diaries bedient, ein fast völliges Abrücken von künstlerischem Handwerk darstellt, kommt in den Ergebnissen, die seine gebrauchsfertige Technik liefert, trotzdem eine reine Glitch-Ästhetik zum Ausdruck, die mit Farbreichtum und musikalischer Qualität überrascht.
Die Verwandlungsfähigkeit der Daten an sich ist in den meisten Fällen nicht das vorrangige Ziel der betreffenden Arbeit; vielmehr wird diese als Mittel zu dem Zweck benutzt, einen Datensatz, der von speziellem Interesse ist, auf neue Weise verständlich, erfahrbar oder wahrnehmbar zu machen. Meist widmen die KünstlerInnen dabei der Ästhetik (gegebenenfalls auch der Lesbarkeit) der audiovisuell dargestellten Information besondere Aufmerksamkeit. Die Softwarekunst der Serie Emergent City des britischen Künstlers Stanza kann als stellvertretend für diese Richtung angesehen werden. Diese Projekte benutzen aus dem urbanen Raum stammende Daten als Basis für die Generierung audiovisueller Erfahrungen zum Thema Großstadt. In Datacity (2004), einer browserbasierten Shockwave-Applikation, nehmen Kameras an Standorten, die über ganz Bristol verteilt sind, Ton und Video in Realzeit auf, die dann collagiert und manipuliert werden, bis eine malerische Interpretation der Landschaft[11] entsteht; in Sensity (2004–2009) werden Messsignale, die von einem Netzwerk drahtloser Umwelt-Datensensoren generiert werden, das der Künstler in seiner Wohnumgebung installiert hat, auf dem interaktiven Display einer Landkarte zu audiovisuellen Teppichen zusammengefügt.[12] Dem User beider Projekte stehen dabei mehrere Benutzeroberflächen zur Verfügung, die eine noch weiter gehende Personalisierung der Tonmischung und des visuellen Erlebnisses ermöglichen. Andere KünstlerInnen haben Softwarekunst entwickelt auf der Basis audiovisueller Mappings von Wetterdaten, Netzwerkverkehr (Carnivore, 2001, von Alex Galloway und der Radical Software Group)[13], seismischen Aktivitäten (Mori, 1999, von Ken Goldberg u. a.)[14], Ebay-Benutzerdaten (The Sound of Ebay, 2008, von Ubermorgen)[15], topografischen Daten (G-Player, 2004, von Jens Brand)[16] und die Verwundeten- und Gefallenen-Statistiken der US-Militäraktion im Irak (Hard Data, 2009, von R. Luke DuBois)[17], um nur einige Beispiele zu nennen.
Die voyeuristische Softwareinstallation Listening Post (2001) von Mark Hansen und Ben Rubin bietet ein besonders bewegendes audiovisuelles Erlebnis; sie bildet Ton und typografische Bilder durch Mapping neben Textfragmenten ab, heruntergeladen in Echtzeit von Tausenden frei zugänglicher Chatrooms, Bulletin Boards und anderen öffentlichen Foren. Die Texte werden von einem Sprachsynthesizer gelesen (oder gesungen) und gleichzeitig auf einem von der Decke hängenden Gitter aus über zweihundert kleinen elektronischen Bildschirmen sichtbar gemacht.[18] Die sonst körperlosen Texte werden somit als Ton und animierte Typografie wiedergegeben; auf diese Weise leiht dieses Projekt buchstäblich Tausenden Menschen eine Stimme und positioniert sein Publikum inmitten eines Mahlstroms von Wünschen, Meinungen, Anfragen und Geplapper, der von überall auf der Welt hierher zusammengetragen wird.
Der Freiraum für das Design von Datenmapping-Projekten wird in Jim Campbells Formula for Computer Art (1996–2003), einem animierten Cartoondiagramm, in witziger Weise ins Visier genommen. Das Diagramm gibt auf hintergründige Weise zu verstehen, dass der Input bei vielen datenabbildenden Kunstwerken grundsätzlich willkürlich erfolgt – und daher auch beliebig austauschbar ist.[19]
Eine Reihe performativer Softwaresysteme bezieht auch menschliches Agieren mit ein als primären Input zur Steuerung oder Generierung audiovisueller Erfahrungen. Diese Systeme reichen von bildschirmbasierten musikalischen Spielen und audiovisuellen Instrumenten mit großer Ausdrucksfähigkeit bis zu rätselhaften audiovisuellen Toys, deren Regelwerk es durch schrittweise Interaktion zu entschlüsseln gilt. In vielen Fällen sind die Trennlinien zwischen diesen Formen einigermaßen verschwommen. Manche dieser Systeme sind kommerzielle Produkte, andere sind Installationen in einem Museum oder per Browser aus dem Internet abrufbar; wieder andere pendeln zwischen diesen Formen und Umgebungen. Was bei allen diesen Applikationen jedoch gleich bleibt, ist die Möglichkeit, einen Feedback-Loop zwischen System und User herzustellen, der die User oder Besucher in die Lage versetzt, mit dem Autor bei der Auslotung des Potenzials dieses offenen Systems zusammenzuarbeiten und dabei auch ihr eigenes Potenzial als Akteure zu einzubringen.
Die Kategorie performativer audiovisueller Softwarespiele ist extrem groß und erfährt in diesem Band an anderer Stelle eine ausführlichere Behandlung. Ich möchte mich deshalb hier auf Spiele beschränken, die von Autor und Kritik auch als Kunstwerke betrachtet werden, wie z. B. Masaya Matsuuras Rhythmus-Spiel Vib-Ribbon (1999) oder Kunst/Game-Mods, wie z. B. retroYOU r/c (1999) von Joan Leandre, wo der Code eines Autorennspiels auf kreative Weise umgeschrieben und umfunktioniert wurde. Ein besonders bemerkenswertes, spielähnliches System ist Music Insects (1991–2004) von Toshio Iwai, das zugleich als Malprogramm und als musikalisches Kompositionsprogramm in Echtzeit funktioniert; es ist von Iwai in mehreren Formaten vorgestellt worden, auch als Installation im Museumskontext oder als kommerzielles Game.
Es gibt zahlreiche audiovisuelle Instrumente, die eine gleichzeitige Darstellung von Bild und Ton in Echtzeit ermöglichen. In vielen dieser bildschirmbasierten Programme dient der gestenbetonte Akt des Zeichnens mit seiner starken zeitlichen Komponente als Auslöser für konstruktionistische audiovisuelle Ergebnisse. Ein frühes Beispiel auf diesem Gebiet ist Iannis Xenakis’ UPIC (1977–1994), mit dem es möglich war, spektrografische Skizzen auf einem Grafiktablett zu zeichnen, zu bearbeiten und zu speichern; mit der Version von 1988 konnte man man bereits spektrografische Vorgänge in Echtzeit für Performances und Improvisationen verwenden.[20] Während Xenakis mit UPIC ein Instrument erstellen wollte, das von einer visuellen Grundlage aus die Komposition und Darstellung von Musik ermöglichte, wurden ähnliche, ebenfalls auf audiovisuelle Performance zielende Systeme ausdrücklich als offene Arbeiten oder Meta-Kunstwerke konzipiert, das heißt, als eigenständige Kunstwerke, die sich nur dann im intendierten Sinn erfahren ließen, wenn sie interaktiv zur Erzeugung von Ton und/oder Bild verwendet wurden. Ein gutes Beispiel ist Motion Phone (1991–1995), von Scott Snibbe, ein Software-Kunstwerk, mit dem der User interaktiv visuelle Musik generieren und aufführen kann, die an die geometrisch-abstrakten Filmen von Oskar Fischinger und Norman McLaren erinnert. Motion Phone zeichnet die Cursor-Bewegungen des Users auf und benützt sie zur Animierung einer Reihe einfacher Figuren (Kreise, Quadrate, Dreiecke); das Ergebnis sind stumme, aber ausdrucksvolle Computergrafik-Animationen.[21] Eine ähnliche Arbeit, Golan Levins Audiovisual Environment Suite oder AVES (2000), ermöglicht eine Reihe cursorbasierter Interaktionen, mit denen der User mit seinen Bewegungen gleichzeitig dynamische Animation wie synthetischen Ton in Realzeit generieren kann. Aufbauend auf der Metapher einer ›Substanz‹, die unbegrenzt – und unbegrenzt variabel – zur Verfügung steht, zeitabhängig ist und in einem formal uneingeschränkten, nicht diagrammatischen Bild-Raum durch Gesten generiert, gespeichert, manipuliert und gelöscht werden kann, benutzt Levins System Aufzeichnungen der Mausbewegungen des Users zur Beeinflussung von Partikelsimulationen und setzt dann die zeitabhängigen Eigenschaften dieser Simulationen zur Steuerung sowohl der visuellen Animationen wie der Algorithmen der Echtzeitzeit-Tonsynthese ein.[22] Amit Pitarus Sonic Wire Sculptor (2003) verwandelt ebenfalls die Mausbewegungen des Users in synthetischen Ton und animierte Grafik, verlagert aber die zugrunde liegende Metapher der Darstellung von der zweidimensionalen Bildfläche in einen dreidimensionalen Raum, den die an Bänder erinnernden Zeichnungen des Users bevölkern.[23] Josh Nimoys populäres BallDroppings (2003) verlässt die formal uneingeschränkte gestische Interaktion und präsentiert stattdessen einen eleganten, mausgesteuerten Bausatz, in dem Bälle vom oberen Rand des Bildschirms fallen und von den Linien, die man mit der Maus zieht, abprallen. Das Abprallen der Bälle verursacht einen perkussiven, melodischen Ton, dessen Höhe von der Geschwindigkeit abhängt, mit der sich der Ball bewegt, wenn er auf die Linie trifft. Nimoy selbst liefert eine zutreffende, knappe Beschreibung des hybriden Wesens derartiger Arbeiten: BallDroppings ist ein Spiel-Zeug mit starker Geräuschentwicklung und beträchtlichem Suchtfaktor. Man kann es auch als emergentes Game verstehen. Als Alternative steht noch die Verwendung als ernstzunehmendes Instrument für audiovisuelle Performances offen.[24]
Ein weiteres Genre performativer audiovisueller Software verzichtet überhaupt auf jeden Vorgang des Zeichnens zugunsten einer Bildschirmfläche, die (gewöhnlich von Anfang an) mit manipulierbaren grafischen Objekten bevölkert ist. Der User kann die sichtbaren Eigenschaften (Größe, Position, Orientierung) dieser Objekte verändern, die sich ihrerseits wie Fader auf einem Mischpult in Bezug auf eine Reihe von (oft) voraufgezeichneten Audiofragmenten verhalten. Ein Beispiel dafür ist Stretchable Music (1998), ein interaktives System, das Pete Rice am Massachusetts Institute of Technology entwickelte, in dem jedes interaktionsfähige grafische Objekt in einer heterogenen Gruppe eine Spur oder Schicht einer voraufgezeichneten MIDI-Endlossequenz darstellt.[25] Weitere Beispiele für das Prinzip Interaktion finden sich in John Klimas Glasbead (2000), einem konsequent kollaborativen musikalischen Interface, das bis zu zwanzig Spielern die Möglichkeit gibt, Audiosamples online zu manipulieren und auszutauschen,[26] oder, zeitlich weniger weit zurückliegend, in Fijuu2 (2004–2006) von Julian Olivier und Steven Pickles, deren justierbare grafische Objekte noch weit dramatischere Audiomanipulationen ermöglichen.
Die oben beschriebenen Systeme sind alle dafür gedacht, mit Computermaus und Tastatur verwendet zu werden, die zwar allgegenwärtig sind, aber als Eingabevorrichtungen nur über beschränkte Möglichkeiten verfügen. Die Verwendung von Eingabevorrichtungen, die dem User mehr Einflussmöglichkeiten geben, wie z. B. Videokameras und Tangible User Interfaces, erweitern den expressiven Spielraum audiovisueller Softwareinstrumente beträchtlich, rückt sie aber formal (und in ihren physischen Dimensionen) auch in die Nähe von Performances bzw. Installationen. Das epochemachende DIMI-O-System (Digital Music Instrument, Optical Input) des finnischen Künstlers und Experimentators Erkki Kurenniemi aus dem Jahr 1971 generierte synthetische Musik von einem Live-Videobild, indem das Kamerasignal so gelesen wurde, als wäre es eine Notenrolle.[27] David Rokebys Very Nervous System oder VNS (1986–1990) experimentierte mit der Verwendung von kamerabasierter Ganzkörper-Interaktion zur Steuerung der gleichzeitigen Generierung von Ton und Bild. Andere audiovisuelle Softwareinstrumente benützen Tangible User Interfaces als hauptsächliche Schnittstellen, wie z. B. Audiopad (2003) von James Patten und ReacTable (2003–2009) von Sergi Jordà, Marcos Alonso, Günter Geiger und Martin Kaltenbrunner. Beide Instrumente verwenden Echtzeit-Daten bezüglich Position und Orientierung spezieller Objekte auf einer tischähnlichen Oberfläche zur Generierung von Musik und visuellen Projektionen.[28]
In den vorangegangenen Abschnitten sind verschiedene Genres audiovisueller Softwarekunst erörtert worden, Systeme, die auf Musik als Grundlage für ästhetische oder analytische Visualisierungen aufbauen, Kunstwerke, die Daten der realen Welt mit grafischen oder akustischen Mitteln darstellen, und solche, bei denen Interventionen des Users die Synthese von Animation und Musik steuern. In einem vierten, ebenfalls bedeutenden Genre audiovisueller Softwarekunst, der sogenannten generativen Kunst, entstehen Animation und Ton autonom – nach je eigenen inneren Regeln. Diese Regeln reichen von trivialen Formen der Randomisierung bis zu hoch entwickelten algorithmischen Techniken, die komplexe organische Prozesse simulieren oder sogar Modelle aus dem Bereich der künstlichen Intelligenz in den Dienst visueller und musikalischer Komposition stellen. Ein solches autonomes Kunstwerk, das eine starke beispielgebende Wirkung entfaltete, ist Scott Draves’ Bomb (1993–1998), ein frei herunterladbares Softwaresystem, das eine fließende, texturierte, rhythmische, animierte und im Allgemeinen nicht-gegenständliche visuelle Musik generiert.[29] Bomb verwendet rekursive und nichtlinear iterierte Systeme, wie z. B. die Algorithmen zellulärer Automaten (die oft dazu herangezogen werden, um das Verhalten von Tierpopulationen zu simulieren), Reaktions-Diffusionsgleichungen (mit denen man die Herausbildung organischer Muster simuliert, wie z. B. die Rosetten eines Leoparden oder die Streifen eines Zebras) und Video-Feedback. Für Draves war eine der wichtigsten Neuerungen in Bomb die Idee, viele Regeln der ZA [zellulären Automaten] miteinander interagieren zu lassen; dies ermöglichte es dem Programm, eine wahrhaft riesige Bandbreite organischer grafischer Konfigurationen zu entwickeln.[30]
Während Bomb ohne Ton auskommt, verwendet Antoine Schmitts Nanoensembles (2002) einfache Techniken zur gleichzeitigen Generierung sowohl von Ton wie Animation.[31] Animierte kleine visuelle Elemente bewegen sich mit unterschiedlicher Geschwindigkeit auf dem Bildgrund hin und her, wobei jedes einen einfachen Endloston von sich gibt, dessen Lautstärke zu seiner Geschwindigkeit und Position in Beziehung steht. Da alle Elemente ihre jeweils eigene Umlaufperiode haben, erscheinen ihre Bewegungen schließlich phasenversetzt – was auch für den Klang eines jeden zutrifft. Das Resultat ist eine in ständigem Wandel begriffene und tatsächlich endlose audiovisuelle Komposition.
[1] John Whitney, Digital Harmony: On the Complementarity of Music and Visual Art, Peterborough, 1980.
[2] Herbert W. Franke, »Graphic Music«, in: Artist and Computer, Ruth Leavitt (Hg.), New York 1976, S. 83.
[3] Lillian Schwartz; Werkliste auf http://www.lillian.com/films/.
[4] Laurie Spiegel, »Graphical GROOVE: Memorial for the VAMPIRE, a Visual Music System«, in: Organised Sound 3, 1998, S. 187–191, siehe auch http://retiary.org/ls/writings/vampire.html.
[5] Spiegel, »Graphical GROOVE«, 1998. Übers. O.B.
[6] Kevin Zaph Burfitt, Cthugha, Winamp Visualisierungs-Plug-in, 1993–1997, http://www.afn.org/~cthugha/. Übers. O.B.
[7] »Music Visualization« auf Wikipedia: The Free Encyclopedia, http://en.wikipedia.org/wiki/Music_visualization?oldid=308505334; letzter Zugriff: 20. August 2009.
[8] Stephen Malinowski, »Time-Line of the Music Animation Machine, 1970–2001«, siehe http://www.musanim.com/mam/mamhist.htm.
[9] Cory Arcangel, Data Diaries, 2002, http://www.turbulence.org/Works/arcangel/.
[10] Arcangel, Data Diaries, 2002. Übers. O.B.
[11] Stanza, Datacity, 2004, http://soundtoys.net/toys/datacity-2004. Übers. O.B.
[12] Stanza, Sensity, 2004–2009, http://www.stanza.co.uk/sensity.
[13] Radical Software Group (RSG), Carnivore, 2001, http://r-s-g.org/carnivore/.
[14] Ken Goldberg, Randall Packer, Gregory Kuhn und Wojciech Matusik, Mori: An Internet-Based Earthwork, 1999, http://www.ieor.berkeley.edu/~goldberg/art/mori/
[15] Ubermorgen, The Sound of Ebay, 2008; http://www.sound-of-ebay.com/100.php.
[16] Jens Brand, G-Player, 2004, http://g-turns.com.
[17] R. Luke DuBois, Hard Data, ein interaktives Flash-Applet, 2009, http://transition.turbulence.org/Works/harddata.
[18] Mark Hansen und Ben Rubin, Listening Post, Software-Installation, 2001, http://www.earstudio.com/projects/listeningpost.html. Übers. O.B.
[19] Jim Campbell, Formula for Computer Art, 1996–2003, http://www.jimcampbell.tv/formula/index.html.
[20] Golan Levin, »The Table Is the Score: An Augmented-Reality Interface for Real-Time, Tangible, Spectrographic Performance«, in: Proceedings of the International Conference on Computer Music 2006 (ICMC’06), New Orleans, 6 – 11. November 2006.
[21] Scott Snibbe, »The Motion Phone«, in: Proceedings of Ars Electronica ’96, Christine Schöpf (Hg.), http://kultur.aec.at/lab/futureweb/english/prix/prix/1996/E96azI-motion.html.
[22] Golan Levin, Painterly Interfaces for Audiovisual Performance, Diplomarbeit, Massachusetts Institute of Technology, 2000, http://www.flong.com/texts/publications/thesis. Übers. O.B.
[23] Amit Pitaru, Sonic Wire Sculptor, 2003, http://www.pitaru.com/sonicWireSculptor/.
[24] Josh Nimoy, BallDroppings, interaktive Software, 2003, http://www.balldroppings.com. Übers. O.B.
[25] Levin, Painterly Interfaces, 2000.
[26] John Klima, Glasbead, interaktive Netzwerksoftware, 2000, http://www.cityarts.com/glasbeadweb/glasbead.htm. Übers. O.B.
[27] Levin, »The Table Is the Score«, 2006.
[28] Tina Blaine, »New Music for the Masses«, online auf http://www.adobe.com/designcenter/thinktank/ttap_music/
[29] Scott Draves, Bomb, klangsensible Software, 1993–1998, http://draves.org/bomb/. Übers. O.B.
[30] Scott Draves, »Phylogeny of My Artwork and My First VJ Gig«, 27. Januar 2006; http://draves.org/blog/archives/000361.html. Übers. O.B.
[31] Antoine Schmitt, Nanoensembles, Macromedia Shockwave-Applikation, 2002; http://www.gratin.org/as/nanos/index.html, oder http://soundtoys.net/toys/nanoensembles.
|
Personen |
Werke |
Zeitrahmen 1960 bis heute Alle Schlagwörter keine Schlagwörter angegeben Körperschaften |