Mit dem Aufkommen von erschwinglichen Personal Computern mit Prozessoren und Applikationen, die in der Lage waren, bewegte Bilder in Echtzeit zu manipulieren, konnten die bisher medientechnisch voneinander getrennten Phänomene Ton und Bild durch algorithmische Übersetzung von auditiven in visuelle Parameter verknüpft werden.
Ein Wegbereiter dieser Entwicklung war die zunehmende Verbreitung elektronischer Musik, bei der sich der Computer zum Instrument etablierte. Die Musik wurde digital erstellt und die vorhandenen Applikationen legten nahe, mit der Verknüpfungdigitaler Sounds und Bilder zu experimentieren.
Mit den ersten Programmen wurde zunächst versucht, Techniken aus dem Bereich des analogen Videos in die digitalen Möglichkeiten zu übersetzen und Bildparameter zu manipulieren. Bald wurden jedoch Programme entwickelt, die generative Prozesse beinhalteten und eine eigenständige digitale Ästhetik hervorbrachten.
Sound konnte nun analysiert und in verschiedene Frequenzbänder zerlegt werden und somit als Datenmaterial den Input für bildgenerierende Systeme liefern. Im Zuge der direkten Programmierbarkeit ist inzwischen eine Vielfalt komplexer Generierungsverfahren entstanden, die das Spektrum der Ausdrucksmöglichkeiten beständig erweitern und reichhaltiger werden lassen.
Der anfängliche Anwendungsbereich digitaler Musikvisualisierungen umfasste Club-Visuals und Live-Performances im Rahmen von Konzerten mit elektronischer Musik. Heute sind sie auf Events jeder Art verbreitet. Mit dem Durchbruch der LED-Technik wird verstärkt der öffentliche Raum erobert. Zahlreiche Gebäude und Werbewände weisen bespielbare Oberflächen auf und werden für künstlerische Interventionen genutzt. Darüber hinaus produzieren zeitgenössische KünstlerInnen zunehmend multimediale Arbeiten auf DVD oder als Installation.
Mitte der 1990er Jahre kamen Personal Computer auf den Markt, die so klein, transportabel und gleichzeitig so erschwinglich wurden, dass mit ihrer Hilfe digitale Sounds im Kontext einer Live-Darbietung unkompliziert erstellt werden konnten. Damit wurde der Laptop zu einem leicht verfügbaren Musikinstrument, das als solches nicht nur die Aufführungspraxis, sondern auch die Klangwelt der bisherigen elektronischen Live-Musik revolutionierte.[1]
Live-Darbietungen der ersten Laptop-Musiker wie Peter Rehberg alias Pita, General Magic und Farmers Manual des Wiener Musiklabels Mego, das britische Duo Autechre und Musiker wie Carl Stone oder Zbigniew Karkowski stellten interaktive Manipulationen von Sound-Prozessen dar. Die visuelle Rezeption dieser Live-Darbietungen war jedoch statisch. Beim Betrachten eines Performers, der lediglich einen Computer bedient, ließ sich der musikalische Akt der Klangerzeugung oft kaum nachvollziehen und erzeugte so ein visuelles Vakuum.
Durch die Erweiterung der Prozessor- und Speicherkapazitäten waren Laptops nun ebenfalls in der Lage, bewegte Bilder in Echtzeit zu manipulieren.
Einige MusikerInnen begannen daher mit visuellen KünstlerInnen zusammenzuarbeiten. Andere entwickelten eigene Methoden, um das visuelle Vakuum der Konzerte zu füllen.
Die medientechnisch voneinander getrennten Phänomene Ton und Bild werden im Digitalen durch einen gemeinsamen binären Code repräsentiert und durch Zahlen mathematisch beschrieben. Daraus ergibt sich eine grundlegende Transformierbarkeit, die im Unterschied zur analogen Transformation eine algorithmische Übersetzung von auditiven und visuellen Parametern ermöglicht.
Computermusik – Musik, die aus digitalen Sounds besteht und am Computer generiert wird – hatte sich bereits in den frühen 1990er Jahren als gängiges Prinzip im Live-Kontext etabliert. Ab 1997 standen dann erste Visualisierungs-Programme und eine ausreichende Rechenleistung zur Verfügung, um auch am kleinen tragbaren Personal Computer mit Bildsequenzen in Echtzeit arbeiten zu können. In Anlehnung an das Live-Improvisations-Prinzip der elektronischen Musik begannen visuelle KünstlerInnen Computergrafiken zunächst live zu manipulieren und später auch zu generieren. Es entstand eine neue Art der Echtzeit-Performance. Die Audiodaten oder auch Steuerungsdaten aus den Controllern der MusikerInnen wurden in das bildgenerierende System übernommen und als Auslöser für visuelle Impulse eingesetzt. Beispielhaft für die frühe Auseinandersetzung mit diesen Möglichkeiten ist Cécile Babiole, die seit Beginn ihrer künstlerischen Karriere mit der Transposition und Manipulation von Bildern durch Sounds (und umgekehrt) arbeitete.[2] Bereits 1999 war ihre Arbeit Reality Dub Bu in Wien am Phonotaktik-Festival zu erleben. Ein öffentlicher Bus wurde zu einem fahrenden Performance Space umfunktioniert. Das Publikum saß in einem völlig abgeschirmten Bereich des Busses und lauschte einem Live-Remix der Bilder und Töne, die während der Fahrt mit dem Bus von Kameras und Mikrofonen aufgenommen und vom Musiker Fred Bigot alias Electronicat und Cécile Babiole prozessiert wurden.[3]
Mit digitalen Mitteln lassen sich beliebige Interrelationen zwischen Audio und Video herstellen, wobei Klänge häufig Bilder steuern. Der Sound wird mittels verschiedener Analysemethoden erfasst und rechnerisch in Zahlenwerte übersetzt. Werte für die Lautstärke, Tonhöhe, Klangfarbe, Tondauer sowie Höhen und Tiefen, die in eine Reihe von Frequenzbändern zerlegt werden, werden ermittelt und in das bildgenerierende System eingespeist. Die ursprünglich auditiven Parameter werden auf Softwareebene in visuelle übersetzt. Unter anderem können die Parameter Helligkeit, Geschwindigkeit, Größe, Transparenz, Position und Rotation von zweidimensionalen Formen und dreidimensionalen Körpern beeinflusst werden. Im Prinzip kann jeder Wert in das jeweils andere System ohne Signalverlust übersetzt werden.
Zur Jahrtausendwende wurde für jedes Medium eine eigene Maschine eingesetzt: z. B. ein Laptop für die Generierung der Sounds, ein anderer für die Erzeugung von Bildsequenzen und weitere Rechner für Steuerungsprotokolle oder Datenaustausch der generierenden Systeme. Laptops sowie die zur Verfügung stehenden Applikationen sind heutzutage so leistungsstark, dass alle Medien in einem einzelnen Rechner synchron generiert werden können. Es wird daher für eine einzelne Person immer einfacher, die Ton- und Bildebene gleichzeitig zu kontrollieren. So bilden sich künstlerische Persönlichkeiten heraus, die sich weder ausschließlich als MusikerInnen noch als reine VisualistInnen verstehen. Der Japaner Ryoichi Kurokawa bezeichnet sich selbst als audiovisueller Künstler.
Für seine Performances wie Parallel Head (2008) oder Rhe (2009) entwirft er in einem wechselseitigen Prozess sowohl seine fragilen und komplexen Bild- wie auch Soundwelten.
1997 kam mit Image/ine die erste Software für handelsübliche Personal Computer – im Gegensatz zu hochleistungsfähigen Maschinen in professionellen Video- und Fernsehumgebungen – auf den Markt, die Live-Sampling und eine fortlaufende Bearbeitung von zuvor aufgenommen Bildsequenzen in Echtzeit ermöglichte.[4] Das erlaubte die Übertragung von Techniken aus dem Bereich des Videos in die digitale Umgebung der Personal Computer. Image/ine wurde von Steina Vasulka und Thomas Demeyer im niederländischen Studio for Electro Instrumental Music Steim[5] entwickelt. Ebenfalls 1997 erstellte Matthew Cohn, Teil des Musikduos Coldcut[6], die Applikation VJamm. Dieses Programm entsprach einem digitalen Videomixer mit Möglichkeiten zur Verfremdung und Überlagerung und war damit der Vorläufer einer langen Reihe von Applikationen, die ein schnelles Kombinieren und Abspielen von Filmclips ermöglichten. Beide oben erwähnten Programme waren dezidiert für eine Verwendung im Live-Kontext mit dem Ziel entwickelt worden, so flexibel mit Bildern zu spielen, wie es zuvor nur MusikerInnen mit Tönen möglich war.
Die Gestaltungsmittel zu jener Zeit entsprachen den technischen Möglichkeiten. Kurze aufgezeichnete Bildsequenzen wurden mit digitalen Mitteln verfremdet und überlagert. Die Wiederverwendung und Neukombination von Medienelementen (Remix) als ästhetisches Verfahren dominierte in den 1990er Jahren.
Wegen der im Vergleich zu heute geringen Rechnerleistung konnten Videos in Echtzeit nur in sehr geringer Auflösung (320x240 Bildpunkte) bearbeitet werden. Die Vergrößerung auf die eigentliche Projektionsfläche hatte stark gepixelte Bilder zur Folge. Dieser damals typische Pixel-Look entsprach nicht unbedingt dem ausgesprochenen Wunsch der Künstler, vielmehr wurde im Rahmen der Möglichkeiten und der Limitierungen durch Software und Hardware gearbeitet und experimentiert.
Bald darauf folgten die Applikationen Nato.0+55+3d[7] und Jitter[8], die durch die Möglichkeit der Kombination und Programmierung verschiedener Objekte zur Bildmanipulation und -generierung hervortraten. Im Unterschied zu clip-abspielenden Applikationen wie Vjamm erlaubten die flexibleren objektorientierten Applikationen ein direktes Manipulieren und Generieren von Bildsequenzen auf Basis der Sounds. Die Veröffentlichungen Skot vs. Hecker oder auch End of Skot (beide 2000, Musik von Florian Hecker und Mathias Gmachl, Visuals von Skot) oder 242.Pilots – Live In Bruxelles (2002) der Künstlergruppe 242.pilots (USA) sind frühe Zeugnisse dieser Entwicklungen.
Das Motto Generieren, nicht Collagieren (Jan Rohlf)[9] beschreibt treffend den Moment, in dem die Frage der Bildsprache nun völlig neu zur Debatte stand. Die Technik der Computation – der Berechnung auf einem Computer – beinhaltete beim Design einer digitalen Komposition auch die Komponente des Zufalls: KünstlerInnen legen bestimmte Regeln fest, der Computer führt diese Prozesse aus und liefert innerhalb der vordefinierten Bedingungen Resultate – eine endlose Zahl an visuellen Möglichkeiten ist das Ergebnis. Obwohl visuelle KünstlerInnen hierbei die Kontrolle über den Prozess und die Prozess-Bedingungen behalten, ergeben sich durch den Faktor Zufall auch Resultate, die am Beginn des Prozesses kaum vorherzusehen waren.[10] Die Künstlergruppe Ubermorgen[11] bezieht den Zufall ganz bewusst in ihre Arbeit The Sound of eBay (2008) ein, indem sie Ton und Bild von derselben externen Datenquelle – nämlich von eBay-User-Daten – selbstständig generieren lässt.
Mittlerweile gibt es eine Fülle unterschiedlichster Software-Tools zur Live-Bilderzeugung in Verbindung mit Sound. Mithilfe verschiedenster Applikationen und Methoden wurden individuelle und originäre Ansätze für die Visualisierung von Musik und Generierung von Bildern entwickelt. In der Handhabung der Software gibt es drei wesentliche Grundarten, wobei jede Software ihre eigenen Vorzüge hat.
USER INTERFACE: Eine grafische Oberfläche ermöglicht es, Bilder und Filme zu bearbeiten und zu mischen. Es werden keine besonderen Programmierkenntnisse vorausgesetzt (z. B. Module8, Isadora).[12]
PATCHES & NODES: Eine grafische Entwicklungsumgebung bietet vorgefertigte Module an, die auf objektorientierte Art zu sogenannten Patches verbunden werden können. Die einzelnen Module haben bestimmte Aufgaben und erzeugen durch ihre Verbindung neue Funktionalitäten. (z. B. MAX/Jitter, Pure Data, vvvv, QuartzComposer) Das Programm vvvv besticht durch hohe Geschwindigkeit im Bereich von 3-D-Effekten in Echtzeit. QuartzComposer wird mit dem Apple-Betriebssystem ab Version Mac OS X 10.4 mitgeliefert.
PROGRAMMIERUNG: Der direkte Einsatz einer Programmiersprache (z. B. Processing/Java, OpenFrameworks/C++ ) ermöglicht jegliche erdenkliche Verknüpfung von Ton und Bild. Das Open-Source-Programm Processing bietet einen schnellen und einfachen Einstieg in die Welt des Programmierens.[13]
Das Open-Source-Konzept hat den Vorteil, dass es eine globale Community gibt, welche die Programme permanent weiterentwickelt und um Funktionalitäten erweitert. Zu jedem Programm findet sich im Internet eine Sammlung an Wissen, die jedem User zugänglich ist und bei der Entwicklung der eigenen Anwendung extrem hilfreich sein kann.
Fortgeschrittene KünstlerInnen erstellen ihr eigenes Instrumentarium für audiovisuelle Performances, indem sie auf vorgefertigtes Material (Modules, Libraries) zurückgreifen und auf neue Art und Weise kombinieren. Wird eine Funktion benötigt, die noch nicht in Form von Modules oder Libraries vorhanden ist, kann diese Funktion selbst programmiert werden – allerdings ist dazu die Kenntnis einer Programmiersprache unumgänglich.
Je eigenständiger KünstlerInnen in die bereits vorgegebenen Elemente der Software eingreifen, diese verändern oder auf ungewöhnliche Modalitäten abprüfen oder sogar zweckentfremden, desto authentischer und individueller wird sich die entstehende Bildebene darstellen. Die österreichische Künstlerin Lia verwendete für viele ihrer frühen Videos das Multimedia-Programm Director, das eigentlich nicht für den Einsatz bei Musikvisualisierungen konzipiert wurde, sondern vielmehr zur Programmierung und Steuerung von interaktiven CD-ROMs angewendet wird. Obwohl Software-Applikationen die Verwendung bestimmter Effekte oder Ästhetiken nahezulegen scheinen, beweisen gerade Lias Arbeiten mit ihrem einzigartigen Stil die mögliche Unabhängigkeit von der eingesetzten Software.
Der französische Künstler David Dessens entwickelte mithilfe von vvvv eine eigene visuelle Formensprache, deren Basis die Superformula von Johan Gielis[14] (eine mathematische Modellierung von Pflanzen) darstellt. Auch Semiconductor[15], ein Künstlerduo bestehend aus Ruth Jarman und Joseph Gerhardt, entwickelte seine eigene Live-Performance-Software Sonic Inc., die es ihnen ermöglicht, Formen und Kompositionen durch Zeichnung und Manipulationen in Echtzeit zu generieren, während der Computer den Soundraum analysiert. In ihrer Arbeit Inaudible Cities konstruiert der Sound auf diese Weise eine ganze Stadt.
Der ursprüngliche Anwendungsbereich von digitalen Echtzeit-Visualisierungen umfasste Club-Visuals (VJing) und Live-Performances im Rahmen von elektronischen Musik-Konzerten (Live Cinema). Während ein Club-VJ häufig solitär neben dem DJ arbeitet, erforschen visuelle KünstlerInnen bestimmte Zusammenhänge zwischen Klängen und Bildern in Produktionsgemeinschaften mit Audio-KünstlerInnen. Eine enge Zusammenarbeit von MusikerIn und visueller KünstlerIn bewirkt vor allem im Live-Kontext, dass die Musik und das visuelle System gut aneinander angepasst sind. Hierbei hat sich der Einsatz von Visuals auf Events jeder Art, wie z. B. auf Konzerten und bei Installationen bis hin zum Design von professionellen Theateraufführungen, ausgeweitet.
Im Vorfeld einer Live-Performance werden die Sets für die musikalische Darbietung und die visuelle Ebene in der Regel intensiv vorbereitet. Die Ästhetik der Bildebene wird durch die richtige Auswahl des Ausgangsmaterials, wie fotografische Standbilder, Filmsequenzen, Schrift, geometrische Objekte und abstrakte Elemente, bestimmt. Ganz wesentliche Bestandteile sind dabei die Steuerbarkeit der Elemente und ein hoher Grad an Interaktion. Viele KünstlerInnen verändern ihre Sets für jedes Konzert und erarbeiten so über einen längeren Zeitraum ihren eigenen Werkzeugkoffer. In der Praxis und durch wiederholte Aufführungen entsteht so ein Repertoire an Effekten. Diese individuelle Methodik resultiert in einem persönlichen und im besten Fall innovativen Stil und hat damit den Mehrwert einer künstlerischen Auseinandersetzung.
Die Steuerung der einzelnen Parameter kann über die Schnittstellen Maus oder Tastatur erfolgen (virtuelle Knöpfe oder Regler am Bildschirm, Verwendung der Daten der Maus-Position oder Tastenkombinationen) oder mithilfe von externen Geräten ausgeführt werden (um nur wenige der vielen Möglichkeiten zu nennen: MIDI-Controller, Joystick, WII Remote Control, iPhone-Applikationen via OSC, etc.)
Nicht jede Art von Sound ist für jedes visuelle System und dessen immanente Soundanalyse geeignet. Die Komplexität eines visuellen Ergebnisses auf Basis von Audiodaten ist abhängig von der Quantität und Qualität der musikalischen Parameter. Analysiert man nur den Parameter Lautstärke, so wird z. B. ein gleichmäßig tief rauschender Sound mit kurzen zwischengeschalteten hochfrequenten Tönen auf der visuellen Ebene kaum zu differenzieren sein. Eine genauere Frequenzanalyse des Sounds ermöglicht es, die Töne in verschiedene Frequenzbänder aufzuteilen, sodass Datenwerte für hohe, mittlere und tiefe Töne ermittelt und zur Bilderzeugung eingesetzt werden können.
Die eigentliche Audio-Interpretation findet bei einer Live-Aufführung tatsächlich erst durch den Menschen als Filter und Interpret statt. Die Entscheidungen über den Einsatz der Steuerungsmöglichkeiten werden im Moment getroffen und führen so zu einem nicht wiederholbaren und einzigartigen Ergebnis – visuelle KünstlerInnen improvisieren live mit ihrem Set. Audiovisuelle Aufführungen im Bereich der elektronischen Musik beanspruchen ein hohes Maß an Aufmerksamkeit des Rezipienten und sind deswegen zeitlich oft auf nur 35 bis 45 Minuten angelegt.
Das klassische VJing im Club-Kontext ist oft nur der erste Schritt für KünstlerInnen im Bereich der audiovisuellen Gestaltungsmöglichkeiten. In den letzten Jahren hat eine zunehmende Ausdifferenzierung von Genres stattgefunden. So wird beispielsweise der Begriff der Sound Sculptures auch zur Beschreibung von künstlerischen Arbeiten verwendet, die aus generierten Klängen und Bildern bestehen.[16]
Zeitgenössische KünstlerInnen, die Verbindungen von Ton und Bild untersuchen, widmen sich nur bedingt dem Spiel im Live-Kontext. Sie produzieren multimediale Arbeiten, die auf Festivals aufgeführt oder als DVDs publiziert werden und/oder entwickeln Installationen, die im öffentlichen Raum ihre Wirkung entfalten. So manche Institution oder Organisation gibt generative Kunstwerke in Auftrag, die auf eigens errichteten Objekten samt Screen und Lautsprecher ihre Wirkung entfalten.
Insbesondere im öffentlichen Raum ist eine zunehmende Nutzung synthetischer Flächen als potenzielle Screens feststellbar. Mit der Verbreitung der LED-Technik gibt es bereits heute zahlreiche Gebäude und Werbewände, die bespielbare Oberflächen aufweisen und auch für künstlerische Interventionen genutzt werden.
[1] Vgl. Gabriele Klein, Electronic Vibration. Pop-Kultur-Theorie, Wiesbaden 2004.
[2] Cécile Babiole: Transcoding Obsession, Interview mit Laurent Catala auf Digital Art International, 10.03.2009, http://www.digitalarti.com/en/blog/mcd/cecile_babiole_transcoding_obsession.
[3] http://www.babiole.net/.
[4] Image/ine wird heute wieder von Tom Demeyer in einer aktuellen Version zum Download angeboten. siehe http://www.image-ine.org/.
[5] http://www.steim.nl/.
[6] Mehr Informationen zu Coldcut unter: http://www.myspace.com/coldcut/.
[7] http://en.wikipedia.org/wiki/Nato.0+55+3d.
[8] http://www.cycling74.com/products/max5.
[9] Jan Rohlf, »Generieren, nicht Collagieren«, in: Cinema – unabhängige Schweizer Filmzeitschrift, Bd. 49 – Musik, Marburg 2004, S. 121–132, online unter: http://www.janrohlf.net/uploads/media/Generieren_Rohlf.pdf.
[10] Katerina Tryfonidou, Dimitris Gourdoukis, What comes first: the chicken or the egg? Pattern Formation Models in Biology, Music and Design, 2009, Online Publikation unter: http://the-t-machine.blogspot.com/2008/06/what-comes-first-chicken-or-egg-pattern.html (23. Juli 2009).
[11] http://www.ubermorgen.com (23. Juli 2009).
[12] Als kommerzielle Software ermöglicht Isadora auch die Verwendung der sogenannten FreeForm Open-Source-Erweiterungen.
[13] Nähere Informationen zu den erwähnten Programmen lassen sich unter folgenden URLs nachlesen: http://www.modul8.ch/, http://www.troikatronix.com/isadora.html, http://www.cycling74.com/products/max5, http://puredata.info/, http://vvvv.org/, http://developer.apple.com/graphicsimaging/quartz/quartzcomposer.html, http://www.openframeworks.cc/, http://www.processing.org/.
[14] Siehe auch: http://dataisnature.com/?p=318, http://dataisnature.com/?p=320, http://www.sanchtv.com/?p=41.
[15] http://www.semiconductorfilms.com.
[16] Ende 2008 wurde die DVD advanced beauty, kuratiert von Matt Pyke (Universal Everything), veröffentlicht, die 18 audio-reaktive Video-Sound-Skulpturen enthält. Die Videos gestalten sich als physikalische Manifestationen des Sounds, geformt durch die Veränderungen der Lautstärke, der Tonhöhe oder der Struktur des dazugehörigen Soundtracks. Siehe auch online unter: http://www.advancedbeauty.org.
|
Personen |
Werke |
Zeitrahmen 1990 bis heute Alle Schlagwörter keine Schlagwörter angegeben Körperschaften |