2 Digitaler Code – Die gemeinsame Basis von Ton und Bild

Die medientechnisch voneinander getrennten Phänomene Ton und Bild werden im Digitalen durch einen gemeinsamen binären Code repräsentiert und durch Zahlen mathematisch beschrieben. Daraus ergibt sich eine grundlegende Transformierbarkeit, die im Unterschied zur analogen Transformation eine algorithmische Übersetzung von auditiven und visuellen Parametern ermöglicht.

Computermusik – Musik, die aus digitalen Sounds besteht und am Computer generiert wird – hatte sich bereits in den frühen 1990er Jahren als gängiges Prinzip im Live-Kontext etabliert. Ab 1997 standen dann erste Visualisierungs-Programme und eine ausreichende Rechenleistung zur Verfügung, um auch am kleinen tragbaren Personal Computer mit Bildsequenzen in Echtzeit arbeiten zu können. In Anlehnung an das Live-Improvisations-Prinzip der elektronischen Musik begannen visuelle KünstlerInnen Computergrafiken zunächst live zu manipulieren und später auch zu generieren. Es entstand eine neue Art der Echtzeit-Performance. Die Audiodaten oder auch Steuerungsdaten aus den Controllern der MusikerInnen wurden in das bildgenerierende System übernommen und als Auslöser für visuelle Impulse eingesetzt. Beispielhaft für die frühe Auseinandersetzung mit diesen Möglichkeiten ist Cécile Babiole, die seit Beginn ihrer künstlerischen Karriere mit der Transposition und Manipulation von Bildern durch Sounds (und umgekehrt) arbeitete.^[2] Bereits 1999 war ihre Arbeit Reality Dub Bu in Wien am Phonotaktik-Festival zu erleben. Ein öffentlicher Bus wurde zu einem fahrenden Performance Space umfunktioniert. Das Publikum saß in einem völlig abgeschirmten Bereich des Busses und lauschte einem Live-Remix der Bilder und Töne, die während der Fahrt mit dem Bus von Kameras und Mikrofonen aufgenommen und vom Musiker Fred Bigot alias Electronicat und Cécile Babiole prozessiert wurden.^[3]

Mit digitalen Mitteln lassen sich beliebige Interrelationen zwischen Audio und Video herstellen, wobei Klänge häufig Bilder steuern. Der Sound wird mittels verschiedener Analysemethoden erfasst und rechnerisch in Zahlenwerte übersetzt. Werte für die Lautstärke, Tonhöhe, Klangfarbe, Tondauer sowie Höhen und Tiefen, die in eine Reihe von Frequenzbändern zerlegt werden, werden ermittelt und in das bildgenerierende System eingespeist. Die ursprünglich auditiven Parameter werden auf Softwareebene in visuelle übersetzt. Unter anderem können die Parameter Helligkeit, Geschwindigkeit, Größe, Transparenz, Position und Rotation von zweidimensionalen Formen und dreidimensionalen Körpern beeinflusst werden. Im Prinzip kann jeder Wert in das jeweils andere System ohne Signalverlust übersetzt werden.

Zur Jahrtausendwende wurde für jedes Medium eine eigene Maschine eingesetzt: z. B. ein Laptop für die Generierung der Sounds, ein anderer für die Erzeugung von Bildsequenzen und weitere Rechner für Steuerungsprotokolle oder Datenaustausch der generierenden Systeme. Laptops sowie die zur Verfügung stehenden Applikationen sind heutzutage so leistungsstark, dass alle Medien in einem einzelnen Rechner synchron generiert werden können. Es wird daher für eine einzelne Person immer einfacher, die Ton- und Bildebene gleichzeitig zu kontrollieren. So bilden sich künstlerische Persönlichkeiten heraus, die sich weder ausschließlich als MusikerInnen noch als reine VisualistInnen verstehen. Der Japaner Ryoichi Kurokawa bezeichnet sich selbst als audiovisueller Künstler.

Für seine Performances wie Parallel Head (2008) oder Rhe (2009) entwirft er in einem wechselseitigen Prozess sowohl seine fragilen und komplexen Bild- wie auch Soundwelten.