8 Nichtlinear digital

Der SMPTE/EBU-Timecode markiert Tendenzen audiovisueller Verfahren, die seit den 1970er Jahren zunehmend wirksam werden: Digitalisierung und Nichtlinearität. Das allgemeine Funktionsprinzip nichtlinearer Schnittsysteme beruht auf der Trennung zwischen den Bild- und Tondaten einerseits und ihrer zeitlichen Organisation beim Abspielen, der Montage, andererseits. So können vorläufig getroffene Montageentscheidungen unabhängig vom Material gespeichert und für eine Vorschau verwendet oder auch verschiedene Alternativen der Montage miteinander verglichen und letztlich gegebenenfalls verworfen werden. Dies bezieht sich nicht nur auf die (horizontale) Folge der Bilder, sondern ebenso auf die (vertikalen) Verhältnisse von Bild- und Tonspuren zueinander.^[32] Nichtlinearer Schnitt setzt voraus, dass Bild und Ton für die Vorschau an jeder Zeitstelle exakt und relativ schnell angesteuert werden können. Entsprechend geht damit eine Ablösung dieser Daten von Ton- und Filmbändern einher, denn diese Trägermedien implementieren materiell eine bestimmte Zeitfolge, da gespult werden muss, um zu einer bestimmten Stelle zu gelangen. Die ersten nichtlinearen Schnittsysteme der 1970er Jahre sind Analog-Digital-Hybride: Mit einem Computer wird der Zugriff auf analoges Bild- und Tonmaterial gesteuert.^[33] Aber am Anfang der 1990er Jahre beginnen sich digitale Schnittysteme durchzusetzen, die Daten digital speichern und manipulierbar machen.^[34]

Bei der Herstellung und Verarbeitung ebenso wie bei der Distribution unterliegen digitale Video- und Ton-Formate im Vergleich zu Film- und Tonband einer flüssigeren und variableren Ökonomie der Übertragungs- und Rechengeschwindigkeiten bzw. Speicherkapazitäten: Der Kompressionsgrad, also die Reduktion von Daten nach verschiedensten (spatialen, temporalen, statistischen, wahrnehmungsorientierten etc.) Redundanz- und Optimierungsmodellen lässt sich der jeweils zur Verfügung stehenden Bandbreite oder Speicherkapazität einer ganzen Vielzahl von Geräten und Systemen anpassen. Die entscheidenden Differenzen sind hier auf der Ebene der Strukturierung und Regulation dieser Ökonomie durch Formate, Protokolle und Schnittstellen zu suchen.^[35] Dekodierung von Bild- und Tondaten beansprucht Rechenzeit und stellt daher ein Echtzeitproblem dar, das heißt, diese Rechenvorgänge müssen zu vorgegebenen Zeiten abgeschlossen sein, damit Bild und Ton rechtzeitig wiedergegeben werden. Damit tritt zur vertikalen Synchronisation von Ton und Bild das Problem einer horizontalen Synchronisation der Verarbeitungszeiten der einzelnen Datenströme hinzu: Audiovisuelle Containerformate – die dann wiederum verschiedene Video- und Audiokodierungsformate enthalten können – wie MPEG-2 beinhalten daher jeweils eine Logistik, nach der diese Daten abgearbeitet, gebuffert, synchronisiert und präsentiert werden. Dies geschieht beispielsweise durch sogenannte Timestamps, die bei der Kodierung der einzelnen einzelnen Spuren (Audio und Video) geschrieben werden. Wegen der unterschiedlichen Sample-Raten von digitalem Ton (z. B. 44100 Hz) und Video (z. B. 25 Bilder pro Sekunde) werden diese Timestamps in der Regel nicht untereinander, sondern von einer zentralen Systemuhr geregelt.^[36]

Im Gegensatz zu dem, was als das Fernsehen oder das Kino zumindest retrospektiv als Feld relativ weniger fest institutionalisierter audiovisueller Formen erscheint, versammelt sich unter dem Überbegriff digitale audiovisuelle Medien eine stark ausdifferenzierte Menge verschiedener Formen der Aufzeichnung, Manipulation, Distribution und Präsentation: Vom Handyvideo bis zum satellitenübertragenen digitalen Kino. Nicht nur deswegen kann davon gesprochen werden, dass digitale Audiovision eine spezifische Art von Situationsabhängigkeit der Präsentation einführt: Weil digitale Daten, um von Bildschirmen, Lautsprechern und anderen audiovisuellen Interfaces ausgegeben werden zu können, gerechnet werden müssen, ergibt sich die generelle Option, in das Programm (das wiederum als Daten vorliegen kann) dieser Rechnungen einzugreifen.^[37] Ein sehr einfacher, weil durch einen restriktiven Formatstandard definierter, Fall wäre beispielsweise die Möglichkeit, während des Abspielens einer DVD zwischen verschiedenen Tonspuren (Deutsch, Englisch, Kommentar, nur Geräusche usw.) zu wechseln. Weiter gehen zum Beispiel Computerspiele, die kaum aus einem Begriff von digitalen audiovisuellen Medien herauszuhalten sind, ebenso wie bestimmte Softwareumgebungen, z. B. Max/MSP/Jitter, die es erlauben, Audio, Video und andere Daten auf verschiedene Weise aufzurufen, zu kombinieren und miteinander zu verrechnen.