Neue Territorien für das Objekttheater
Sie halten Smartphones und jagen Monster, die nur sie sehen. "Pokémon Go"-Spieler haben die Augmented Reality in den Alltag gebracht, mit all den Effekten, die eine Welle so auslöst. Die Polizei warnt vor Verkehrsunfällen, die von den Monsterjägern ausgelöst werden, die so sehr in die überlagerte Wirklichkeit eingetaucht sind, dass sie ihnen zum immersiven Erlebnis geriet und das die physische Realität völlig verdrängte. Bis dann eben doch die Gesetze der Schwerkraft die Effekte des Programmierens übertreffen. "Krach, Bumm, Autsch", heißt es dann - und es ist nicht Inhalt einer Comic-Sprechblase, sondern verbunden mit echtem Blut, das aus echten Wunden kommt.
Gut, das ist der Ausnahmefall der konkurrierenden Realitäten bei "Pokémon Go". Das Spiel der Firma Niantic hat aber ein altes Konzept der Computerwissenschaft dem Massenmarkt bekannt gemacht. Bereits 1901 imaginierte der US-amerikanische Autor Frank L. Baum ein System von elektronischen Gläsern, die reale Personen mit Daten überlagern. Erstmals umgesetzt wurde das Konzept durch Steven Feiner und sein Team im Jahr 1993, als Bediener von Laserdruckern über eine Brille die inneren Teile des Druckers sahen und die Schritte zum Auswechseln einer Patrone auf das reale Gerät projeziert bekamen. Bei diesem KARMA-Projekt (Knowledge-based Augmented Reality for Maintenance Assistance; http://www.cs.ucsb.edu/~almeroth/classes/tech-soc/2005-Winter/papers/ar.pdf.) funktionierte bereits das Tracking. Die AR-Visualisierungen reagierten auf Bedienungsfehler, wenn etwa die falschen Teile der Abdeckung demontiert wurden.
Technische Anwendungen danach gab es zu Hauf. Boeing ließ seine Flugzeuge mittels AR-Technologie warten. Konstruktionstools für Architekten wurden entwickelt. Auch technisch interessierte Künstler experimentierten früh mit der sich gegenseitig beeinflussenden Verknüpfung von virtueller und physischer Realität. Den frühesten überlieferten Versuch startete Julie Martin 1995 mit "Dancing in Cyberspace". Tänzer waren da mit allen ihren Bewegungen in einen virtuellen Raum importiert und interagierten mit virtuellen Objekten. Martin war knapp 30 Jahre zuvor übrigens bei der legendären Performanceserie "9 Evenings Theater & Engineering" beteiligt - einer Kooperation von 30 Ingenieuren der Telekommunikationsfirma Bell und Künstlern wie John Cage, Robert Rauschenberg, Yvonne Rainer und Lucinda Childs. Zentrales technisches Element war eine mobile, kabellose Steuereinheit, mit deren Hilfe Cage etwa über Bewegungssensoren Lautsprecher an- und ausschalten ließ. Eine Infrarot-Kamera filmte Bewegungen in totaler Dunkelheit. Mit einer Doppler-Sonar-Maschine wurden live aufgezeichnete Bewegungen in Klang umgewandelt. (Archivmaterialien hier: http://www.fondation-langlois.org/html/e/page.php?NumPage=1840)
Mittlerweile ist Augmented Reality in vielen Bereichen heimisch geworden. Auf der Webkonferenz re:publica in Berlin und dem angeschlossenen Festival Performersion wurde der Brückenschlag von der Industrie zurück zur Kunst versucht. Die Ars Electronica Linz hingegen machte auf die nächste Entwicklungsstufe, das Konzept der "Radical Atoms" aufmerksam.
In Berlin zeigten Entwickler aus den Bereichen Gesundheit, Architektur und der Gaming-Branche ihre Produkte und hofften auf Feedback der Techno-Pioniere aus dem Performancebereich. Beim Stand der niederländischen Firma Doctor Kinetic konnte man auf der Stelle joggen und hüpfen - und sah sich als Avatar in eine virtuelle Landschaft versetzt, in der zahlreiche Hindernisse eben durch Sprünge nach vorn oder zur Seite überwunden werden mussten. Die Anwendung läuft schon im Rehabetrieb und ermöglicht spielerisch das Trainieren bestimmter Muskelpartien.
Der Kölner Gameproduzent Bickhofe stellte mit "Islands" ein Spiel vor, in dem man ebenfalls springen und hüpfen musste, dabei aber Kontakt mit anderen Mitspielern hatte, die sich teils im selben Realraum, teils ganz woanders befanden.
Dass die dort zur Verfügung gestellte etwas simple grafische Oberfläche nicht der Technologie letzter Stand sein muss, demonstrierte die Immersive Media & Communication Group des Fraunhofer Instituts Berlin. Die Forscher entwickelten ein Tool, mit dem fotorealistische 3D-Körperrekonstruktionen nicht nur in den virtuellen Raum kopiert, sondern sogar bewegt werden können.
Überhaupt stellen die Bewegungen des Realkörpers und die dadurch ausgelösten Bewegungen der digitalen Repräsentanten den wohl interessantesten Entwicklungsschritt für die partizipativ orientierten performativen Künste dar. Was da alles möglich sein könnte, erkundeten Studenten und Absolventen der Mediadesign-Hochschule Berlin. Bei ihren Spielen konnte man durch Armbewegungen Räume "greifen" und mit Schwimmzügen durch sie hindurch gleiten. Eine charmante Mischung aus Low- & Hightech stellte die Flucht per Rollstuhl durch ein virtuelles Hochhaus dar, bei der Tritte gegen den realen Stuhl Kollisionen im virtuellen Raum illustrierten und bei Konfrontation mit Wasser tatsächlich ein paar analoge Spritzer auf den VR/AR-Reisenden trafen.
Was die neuen Technologien für das Bühnengeschehen bedeuten können, war in ersten Umrissen etwa bei den "Cyberräubern" zu sehen. Bei diesem Projekt von Björn Lengers wurden Szenen zwischen Amalie und Franz Moor mit drei Kameras im Performance Capture-Modus und 360 Grad-Tonaufnahme-Verfahren aufgenommen und die Daten dann so mit den separat aufgenommenen Räumlichkeiten des DT-Foyers und ebenfalls digitalisierten Objekten aufbereitet, dass die Zuschauer neben die virtuellen Repräsentanten der Darsteller treten, sie von allen Seiten betrachten und - mit etwas Geschicklichkeit - sogar aus deren Augen die Szene verfolgen konnten (Vortrag und Bildbeispiele unter: https://www.youtube.com/watch?v=0tpNqGkAKWM)
In "Doghouse" von der dänischen Gruppe Makropol (www.makropol.dk) bestand das gesamte Spiel daraus, per VR-Brille direkt in die Körper der Teilnehmer eines Familienessens zu schlüpfen. Die Szene war mit stereoskopischen Kameras aus der Perspektive jedes einzelnen Performers aufgenommen. Deshalb ist man durch Blickrichtungen und Körperbewegungen des jeweiligen Darstellers geführt. Das artete zuweilen in physisch empfundenen Zwang aus, wenn der Blick sich zur Seite neigte und plötzlich die Lippen des virtuellen Nachbarn zum Wangenkuss ganz nahe kamen. Die Atmosphäre eines von Zwistigkeiten überwölbten Familientreffens entfaltet sich so aber auf besondere Weise.
Eroberten die auf der Performersion vorgestellten Projekte vor allem den virtuellen Raum für die darstellenden Künste, so war man beim Medienkunstfestival Ars Electronica in Linz schon einen ganzen paradigmatischen Schritt weiter. Theoretischer Rahmen war das Konzept der "Radical Atoms", das im Tangible Media Lab des MIT entwickelt wurde. Die "radikalen Atome" stellen aus Sicht des MIT-Laborleiters Hiroshi Ishii materialisierte Pixel dar. Ishii zeigte sich im Gespräch regelrecht empört über das "digitale Pixeluniversum, das uns Menschen vergessen lässt, dass wir Hände haben". Bereits 2002 entwickelte seine Gruppe das Projekt "SandScape" (http://tangible.media.mit.edu/project/sandscape/). In einen mit kleinen Glasperlen gefüllten Tischsandkasten kann man mit den Händen hineingreifen und in Windeseile dreidimensionale Objekte aller Art formen. Diese Objekte werden in Echtzeit gescannt und auf einen Monitor übertragen. Von diesen Strukturen können wiederum Daten wie Volumen und Oberflächeninhalt ermittelt und einzelne Sektionen digital herausgelöst werden. Ishii hatte bei dem Gerät ursprünglich an Geologen und Geografen gedacht. "Es kann aber auch bei Gestaltungsprozessen von Architekten und Stadtplanern hilfreich sein. Und Künstler könnten es als neues Tool gebrauchen", meinte er in Linz.
Ishiis Projekt "Inform", seit 2012 in Entwicklung (http://tangible.media.mit.edu/project/inform/), hat ein noch größeres ästhetisches Potential. Für mit der Technologie nicht vertraute Beobachter wirkt es sogar magisch. Über eine quadratische Fläche aus 900 Feldern streicht eine Hand. Sie berührt die Felder nicht. Trotzdem erheben sich entsprechend der fließenden Gesten einzelne Felder in die Luft und formieren sich zu einer Welle. Auch Klänge können damit moduliert werden. Grundlage ist eine Verbindung aus Trackingtechnologien, die die Bewegungen der Hände aufzeichnen, mit einem Steuerungssystem von 900 kleinen Motoren, die unter jedem einzelnen Feld angeordnet sind. Zwei miteinander verbundene "Inform"-Systeme können sogar so etwas Ungewöhnliches wie physische Telepräsenz herstellen. Legt Person A an einem Ort A seine Arme auf die "Inform"-Spielfläche, so sind die Eindrücke dieser Arme auf dem Feld von Person B an einem anderen Ort nicht nur in allen drei Dimensionen sichtbar, sondern sogar berührbar. Aus dem Monitorbild, das den Oberkörper von Person A zeigt, wachsen dann die Umrisse seiner Arme heraus. Ishii ist gespannt auf Künstler, die damit operieren wollen. Ein Folgeprojekt von "Inform" wurde im letzten Jahr bereits auf der Milano Design Week präsentiert (https://www.youtube.com/watch?v=RlLfrW9PmVo).
Das Modellieren realer Objekte durch Gesten im Luftraum ist aber nicht auf die MIT-Gruppe beschränkt. Der Grazer Musiker, Kybernetiker und Psychologe Werner Jauk stellte in Linz Verfahren vor, in denen man durch Gesten in der Luft das Rauschen von Laub im Wind erzeugen und sogar die Umrisse eines Baums "ertasten" und in Klang umsetzen konnte. In einem weiteren Projekt Jauks konnte man mit dem ganzen tanzenden Körper Klangkompositionen erzeugen. Hohe Töne waren dabei oben angesiedelt, tiefe Töne unten.
Die Entwicklung ist hier erst am Anfang. Interessant daran ist, dass sie nicht nur durch die Weltkonzerne wie Google (mit dem eher gescheiterten Google Glass-Projekt) oder Microsoft (mit der mit Spannung erwarteten Markteinführung der HoloLens) vorangetrieben wird, sondern auch durch unabhängige Gruppen von Künstlern und Wissenschaftlern. Nicht nur Benutzer der neuen Instrumente zu sein, sondern auch als Instrumentenbauer zu agieren, verhindert Abhängigkeiten.
In der aktuellen Objekttheaterszene traten bereits Projekte wie Yui Kawaguchis und Yoshimasa Ishabashis "MatchAtria" oder das vom 3. Studienjahr des Studiengangs Puppenspiel der Hochschule Ernst Busch entwickelte "Moby Dick" aus dem simplen Zusammenspiel von Liveperformance und Projektionsleinwand heraus. In "MatchAtria" bekamen Zuschauer ein künstliches Herz in die Hand gedrückt, das je nach Bühnenhandlung schlug, pulsierte oder raste. In "Moby Dick" wurden reale Objekte und Figuren animiert. Das Game-Format in die physische Welt holen hingegen die Performer von machina eX. Mit Trackingsystemen, wie sie das MIT oder die Grazer Forscher um Jauk verwenden, lassen sich aber noch ganz andere Effekte im mit Augen, Ohren und Händen erfahrbaren Raum erzielen.
Die Technologien entwickeln sich, und auch der Umgang mit ihnen differenziert sich aus. Wurden Motion Tracking-Systeme vor fünf Jahren selbst am MIT noch vornehmlich zum "Kopieren" von Bewegungen von Tänzern in den auf Leinwände projizierten virtuellen Raum benutzt - wie es 1995 Julie Martin erstmal zeigte -, so sind jetzt die Verknüpfungen von VR, AR und physischem Schwerkraftraum wesentlich vielfältiger. Ein ganz neuer Werkzeugkasten bietet sich Puppenbauern, Puppenspielern und Szenografen an.
Foto: Kunihiro Fukumori (Publikum der Performance "Match Atria")