Eigentlich haben wir alles, was wir brauchen. Wir können Computer mit Tastatur, Maus, Touch-Display oder Sprachsteuerung bedienen. Die ersten beiden Produkte benutzen wir seit Jahrzehnten wie selbstverständlich. In den letzten Jahren sind berührungsempfindliche Bildschirme hinzugekommen, mittlerweile das standardisierte Bedienelement von Smartphones und Tablets, möglicherweise künftig auch von Notebooks und Monitoren. Als wären diese Möglichkeiten nicht genug, kann man mit dem iPhone 4S und Samsung Galaxy S3 sogar sprechen, um ihm Befehle zu erteilen. Auch daran werden wir uns wohl gewöhnen müssen.

Der Zweck des berührungsempfindlichen Bildschirms scheint klar: Hersteller geben Nutzern das Gefühl, das Gerät unmittelbar bedienen zu können. Man fasst das Objekt an, um es öffnen, verschieben, vergrößern oder löschen zu können. Letztlich entspricht dieser Habitus alltäglichen Gesten. Das Wischen ist das Blättern einer Seite. Das Verschieben eines Symbols simuliert das Aufräumen des Schreibtischs. Selbst ungewohnte haptische Erfahrungen wie das Vergrößern eines Objekts durch Spreizen zweier Finger wird vom Nutzer schnell akzeptiert. Der direkte Kontakt ist gewollt: Der Mensch soll die Maschine anfassen.

Doch seit Anfang der neunziger Jahre gibt es einen Trend in der Forschung zu „Natural User Interfaces“ (NUI), genau dieses Erlebnis umzukehren, indem man sich auf räumliche Gesten konzentriert. Auf dem Campus von Microsoft in Redmond hat man zum Beispiel eigens ein „Envisioning Lab“ mit Prototypen eingerichtet. Bei diesen visionären Produkten kommt meist die Xbox-Erweiterung Kinect als Sensor für die Gestenerkennung zum Einsatz. Das schmale Gerät mit Standfuß kann Bewegungen der Hände, aber auch der Arme oder Beine erkennen. Ursprünglich für den Einsatz an der Spielekonsole gedacht, wird es nun immer mehr zum Universalinstrument für Bewegungserkennung.

Die Technik von Kinect basiert auf dem Verfahren des „strukturierten Lichts“. Der Sensor strahlt Infrarotlicht durch einen Filter, so dass ein unsichtbares Netz aus Punkten mit festen Koordinaten in den Raum geworfen wird. Bewegt sich nun jemand durch dieses Netz, verändern sich die Koordinaten bestimmter Punkte, weil sie der Körper reflektiert. Der Effekt ist vergleichbar mit dem Bild eines Beamers, das auf einen Körper fällt und sich dabei verformt. Diese Veränderungen des Musters erkennt die Kamera, weil sich die Punkte im Raum verschoben haben. Ein Algorithmus rechnet die Veränderungen um, und der Computer interpretiert entsprechend.

In Microsofts Envisioning Lab wird eine Anwendung dieser Gestensteuerung bei der Simulation des Sonnensystems, durch das man „fliegen“ kann, sehr anschaulich. Wenn man sich vor die Darstellung begibt, kann man durch entsprechende Bewegungen der Hände und Arme Planeten heranholen, vergrößern, drehen oder sie zur Seite schieben. Für diese einfache, aber recht beeindruckende Navigation des Bildes genügen ein Projektor, der den Inhalt an die Wand wirft, ein Computer und der Kinect-Sensor. Der Reiz der Bedienbarkeit dieser Anwendung liegt darin, dass sich der Nutzer wie ein Dirigent fühlt, der über eine Galaxie verfügen kann. Im Projekt „Brainspace“ hat Microsoft mehrere Bedienkonzepte berücksichtigt. An einem Whiteboard, einer Art elektronischer Tafel, lässt sich schreiben, es können Präsentationen, Videos, Notizen per Smartphone gestartet und per Geste bedient werden. Maus und Tastatur fehlen.

Offenbar gibt es also in der Forschung das Bedürfnis, Gestensteuerungen zu entwickeln, bei denen man den Computerbildschirm oder das projizierte Bild nicht anfasst, sondern auf Distanz zur Darstellung bleibt. In Deutschland hat das Fraunhofer-Institut für Nachrichtentechnik (HHI) bereits 2008 seinen iPoint-Presenter vorgestellt. Dieser kniehohe Kasten, der aussieht wie das sehr große Gehäuse eines Desktop-PCs, wird auf den Boden vor den Nutzer gestellt. Er steuert den Inhalt des Bildschirms per räumlicher Geste. Der iPoint-Presenter ist ein All-in-one-Gerät: In ihm sind sowohl Sensor als auch Computer und Projektor enthalten.