Gestensteuerung: Fass mich nicht an!

Eigentlich haben wir alles, was wir brauchen. Wir können Computer mit Tastatur, Maus, Touch-Display oder Sprachsteuerung bedienen. Die ersten beiden Produkte benutzen wir seit Jahrzehnten wie selbstverständlich. In den letzten Jahren sind berührungsempfindliche Bildschirme hinzugekommen, mittlerweile das standardisierte Bedienelement von Smartphones und Tablets, möglicherweise künftig auch von Notebooks und Monitoren. Als wären diese Möglichkeiten nicht genug, kann man mit dem iPhone 4S und Samsung Galaxy S3 sogar sprechen, um ihm Befehle zu erteilen. Auch daran werden wir uns wohl gewöhnen müssen.

Der Zweck des berührungsempfindlichen Bildschirms scheint klar: Hersteller geben Nutzern das Gefühl, das Gerät unmittelbar bedienen zu können. Man fasst das Objekt an, um es öffnen, verschieben, vergrößern oder löschen zu können. Letztlich entspricht dieser Habitus alltäglichen Gesten. Das Wischen ist das Blättern einer Seite. Das Verschieben eines Symbols simuliert das Aufräumen des Schreibtischs. Selbst ungewohnte haptische Erfahrungen wie das Vergrößern eines Objekts durch Spreizen zweier Finger wird vom Nutzer schnell akzeptiert. Der direkte Kontakt ist gewollt: Der Mensch soll die Maschine anfassen.

Doch seit Anfang der neunziger Jahre gibt es einen Trend in der Forschung zu „Natural User Interfaces“ (NUI), genau dieses Erlebnis umzukehren, indem man sich auf räumliche Gesten konzentriert. Auf dem Campus von Microsoft in Redmond hat man zum Beispiel eigens ein „Envisioning Lab“ mit Prototypen eingerichtet. Bei diesen visionären Produkten kommt meist die Xbox-Erweiterung Kinect als Sensor für die Gestenerkennung zum Einsatz. Das schmale Gerät mit Standfuß kann Bewegungen der Hände, aber auch der Arme oder Beine erkennen. Ursprünglich für den Einsatz an der Spielekonsole gedacht, wird es nun immer mehr zum Universalinstrument für Bewegungserkennung.

Die Kinect hat ein gutes Auge für den Raum - und will nicht nur spielen

Die Technik von Kinect basiert auf dem Verfahren des „strukturierten Lichts“. Der Sensor strahlt Infrarotlicht durch einen Filter, so dass ein unsichtbares Netz aus Punkten mit festen Koordinaten in den Raum geworfen wird. Bewegt sich nun jemand durch dieses Netz, verändern sich die Koordinaten bestimmter Punkte, weil sie der Körper reflektiert. Der Effekt ist vergleichbar mit dem Bild eines Beamers, das auf einen Körper fällt und sich dabei verformt. Diese Veränderungen des Musters erkennt die Kamera, weil sich die Punkte im Raum verschoben haben. Ein Algorithmus rechnet die Veränderungen um, und der Computer interpretiert entsprechend.

In Microsofts Envisioning Lab wird eine Anwendung dieser Gestensteuerung bei der Simulation des Sonnensystems, durch das man „fliegen“ kann, sehr anschaulich. Wenn man sich vor die Darstellung begibt, kann man durch entsprechende Bewegungen der Hände und Arme Planeten heranholen, vergrößern, drehen oder sie zur Seite schieben. Für diese einfache, aber recht beeindruckende Navigation des Bildes genügen ein Projektor, der den Inhalt an die Wand wirft, ein Computer und der Kinect-Sensor. Der Reiz der Bedienbarkeit dieser Anwendung liegt darin, dass sich der Nutzer wie ein Dirigent fühlt, der über eine Galaxie verfügen kann. Im Projekt „Brainspace“ hat Microsoft mehrere Bedienkonzepte berücksichtigt. An einem Whiteboard, einer Art elektronischer Tafel, lässt sich schreiben, es können Präsentationen, Videos, Notizen per Smartphone gestartet und per Geste bedient werden. Maus und Tastatur fehlen.

Offenbar gibt es also in der Forschung das Bedürfnis, Gestensteuerungen zu entwickeln, bei denen man den Computerbildschirm oder das projizierte Bild nicht anfasst, sondern auf Distanz zur Darstellung bleibt. In Deutschland hat das Fraunhofer-Institut für Nachrichtentechnik (HHI) bereits 2008 seinen iPoint-Presenter vorgestellt. Dieser kniehohe Kasten, der aussieht wie das sehr große Gehäuse eines Desktop-PCs, wird auf den Boden vor den Nutzer gestellt. Er steuert den Inhalt des Bildschirms per räumlicher Geste. Der iPoint-Presenter ist ein All-in-one-Gerät: In ihm sind sowohl Sensor als auch Computer und Projektor enthalten.

Sieht nicht so schick aus wie Kinect und Leap, funktioniert aber einwandfrei seit 2008

Diese Technik unterscheidet sich von Kinect: Der Sensor besteht aus LEDs, die Infrarotlicht ausstrahlen, mit dem die Hände - für den Nutzer unsichtbar - angeleuchtet werden. Zwei Kameras nehmen diese „bestrahlten“ Objekte auf. Aufgrund des stereoskopischen Effekts können aus zwei Positionen dreidimensionale Bilder erstellt werden, mit denen die räumliche Position der Hände erfasst wird. Analysealgorithmen sorgen dann dafür, dass der Computer Steuerkommandos geben kann. Der iPoint-Presenter ist auf den Pixel genau und recht schnell. Diese Genauigkeit und Schnelligkeit fehlt Kinect.

Das Fraunhofer-Institut hatte für seine Anwendungen damals den Sensor selbst entwickelt, weil es nichts Vergleichbares auf dem Markt gab. Mittlerweile haben die Forscher auch Kinect in Gebrauch, um ihre Anwendungen verbessern zu können. Das Fraunhofer sieht den Einsatz der räumlichen Gestensteuerung etwa in der Medizin, wo man aus hygienischen Gründen häufig keinen Bildschirm berühren darf. Weitere Beispiele sind Automaten und Infoterminals im öffentlichen Raum, die vor Vandalismus geschützt werden können. Denkbar sind auch Anwendungen im Automobilbereich, wo der CD-Spieler per Geste gesteuert wird. Da die Fraunhofer-Forscher nicht an der Entwicklung von serienreifen Produkten interessiert sind, dürfte der iPoint-Presenter weiterhin ein großer grauer Kasten bleiben, der mit Kinect nicht konkurrieren kann.

Die Wunderkiste aus Kalifornien - ob sie funktioniert, weiß man als Nutzer erst Ende des Jahres

Diesen Part will vielmehr ein Unternehmen aus Kalifornien übernehmen, das in den letzten Wochen in Blogs und Foren für Aufsehen gesorgt hat. Leap Motion präsentiert auf seiner Website ein schickes schwarzes Kistchen, das aussieht wie ein schmales, langgezogenes iPhone. Leap soll lediglich 70 Dollar kosten. Das Gerät wird per USB mit dem Computer verbunden und benötigt eine Software. Man legt es dann in die Nähe der Tastatur, um seine Finger frei in der Luft über dem Kistchen zu bewegen. Der Sensor erkennt die räumlichen Gesten und setzt sie am Bildschirm um. Bisher gibt es Werbevideos von Leap Motion und von Engadget. Das Blog durfte sich einen Prototypen anschauen. Was man sieht, ist beeindruckend: Ähnlich wie beim Fraunhofer-Gerät scheint Leap auf den Pixel genau und sehr schnell zu sein. Obwohl das Unternehmen schreibt, dass es sich von allen bisherigen Gestensteuerungen unterscheidet, und zudem wenig über seine Technik verrät, dürfte es der Technik des iPoint-Presenters ähnlich sein. Infrarotlicht beleuchtet die Hände, Kameras nehmen Bilder auf, ein Algorithmus analysiert die Daten.

Leap, Kinect und iPoint-Presenter sind Beispiele für eine kamerabasierte Gestensteuerung. Die ökonomischen Grundlagen sind da, um diese Art der Bedienung zu etablieren, weil Kinect bereits erfolgreich in Serie produziert wird und die Zauberkiste von Leap Motion aufgrund des Preises, der Größe und der einfachen Anwendung ebenfalls ein attraktives Instrument werden könnte. Es stellt sich allerdings die Frage, ob die breite Masse eine solche Gestensteuerung überhaupt haben will. Denn Mensch und Maschine entfernen sich wieder voneinander. Dabei wurden sie gerade von der Technik der berührungsempfindlichen Bildschirme ganz nahe zusammengeführt. Diese Entwicklung ist in gewisser Weise plausibel, weil die Gesten offenbar natürlich sind und intuitiv - selbst von Kindern - verstanden wurden. Doch wo finden sich die räumlichen Gesten im Alltag wieder? Kann man hier noch von „Natural User Interface“ sprechen?

Wer tippt denn heutzutage noch auf einer Tastatur?

Keine Frage: Die Faszination, die von den drei genannten Lösungen ausgeht, ist zweifellos sehr groß. Wer sie ausprobieren durfte, fühlt sich wie Tom Cruise in der bekannten Szene aus „Minority Report“. Doch der Computer ist auch ein alltäglicher Gebrauchsgegenstand. Wer schon einmal mehrere Stunden seine Arme in der Waagerechten gehalten hat, wird wissen, wie anstrengend diese Haltung ist.

Derjenige, der den letzten Paradigmenwechsel in der Computersteuerung durchgesetzt hat, indem er dem Handy endgültig die Tastatur nahm und das Touch-Display schenkte, wusste um diese Problematik. Steve Jobs zerstörte in einer seiner letzten Keynotes die Hoffnungen der Apple-Fans auf einen iMac mit berührungsempfindlichem Bildschirm mit dem schlichten Ergebnis monatelanger Versuche: Niemand wolle stundenlang seine Arme waagerecht zum Bildschirm strecken. Das sei einfach zu anstrengend.

Weitere Artikel

Bei Microsoft Research ist die nächste Innovation nicht in Sicht

Wenn man als Besucher die Microsoft-Mitarbeiter in Redmond nerven will, stellt man ihnen die Frage, warum ihre Projekte immer mit Verspätung kommen und „Me-too“-Lösungen sind. Als Gegenbeispiele bekommt man unter anderem diese Prototypen zu sehen:

Als Alternative zur kamerabasierten Gestensteuerung forscht Microsoft an dem Projekt „Soundwave“: Der Lautsprecher eines Computers gibt Ultraschallwellen aus. Bewegt man nun die Hand, erkennt der Mikrofoneingang die veränderte Frequenz. Grundlage für diese Technik ist der Dopplereffekt: Der Abstand der Hand zur Ultraschallquelle verändert die Frequenz.

Der tragbare Multitouch-Projektor macht aus jeder Oberfläche einen berührungsempfindlichen Bildschirm. Das Vorführmodell sieht noch sehr prototypisch aus: eine Umhängetasche, in der sich ein Laptop befindet, mit einer auf der Schulter sitzenden Kombination aus Projektor und Kamera. Der Bildschirminhalt wird auf eine beliebige Oberfläche - wie etwa Unterarm oder Handinnenfläche - projiziert, auf der man tippt. Irgendwann soll Multitouch so klein sein, dass es auf ein Smartphone passt.

In der Tüftlerwerkstatt der Forschungsabteilung (Hardwarelab) ist ein modularer Riesenbildschirm mit 31 Megapixel Auflösung zu sehen, der aus vielen kleinen Monitoren zusammengesetzt ist. Der Clou der „vX Display Wall“: Sie wird nicht von der Grafikkarte des Computers gesteuert. Die Monitore haben eigene Grafikprozessoren, so dass sie sich untereinander verständigen können und der Bildschirm beliebig erweiterbar ist.

Bei den meisten Innovationen, die Microsoft seinen Besuchern zeigt, stellt sich immer wieder die Frage nach dem sinnvollen Einsatz im Alltag und ihrer Tauglichkeit.

Bei Illumi Share ist das anders. Diese Idee überzeugt auf Anhieb. Die Illumi-Share-Komponenten sehen aus wie Schreibtischlampen. Sie filmen und projizieren gleichzeitig alles, was unter ihrem Fokus geschieht. Sitzt also jemand in Frankfurt mit seinem Illumi-Share am Schreibtisch und der andere in Tokio, können beide gemeinsam an einem Projekt arbeiten: Zeichnungen können in Echtzeit von beiden Seiten ergänzt werden. Beide Nutzer teilen sich gewissermaßen die gleiche Oberfläche. Microsoft hat sogar die Möglichkeit für Videotelefonie wie Skype integriert.

Wen diese Innovationen für den beruflichen Einsatz nicht überzeugen konnten, der wird durch das Microsoft Home geführt. Dort gibt es eine Küche, die ein Rezept vorschlägt, wenn man Mehl auf die Küchenplatte stellt. Oder eine Pinnwand, die RFID-Tags lesen kann, und quasi automatisch eine Pizza bestellt. Oder ein Kinderzimmer, das auf Knopfdruck die virtuelle Tapete wechselt.

Quelle: F.A.S.
Hier können Sie die Rechte an diesem Artikel erwerben