Menschen machen gerne viel Worte. Tatsächlich sind diese eher ein Behelf. Wenn Menschen sich begegnen, tauschen sie den größten Teil der Informationen über andere Kanäle aus: Intonation, Gestik, Mimik, Körpersprache. Unsere Kommunikation mit Maschinen, so vermuten viele Forscher, wird erst wirklich angenehm und selbstverständlich werden, wenn wir das Knöpfedrücken überwinden und den Gerätschaften beibringen können, auch nonverbal mit uns zu kommunizieren, zum Beispiel durch Gesten.

Zweidimensionale Gesten wie das Wischen und Zoomen auf den Oberflächen mobiler Endgeräte gehören bereits zum Alltag. Und mit Kinect hat Microsoft schon eine auf Ganzkörpergesten beruhende Steuerung auf den Spielemarkt gebracht. Der Spieler kann sich vor dem Gerät frei im Raum bewegen. Noch ist diese Technologie nicht besonders differenziert, doch die Forscher trauen ihr, vor allem im Kontext von Virtual Reality, eine große Karriere zu. Statt eine Tastatur oder einen Kontroller zu bedienen, werde man einfach nach dem (virtuellen) Gegenstand greifen, ihn hin und her drehen, zusammensetzen oder zerlegen.

„Das ist natürlich für den Spielebereich interessant, aber auch in allen Bereichen, in denen man an eine Position im Raum gebunden ist, also etwa in einem Produktionsprozess“, erklärt Jürgen Ziegler, Professor für interaktive Systeme an der Universität Duisburg-Essen. Das gilt auch für alle Bereiche, in denen Sterilität gefragt ist. „Im OP können Sie nicht einfach auf einer Standardtastatur herumtippen oder über Bildschirme wischen, wenn Sie ein Röntgenbild aufrufen wollen“, so Ziegler.

Durch Wälder und Dschungel

Doch bei der Realisierung der Gestensteuerung zeigt sich wie so oft in der Informatik, dass die Dinge, die der Mensch nebenbei erledigt, den Maschinen die größten Schwierigkeiten machen. Zuerst einmal muss die Maschine die Gesten wahrnehmen. Für große Gesten, wie die Bewegung des ganzen Arms oder Körpers, ist das relativ leicht zu realisieren, und für den Spielebereich reicht dies oft aus. Kinect etwa sendet über Infrarot sogenanntes strukturiertes Licht in den Raum, das vom Benutzer reflektiert und im Gerät mit einem Modell des menschlichen Körpers, seiner Extremitäten und Gelenke abgeglichen wird.

Eine viel größere Herausforderung sind die filigranen Handgesten. Forscher von Microsoft haben gerade „Handpose“ vorgestellt, eine Schnittstelle, die Handbewegungen ohne Datenhandschuhe oder eine besondere Markierung der Fingerspitzen erkennen kann (Toby Sharp, Cem Keskin et al., „Accurate, robust, and flexible real-time hand tracking“, Microsoft Research). Ausgestattet mit einem detaillierten Modell der menschlichen Hand und nach einer umfassenden Trainingsphase, arbeitet sich die Software bei jeder Handbewegung durch sogenannte Wälder und Dschungel von Entscheidungsbäumen, um die wahrscheinlichste nächste Position der Hand vorauszusagen und mit den eingehenden Daten abzugleichen. Der Benutzer muss dabei weder stillstehen noch der Kamera das Gesicht zuwenden.

Doch auch damit ist es nicht getan. „Wenn es um Gesten geht, ist viel von intuitiver Kommunikation die Rede, aber das ist oft reine Marketingstrategie“, sagt Ziegler. Denn intuitiv, gar universell, ist im Bereich der Gestenkommunikation wenig. Schon einfache Zeigegesten können sich massiv unterscheiden. „Und schauen Sie sich einmal an, wie unterschiedlich man ,okay‘ signalisieren kann: mit hochgerecktem Daumen, mit Daumen und Zeigefinger zu einem Kreis geformt, die übrigen Finger abgespreizt, oder vielleicht einfach durch ein Nicken.“ Auf eine einheitliche Regelung konnten sich die Forscher bislang nicht verständigen. So ist ein ,Nein‘ in manchen Systemen als Durchkreuzen realisiert, in andern als Wegschieben, in wieder anderen als Wegwischen.

Da sich keine universelle Gestensprache vorfinden lässt, gehen Forscher inzwischen dazu über, Nutzer dabei zu beobachten, welche Geste sie spontan für ein vorgegebenes Kommando ausführen, und daraus ein geeignetes Vokabular an Gesten aufzustellen. „So versucht man diejenigen Gesten zu finden, die von der Mehrzahl der Nutzer als einigermaßen intuitiv empfunden werden“, so Ziegler.

Zudem ist die Gestensteuerung noch immer langsamer, fehleranfälliger und weniger präzise als das schnöde Knöpfedrücken. Die Microsoft-Forscher erwägen, die Geräte auf den individuellen Nutzer zu trainieren, um die Zuverlässigkeit zu erhöhen. „Man muss sich klarmachen, dass hinter dem Erkennen von Gesten wahrscheinlichkeitsbasierte Verfahren stehen, bei denen immer eine gewisse Fehlerrate möglich ist. Bei sicherheitskritischen Anwendungen wäre ich deshalb sehr vorsichtig, es allein auf Gestensteuerung ankommen zu lassen“, sagt Ziegler. „Das sollte man nicht verschweigen, wenn man davon spricht, dass Gestensteuerung die Benutzung intuitiv macht.“