Kinect-Hack erkennt Gebärdensprache

Französische "Hallo"-Gebärde: Für Kinect kein Problem. Bild: H. Wassner

Microsoft selbst unterstützt mit Kinect zwar bislang keine Gebärdensprach-Erkennung, technisch möglich ist es aber. Das haben französische Forscher gezeigt, deren System in ersten Tests zwei grundlegende Begriffe - "Hallo" und "tut mir leid" - erkennt. "Wir gehen davon aus, dass wir einem neuronalen Netz beibringen können, sehr viele Gebärden für praktische Anwendungen zu erkennen", sagt Hubert Wassner, Informatikprofessor an der französischen Hochschule ESIEA, auf Nachfrage von pressetext. Dabei ist derzeit noch die Fingerhaltung ein Hindernis.

Im August 2010 hatte ein Patentantrag gezeigt, dass sich Microsoft mit Gebärden-Erkennung via Kinect befasst, eine offizielle Zeichensprach-Erkennung für den Xbox-Sensoren gibt es aber bislang nicht. Technisch ist sie sehr wohl möglich, wie Wassners Team mit einem Demovideo auf YouTube untermauert. Bei dem Ansatz erlernt ein neuronales Netz durch Vorzeigen die Sprach-Bewegungen, um sie in weiterer Folge korrekt zu identifizieren - zunächst mit "bonjour" (Hallo) und "désole" (tut mir leid) zwei Begriffe aus der französischen Zeichensprache.

Beide Gebärden sind relativ einfach, da die Fingerhaltung keine wesentliche Rolle spielt. Bei vielen Worten wie beispielsweise Zahlen jedoch ist diese entscheidend, was derzeit noch ein Hindernis darstellt. Denn das ESIEA-Team nutzt quelloffene OpenNI-Treiber http://www.openni.org , die bislang keine Fingererkennung unterstützen. "Ich denke, dass Finger-Tracking früher oder später öffentlich verfügbar wird", meint Wassner. Wenn es dazu kommt, können die Daten in die Software seines Teams einfließen. 

 

Lernfähig

Grundsätzlich ist das neuronale Netz darauf ausgelegt, einfach weitere Gebärden zu lernen. Wie viele Begriffe das System auf die Dauer erkennen kann, hängt Wassner zufolge davon ab, wie die jeweiligen Bewegungen aussehen. "Desto unterschiedlicher die Zeichen, desto einfacher ist die Erkennung", erläutert er. Dabei ortet der Informatiker Anwendungspotenzial nicht nur im Bereich Gebärdensprache. Er verweist beispielsweise darauf, dass TV-Gerätehersteller sich für zukünftige Modelle wohl mit dem Thema Steuergesten befassen werden.

Quelle: pressetext.com pressetext.redaktion