WaveGlove: Ein Handschuh mit fünf Inertialsensoren zur Handgestenerkennung

Der WaveGlove-Prototyp. An jedem der fünf Finger ist ein Inertialsensor angebracht, der Beschleunigung und Winkelgeschwindigkeit misst, die zur Gestenklassifizierung verwendet werden. Alle verwendeten Komponenten sind kostengünstig und weit verbreitet, was das Potenzial einer zukünftigen Massenproduktion eines ähnlichen Geräts weiter demonstriert. Bildnachweis: Kralik & Suppa.

In den letzten Jahrzehnten haben Informatiker eine Vielzahl von Modellen und Ansätzen entwickelt, um verschiedene Aspekte des menschlichen Verhaltens und der Kommunikation wie Sprache, Emotionen und Gesten zu analysieren. Die meisten existierenden Techniken zur Erkennung von Handgesten basieren auf der Verwendung von tragbaren Technologien mit einem einzigen Sensor und können nur eine begrenzte Anzahl grundlegender Gesten erkennen.

Forscher der Comenius-Universität Bratislava in der Slowakei haben kürzlich WaveGlove entwickelt, ein neues System zur Handgestenerkennung, das mehrere Trägheitssensoren anstelle eines einzelnen Sensors verwendet. Dieses neue System, das in einem auf arXiv vorab veröffentlichten Papier vorgestellt wurde, ist im Wesentlichen ein Handschuh mit einem Trägheitssensor an jedem seiner Finger.

„Unser jüngstes Papier zeigt die Verwendung mehrerer Trägheitssensoren für die Handgestenerkennung (HGR)“, sagte Matej Kralik, einer der Forscher, die die Studie durchgeführt haben, gegenüber TechXplore. „Indem wir einen benutzerdefinierten Hardware-Prototyp bauen und ein neuartiges Transformer-basiertes Modell (eine Netzwerkarchitektur, die bei der Verarbeitung natürlicher Sprache sehr erfolgreich war) vorschlagen, zeigen wir, dass die Verwendung mehrerer Sensoren einen erheblichen Einfluss auf die Klassifizierungsgenauigkeit haben kann und ermöglicht ein reicheres Vokabular an Gesten.”

Mit WaveGlove, dem von ihnen entwickelten Handgestenerkennungssystem, konnten die Forscher zwei Datensätze mit über 11000 Handgesten-Beispielen erfassen. Kralik und seine Kollegen entwickelten daraufhin zwei verschiedene Gestenvokabulare, eines mit 8 Ganzhandbewegungen (WaveGlove-single) und ein weiteres mit 10 komplexeren, sorgfältig gestalteten Handgesten, bei denen sich einzelne Finger unterschiedlich bewegen (WaveGlove-multi).

WaveGlove: Ein Handschuh mit fünf Inertialsensoren zur Handgestenerkennung
Gesten aus dem WaveGlove-Einzeldatensatz ähneln denen, die üblicherweise mit nur einem Sensor klassifiziert werden. Der Sensor bewegt sich in Pfeilrichtung. Bildnachweis: Kralik & Suppa.

„Das Vorhandensein mehrerer Sensoren ermöglicht es uns, im Vergleich zu einzelnen Handheld-Sensoren ein reichhaltigeres Gestenvokabular zu entwerfen und zu klassifizieren“, sagte Kralik. „Gesten, die wir mit mehreren Sensoren klassifizieren, ähneln denen, die wir bereits in unserem täglichen Leben verwenden. Dies macht die Verwendung eines Geräts wie WaveGlove einfacher und natürlicher.“

Neben der Zusammenstellung von Datensätzen von Handgesten und der Bestätigung der Wirksamkeit des WaveGlove-Systems haben die Forscher über 10 Klassifikationsmethoden zur Handgestenerkennung verglichen, von denen einige im Rahmen ihrer früheren Forschungen entwickelt wurden. Sie werteten diese Methoden an zahlreichen unterschiedlichen Datensätzen aus, da sie sich davon erhofften, die Ergebnisse im Bereich der Handgestenerkennung zu standardisieren.

WaveGlove: Ein Handschuh mit fünf Inertialsensoren zur Handgestenerkennung
Einige der Gesten aus dem WaveGlove-multi-Datensatz. Das Vorhandensein mehrerer Sensoren ermöglicht unterschiedliche Fingerbewegungen sowie die Verwendung von Gesten, die wir bereits aus unserem täglichen Leben kennen. Bildnachweis: Kralik & Suppa.

Die von diesem Forscherteam gesammelten Ergebnisse könnten zahlreiche wertvolle Implikationen haben. Erstens könnten ihre Arbeiten in die Forschung mit dem Schwerpunkt Handgestenerkennung einfließen und dazu beitragen, bestehende Systeme zu verbessern. Zweitens könnte der von ihnen entwickelte WaveGlove-Prototyp letztendlich dazu verwendet werden, die Kommunikation zwischen Mensch und Maschine zu verbessern, sodass letztere menschliche Handgesten besser interpretieren können.

„Nach unserem besten Wissen stellen wir den ersten öffentlich zugänglichen Multisensor-Datensatz von signifikanter Größe im Bereich der Handgestenerkennung unter Verwendung von Trägheitssensoren bereit“, sagte Kralik. „Wir zeigen auch, dass die optimale Anzahl und Platzierung der Sensoren von den zu klassifizierenden Gesten abhängt. Unser Ziel ist es nun, die weitere Feinabstimmung des von uns untersuchten Transformer-basierten Modells zu untersuchen, die Größe und Variabilität des Datensatzes zu erhöhen und die Multisensor-Gestenvokabular.”


Leave a Comment