Ein gesichtsfolgender Roboterarm mit Emotionserkennung

Der von Albayeros Duarte entwickelte Gesichtsfolgeroboter. Bildnachweis: Albayeros Duarte & Vilari帽o.

Forscher der Universitat Aut貌noma de Barcelona (UAB) haben kürzlich einen gesichtsfolgenden Roboterarm mit Emotionserkennung entwickelt, der von der Luxo Jr.-Lampe von Pixar Animation Studios inspiriert wurde. Dieser Roboter wurde von Vernon Stanley Albayeros Duarte, einem Diplom-Informatiker an der UAB, in seiner Abschlussarbeit vorgestellt.

„Die Idee hinter unserem Roboter basiert weitgehend auf den Luxo Jr. Lampenshorts von Pixar“, sagte Albayeros Duarte gegenüber TechXplore. „Ich wollte einen Roboter bauen, der das Verhalten der Lampe in den Shorts nachahmt. Ich interessiere mich sehr für die Maker-Szene und beschäftige mich seit einigen Jahren mit 3D-Druck, also habe ich mir vorgenommen, eine Art ‚Haustier‘ zu bauen, um einiges zu demonstrieren Interessante Mensch-Maschine-Interaktionen. Daher kommt das ganze Thema “Gesichtsverfolgung/Emotionserkennung”, da es sehr schwierig war, die Lampe wie in den Pixar-Shorts herumzuspringen, aber dennoch das “Haustierspielzeug”-Feeling beibehielt über das Projekt.”

Da diese Studie Teil des Studiums von Albayeros Duarte war, musste er bestimmte Anforderungen der UAB erfüllen. Das Hauptziel der Diplomarbeit bestand beispielsweise darin, dass die Studierenden etwas über die Cloud-Dienste von Google erfahren und wie diese verwendet werden können, um Rechenressourcen in Projekten zu entlasten, die für sie nicht rechenstark sind.

Raspberry Pi ist ein winziger und erschwinglicher Computer mit erheblichen Rechenbeschränkungen. Diese Einschränkungen machen es zum perfekten Kandidaten, um die Nutzung der Cloud-Plattform von Google für rechenintensive Aufgaben wie die Emotionserkennung zu erkunden.

Albayeros Duarte entschied sich daher, einen Raspberry Pi zu verwenden, um einen kleinen Roboter mit Fähigkeiten zur Emotionserkennung zu entwickeln. Der Hauptkörper seines Roboters ist LittleArm 2C, ein Roboterarm, der vom Gründer von Slant Concepts, Gabe Bentz, entwickelt wurde.

„Ich habe Slant Concepts um Erlaubnis gebeten, ihren Roboterarm so zu modifizieren, dass er am Ende eine Kamera hält, und habe dann das Elektronikgehäuse und die Basis selbst erstellt“, sagte Albayeros Duarte.

Der von Albayeros Duarte entworfene Roboter “schwenkt” eine Kamera von links nach rechts, nimmt ein Foto auf und verwendet OpenCV, eine Bibliothek von Programmierfunktionen, die häufig für Computer-Vision-Anwendungen verwendet wird, um ein Gesicht in seinem Bild zu erkennen. Wenn der Roboter das Ende einer der beiden Seiten erreicht, hebt oder senkt er die Kamera um einige Grad und setzt seine Kehrbewegung fort.

Ein gesichtsfolgender Roboterarm mit Emotionserkennung
Der von Albayeros Duarte entwickelte Gesichtsfolgeroboter. Bildnachweis: Albayeros Duarte & Vilari帽o.

„Wenn er ein Gesicht findet, stoppt der Roboter die geschwungene Bewegung und prüft, ob das Gesicht länger als eine Handvoll Frames im Sichtfeld bleibt“, erklärt Albayeros Duarte. „Dadurch wird sichergestellt, dass er bei der Gesichtserkennung nicht mit Fehlalarmen ‚spielt‘. Wenn der Roboter bestätigt, dass er tatsächlich ein Gesicht gefunden hat, wechselt er in den ‚Gesichtsfolge‘-Teil des Algorithmus, wo er versucht, das Gesicht zu behalten Gesicht zentriert in seinem Sichtfeld. Dazu schwenkt und kippt es entsprechend den Bewegungen der beobachteten Person.”

Während der Roboter die Bewegungen der Person in seinem Sichtfeld verfolgt, macht er ein Bild ihres Gesichts und sendet es an die Cloud Vision API von Google. Anschließend analysiert die Google-Plattform das Bild und erkennt den aktuellen emotionalen Zustand der Person darin und klassifiziert ihn in einen von 5 emotionalen Zuständen: Freude, Wut, Trauer, Überraschung oder neutral.

“Wenn der Roboter die Ergebnisse dieser Analyse erhält, ahmt er den emotionalen Zustand nach, in dem sich der Benutzer befindet”, sagte Albayeros Duarte. „Vor Freude hüpft er ein bisschen herum, vor Wut schüttelt er missbilligend den Kopf, vor Kummer sinkt er zu Boden und schaut zu dir auf und zur Überraschung bewegt er sich zurück volle RGB-Farbskala, die es verwendet, um diese Aktionen zu ergänzen.”

Abhängig von der erkannten Emotion ändert sich das „Kehrverhalten“ des Roboters. Wenn es Freude erkennt, fegt es etwas schneller, für Wut bewegt es sich so schnell wie möglich (ohne die Qualität seiner Gesichtserkennung zu beeinträchtigen), für Kummer fegt es in eine nach unten oder “hängende” Position und für Überraschung zittert es beim Fegen zufällig. In jedem dieser „Modi“ blinkt der Roboter auf seinem RGB-LED-Ring in verschiedenen Farben: Gelb und warme Farben für Freude, leuchtendes Rot für Wut, blaue und kalte Farben für Trauer und eine Mischung aus Gelb und Grün für Überraschung.

„Ich glaube, dass es ein riesiges ungenutztes Potenzial für ‚haustierähnliche‘ Roboter gibt“, sagte Albayeros Duarte. „Von persönlichen Assistenten wie Amazons Alexa und dem Google Assistant interaktiver und natürlicher zu gestalten, bis hin zur potenziellen Unterstützung behinderter Menschen durch ihre Hilfe, kann ein Roboter, der auf Ihren aktuellen emotionalen Zustand reagiert, einen großen Einfluss auf die So könnte ein Assistent für ältere Menschen, der emotionale Belastungen erkennen kann, frühzeitig warnen, wenn sie sanitäre Hilfe benötigen, während ein Roboter, der bei bewegungseingeschränkten Kindern zur Förderung der motorischen Fähigkeiten eingesetzt wird, erkennen könnte, ob das Kind verliert Interesse haben oder sich mehr an einer Aktivität beteiligen und den Schwierigkeitsgrad entsprechend anpassen.”

Das Projekt von Albayeros Duarte ist nicht nur ein hervorragendes Beispiel dafür, wie die Cloud-Plattform von Google verwendet werden kann, um Rechenressourcen zu entlasten, sondern bietet auch eine Reihe von Modellen für den 3D-Druck, die verwendet werden könnten, um seinen Roboter zu reproduzieren oder Anpassungen davon zu erstellen, zusammen mit der Rechnung von notwendigen Materialien. Derzeit arbeitet der Forscher auch mit Fernando Vilari帽o, Associate Director am Computer Vision Center (CVC) und Präsident des European Network of Living Labs (ENoLL), an einem Projekt zusammen, das junge Generationen dazu inspirieren soll, Karriere im MINT-Bereich sowie beim Aufbau der Physical-Computing-Community an der UAB, die sich an alle richtet, die daran interessiert sind, ihre eigenen Projekte zu erstellen.

“Wir waren beim Youth Mobile Festival in Barcelona, ​​einem jugendorientierten Mobile World Congress (MWC), der von denselben Leuten wie der MWC organisiert wurde”, sagte Albayeros Duarte. „Unsere Zehen in interaktive Roboter wie diesen zu tauchen ist eine gute Möglichkeit, etwas zu bauen, das bei diesen Veranstaltungen sofort die Aufmerksamkeit der Schulklassen auf sich zieht und uns mehr über Robotik auf Verbraucherebene im Gegensatz zur Robotik auf industrieller Ebene lehrt. ”


Leave a Comment