Intelligente Brille ersetzt Bau- und Bedienungsanleitungen

Statt mühsam die richtigen Teile zu suchen und mit einer Hand umzublättern, blendet die intelligente Brille des Adamaas-Systems direkt ins Sichtfeld ein, welcher Arbeitsschritt als nächstes dran ist. Das gilt für das Bedienen einer Kaffee-Maschine genauso wie für den Bau eines Vogelhäuschens.

Professor Dr. Thomas Schack, Dr. Kai Essig und Dr. Matthias Schröder haben am Exzellenzcluster Kognitive Interaktionstechnologie (Citec) der Universität Bielefeld die intelligente Brille weiter entwickelt. Durch „Computer-Vision“ kann das System eigenständig Objekte und Handlungsschritte erkennen und darauf aufbauend entsprechende Handlungsunterstützung direkt auf das Display der Brille übertragen.

„Menschen mit kognitiven Beeinträchtigungen sind beim Bau eines Vogelhäuschens schnell überfordert. Mit der intelligenten Brille können sie Schritt für Schritt ein Vogelhaus bauen und werden dabei ihren Bedürfnissen entsprechend angeleitet“, sagt Dr. Kai Essig, der das Adamaas-System mit entwickelt. „Durch vorherige Messungen der mentalen Repräsentations-Strukturen der Nutzerinnen und Nutzer kann sich die Brille individuell auf die Bedürfnisse der Probanden einstellen.“

Personenbezogene Unterstützung

Die Messungen können die Probanden bequem vorab an einem Tablet ausführen, indem sie verschiedene Bilder bestimmten Arbeitsschritten zuordnen. Wenn eine Person zum Beispiel Schwierigkeiten dabei hat, das Dach auf dem Vogelhäuschen zu montieren, weiß das System das und kann entsprechend umfangreichere Unterstützung bei diesem Schritt geben. Außerdem überprüft das Adamaas-System die Herzfrequenz und blendet beruhigende Hinweise im Display ein, noch bevor die Person überfordert ist.

Bisher haben die Adamaas-Forscher das System genutzt, um zum Beispiel bei der Bedienung eines modernen Kaffeeautomaten zu unterstützen. Der Vorteil dabei war, dass die verwendete Kaffeemaschine (Projektpartner Miele) direkt den aktuellen Zustand erkennen und an die Brille weitergeben konnte. „Die Schwierigkeit beim Bau eines Vogelhäuschens ist, dass die einzelnen Bauteile und Handlungsschritte direkt von der Brille erkannt werden müssen. Was dabei für den Menschen selbstverständlich ist, stellt ein technisches System vor hohe Herausforderungen“, sagt Dr. Matthias Schröder, der die „Computer-Vision“ des Adamaas-Systems programmiert hat. „Mittels einer Kamera kann die Brille nicht nur erkennen, wo welches Objekt liegt, sondern auch welches Bauteil gerade von der Nutzerin oder dem Nutzer in die Hand genommen oder mit den Augen betrachtet wird.“

Handlungsunterstützungen per Einblendungen

Das System kann dann situationsabhängig Anweisungen geben und direkt personengebundene Handlungsunterstützungen per Einblendungen anzeigen. „Mit der Computer-Vision kann das Adamaas-System nahezu jeden Bauprozess unterstützen“, sagt Professor Dr. Thomas Schack, Leiter des Adamaas-Projektes. „So müssen Probanden nicht mehr mit einer Bedienungsanleitung hantieren und umständlich mit einer Hand die Arbeitsschritte ausführen. Sie können direkt mit beiden Händen arbeiten und bekommen die Schritte eins zu eins eingeblendet. Das ist auch für die Industrie spannend.“ (mz)