Virtuelle Realität Gehirn ausgetrickst – neue Dimensionen der Haptik

Anbieter zum Thema

Universität des Saarlandes

Lenord, Bauer & Co. GmbH

Novotechnik Messwertaufnehmer OHG

Wie kann man die virtuelle Realität (VR) haptisch, also durch den Tastsinn, erfahrbar machen? Das ist eine der grundlegenden Fragen, mit der sich die Forschung beschäftigt. Ein Informatiker ist der Antwort auf diese Frage ein großes Stück nähergekommen .

In seiner Doktorarbeit befasste sich der Informatiker André Zenner mit der Frage, wie man physische Requisiten – Fachterminus „Proxys“ – einsetzen kann, um Objekte in virtuellen Umgebungen haptisch erfahrbar zu machen. „In meiner Dissertation habe ich mir deshalb überlegt, wie Geräte aussehen könnten, mit denen die physischen Eigenschaften verschiedener virtueller Objekte möglichst effektiv simuliert werden können“, erklärt André Zenner, der an der Graduiertenschule der Saarbrücker Informatik an der Universität des Saarlandes promoviert hat und nun an der Saar-Universität sowie am Deutschen Forschungszentrum für künstliche Intelligenz forscht.

Zwei neue Controller entwickelt

Herausgekommen sind die Prototypen für zwei spezielle VR-Controller namens „Shifty“ und „Drag:on“. VR-Controller sind Geräte, die von einem Benutzer in der Hand gehalten werden können, um durch eine entsprechende Tracking-Technologie Objekte in der virtuellen Realität zu steuern oder zu manipulieren.

• „Shifty“ ist ein stabförmiger Controller, in dem ein bewegliches Gewicht verbaut ist. Das Gewicht kann durch einen Motor entlang der Längsachse verschoben werden, sodass sich der Schwerpunkt und die Trägheit des Stabes ändert. „In Kombination mit entsprechenden Visualisierungen in der virtuellen Realität kann mit Shifty die Illusion erweckt werden, dass ein virtuelles Objekt länger oder schwerer wird“, erklärt André Zenner. In Experimenten konnte er nachweisen, dass Objekte als leichter oder kleiner wahrgenommen werden, wenn sich das Gewicht in der Nähe der Hand des Nutzers befindet und dass sie, gekoppelt mit dem entsprechenden visuellen Input, als länger und schwerer empfunden werden, je weiter sich das Gewicht im Stab vom Nutzer wegbewegte. „Das hängt vor allem mit Veränderungen der Trägheit des Controllers zusammen, denn das Gesamtgewicht ändert sich ja nicht“, erläutert André Zenner. Die Forschungs- und Entwicklungsabteilung des Gaming-Riesen Sony experimentiert bereits mit diesem Konzept und zitiert André Zenners Arbeit bei der Entwicklung neuartiger VR-Controller.

• Der zweite Controller „Drag:on“ besteht aus zwei Flamenco-Fächern, die mithilfe von Servomotoren aufgefaltet werden können und so den Luftwiderstand des Controllers erhöhen. Sprich, je weiter die Fächer aufgefaltet sind, desto mehr Kraft muss der Nutzer aufbringen, um den Controller durch die Luft zu bewegen. „Gepaart mit den richtigen visuellen Reizen kann mit Drag:on beispielsweise der Eindruck erzeugt werden, dass man gerade eine kleine Schaufel oder ein großes Paddel in der Hand hält oder dass man einen schweren Wagen schiebt und an einem schwergängigen Knopf dreht“, erläutert André Zenner.

Bei beiden Controllern handelt es sich um Grundlagenforschung und sogenannte „Proof of Concepts“. Das heißt, anhand der Prototypen kann gezeigt werden, dass verschiedene Zustände des Controllers die Wahrnehmung unterschiedlicher VR-Objekte verbessern können, konkrete Produkte, die diese Technologie benutzen, sind jedoch noch nicht auf dem Markt erhältlich.

Handumlenkung während des Blinzelns

Mit den Controllern hat sich der Saarbrücker Informatiker zunächst dem Ähnlichkeitsproblem (‚similarity problem‘) gewidmet. Dabei will man erreichen, dass sich virtuelle und echte Objekte möglichst ähnlich anfühlen. Im zweiten Teil seiner Arbeit beschäftigte er sich mit dem so genannten ‚colocation problem‘, also der Frage, ob sich das Proxy räumlich in echt dort befindet, wo der Nutzer es in der virtuellen Realität sieht. Besonders herausfordernd: Da die Controller als Proxy für verschiedene virtuelle Objekte fungieren, muss beim Nutzer die Illusion erweckt werden, dass er nach verschiedenen Objekten greift, obwohl er in Wirklichkeit immer dasselbe Proxy fassen wird.

Dazu machte sich der Forscher die bereits etablierte Methode der „Hand Redirection“ zunutze. Wie der Name vermuten lässt, wird dabei die Bewegung der Hand in der virtuellen Realität umgelenkt, sodass der Nutzer denkt, er greife beispielsweise nach links, obwohl er die Hand gerade nach vorn ausstreckt.

Die Lösung: Er trickste das Gehirn aus, indem er die Umlenkung der Hand nur dann durchführte, wenn das Gehirn gerade blind für visuelle Veränderungen war – nämlich während des Blinzelns. Dazu entwickelte er zusammen mit einer von ihm betreuten Studentin die passende Software und nutzte die in vielen VR-Headsets verbauten Eye-Tracker. In Kontrollstudien konnte das Team dann zeigen, dass seine neuen Controller in Kombination mit Handumlenkungs-Algorithmen zu überzeugenderen VR-Wahrnehmungen führten als bisher möglich.

Dieser Forschungserfolg wurde nun international prämiert. Die Arbeit unter dem Titel „Advancing Proxy-Based Haptic Feedback in Virtual Reality“ wurde Mitte März bei der „IEEE Conference on Virtual Reality and 3D User Interfaces”, die in diesem Jahr in Orlando in Florida stattfand, mit dem „IEEE VGTC Virtual Reality Best Dissertation Award“ ausgezeichnet.

Originalpublikation: Zenner, A. (2022). Advancing Proxy-Based Haptic Feedback in Virtual Reality. Universität des Saarlandes. doi:10.22028/D291-37879

(ID:50060007)