Eine Untersuchung zu Präsenz und immersivem Storytelling in der virtuellen Realität

Arindam Dey von der University of Queensland nutzt physiologische Signale, um VR-Erlebnisse zu optimieren

Das Gefühl der Präsenz in der virtuellen Realität – das Gefühl, wirklich „dort zu sein“ – kann im Moment sehr greifbar sein, sich aber im Nachhinein nur schwer in Erinnerung rufen oder beschreiben lassen. Für Forscher und VR-Entwickler liefert das Verständnis dafür, wie Teilnehmer eine virtuelle Umgebung erleben, wichtige Erkenntnisse für die Gestaltung immersiver Welten – was konkrete Auswirkungen auf das Spieldesign, Trainingssimulationen, VR-Storytelling und sogar das Gesundheitswesen hat.

Doch wie lässt sich Präsenz in Echtzeit messen? Genau das wollen Dr. Arindam Dey und die Forscher seines „Empathic XR and Pervasive Computing Laboratory“ an der University of Queensland mithilfe von Biosensoren und iMotions herausfinden. Ihr Ziel ist es, die Präsenz mit Echtzeit-Feedback aus physiologischen Signalen zu verknüpfen, während sich die Teilnehmer in VR- und AR-Umgebungen befinden, anstatt sich im Nachhinein auf Fragebögen zu stützen. Wir haben kürzlich mit Dr. Dey über diese wichtige Forschung und die anderen Einsatzmöglichkeiten von iMotions gesprochen.

Das Problem mit Fragebögen

Als Dr. Dey an die University of Queensland kam, nachdem er intensiv mit einem der weltweit führenden Experten für Augmented Reality, Professor Mark Billinghurst vom Empathic Computing Lab der University of South Australia, zusammengearbeitet hatte, war ihm klar, dass er diese Arbeit zum empathischen Computing im Bereich der Extended Reality fortsetzen wollte. Er und Professor Billinghurst hatten Sensoren wie EEG, EKG, GSR sowie Pupillendaten und Eye-Tracking genutzt, um Kognition und Emotionen zu untersuchen, allerdings in unterschiedlichen Kontexten. Dr. Dey wollte dieselben Sensoren auf VR anwenden, also investierte er in die iMotions-Plattform, um diese Sensordaten zu erfassen und zu synchronisieren.

Das Präsenzgefühl ist für die virtuelle Realität von entscheidender Bedeutung. Es effektiv zu messen ist jedoch wichtig, stellt aber aufgrund der Einschränkungen von Fragebögen eine Herausforderung dar. Selbst bei den 13 bis 14 etablierten Fragebögen, die in den letzten rund 30 Jahren zur Erfassung des Präsenzgefühls validiert wurden, schleichen sich beim Rückblick auf ein VR-Erlebnis immer noch Verzerrungen, Unehrlichkeit und Ermüdung ein. Er beschreibt dies wie folgt:

„Normalerweise wird Präsenz so gemessen: Man erlebt ein System in VR und beantwortet anschließend einige Fragen. Aber Präsenz ist eher eine Sache des Augenblicks; wie präsent man sich in einer Umgebung fühlt, ist eine sehr zeitnahe Angelegenheit. Wenn man sich also daran erinnern muss, wie man sich vor einer Minute gefühlt hat, und dann antwortet, entspricht das nicht ganz dem, was man tatsächlich empfunden hat. Man hat es wahrscheinlich übertrieben oder untertrieben. Also dachten wir: Können wir Sensoren wie physiologische Daten nutzen, um zu messen, was passiert, wenn Menschen VR erleben?“

Zusammen mit seinem Team aus Doktoranden und Masterstudierenden an der University of Queensland entwarf er daher ein Szenario, in dem die Teilnehmer zwei Umgebungen ausgesetzt wurden – einer mit hoher Präsenz und einer mit geringer Präsenz –, um zu untersuchen, ob sich bei der hohen Präsenz andere physiologische oder neurologische Reaktionen zeigen würden als bei der geringen Präsenz.

Die Geschichte durch Datensynchronisation genau bestimmen

Es ist wichtig zu beachten, dass Fragebögen bei dieser Art von Studie nicht gänzlich verworfen werden. In Dr. Deys Labor durchlaufen die Teilnehmer VR-Umgebungen und beantworten anschließend weiterhin Fragen. Der Unterschied besteht jedoch darin, dass physiologische Daten wie Hautleitfähigkeit, Herzfrequenz, Gehirnaktivität und visuelle Aufmerksamkeit (Links zu den Biosensor-Seiten) mit den Antworten aus den Fragebögen in Zusammenhang gebracht werden, um genau zu bestimmen, was in der Umgebung wann vor sich ging, worauf die Teilnehmer reagieren, wenn sie das Gefühl der Präsenz hervorheben.

Dies wäre schwierig – und zeitaufwendig –, wenn Sie die Biosensordaten einzeln erfassen würden, wobei für jedes Signal eine andere Software zum Einsatz käme (z. B. eine für Eye-Tracking, eine für GSR usw.), da die Daten mit der Bildschirmaufzeichnung vollständig synchronisiert werden müssen, um zu erfassen, was in einer so immersiven Umgebung wie der VR vor sich geht. Die Synchronisation und die Echtzeitansichten in iMotions ermöglichen eine schnellere und einfachere Analyse. Dr. Dey drückt es so aus: „In der VR passieren so viele Dinge in der Umgebung. Da man den Bildschirm aufzeichnen kann und gleichzeitig sieht, was zu einem bestimmten Zeitpunkt passiert ist, kann man plötzlich einen Ausschlag in den GSR-Signalen erkennen. Was genau die Ursache dafür war, kann man in iMotions nachverfolgen. Das ist wirklich hilfreich.“

Insgesamt stellte das Team fest, dass eine stärkere Präsenz zu einer höheren Herzfrequenz, geringerem visuellen Stress, einer höheren Theta- und Beta-Aktivität im Stirnbereich sowie einer höheren Alpha-Aktivität im Scheitelbereich führt. Das Team hofft, dass diese Erkenntnisse zur Entwicklung alternativer objektiver Messgrößen für die Präsenz beitragen werden.

Entwicklung adaptiver, nutzerorientierter VR-Erlebnisse

Derzeit untersucht Dr. Dey, ob sich empathische Computermodelle und Algorithmen entwickeln lassen, die anhand von Echtzeit-Biosensor-Daten aus einer VR-Erfahrung diese Erfahrung in Echtzeit anpassen. Kann beispielsweise die kognitive Belastung und/oder der emotionale Zustand der Nutzer, während sie sich in VR und AR befinden, genutzt werden, um das System anzupassen? Wenn man während einer Erfahrung oder einer VR-Aufgabe zu viel Angst bekommt oder überfordert ist, kann das System dann den Angstfaktor oder den Schwierigkeitsgrad der Aufgabe herabsetzen, um einen zu beruhigen oder den Erfolg zu steigern? Zu diesem Zweck nutzt das Team iMotions zur Datenerfassung, um die Daten für adaptive Schnittstellen zu trainieren – was sie derzeit mit Gesichtsausdrucksdaten testen.

Das Team interessiert sich zudem für Perspektiven im Bereich des VR-Storytelling, das Dr. Dey als das Konzept beschreibt, bei dem eine Figur (oder mehrere Figuren) in der virtuellen Realität eine vom Geschichtenerzähler entworfene Erzählung vermittelt, die jedoch aufgrund der Komplexität der VR möglicherweise nicht wie beabsichtigt wahrgenommen wird. Man kann sich ein wenig verirren, mit zu vielen Dingen interagieren oder Schwierigkeiten haben, der Erzählung zu folgen, je nachdem, mit welcher Figur man sich befindet – sei es der Protagonist, der Antagonist oder eine Nebenfigur. Um dies zu messen, hat das Labor zwei Geschichten entwickelt – eine Science-Fiction- und eine Fantasy-Geschichte –, durch die die Teilnehmer als verschiedene Figuren navigieren, während ihre Blickdaten mit iMotions aufgezeichnet werden. Anschließend werden sie gebeten, die Geschichte, die sie gerade erlebt haben, nacherzählen, während ihre Gesichtsausdrucksdaten erfasst werden. Man hofft, dass die Analyse Aufschluss darüber gibt, ob sich der emotionale Zustand der Teilnehmer beim Nacherzählen der Geschichte verändert hat und ob es emotionale und aufmerksamkeitsbezogene Unterschiede gibt, je nachdem, in welcher Figur sie sich „befinden“. Ziel ist es dann, Leitlinien für Geschichtenerzähler zu erstellen, um in VR zusammenhängende, dynamische narrative Erlebnisse zu schaffen, die die Nutzer durch verschiedene Figuren in den Mittelpunkt stellen.

Auswirkungen über das Labor hinaus

Dr. Arindam Dey ist fest davon überzeugt, dass Forschung „zum Wohle der Allgemeinheit“ geleistet werden sollte, und setzt sich daher dafür ein, dass sein nutzerzentrierter Ansatz im Bereich VR einen positiven gesellschaftlichen Beitrag leistet. Neben vielen anderen Projekten hat er dazu beigetragen, Kindern in Indien mit Autismus-Spektrum-Störungen mithilfe von VR soziale Kompetenzen zu vermitteln. Außerdem wurde immersive VR bei Flüchtlingen eingesetzt, die neu in Australien angekommen sind, um ihnen die Eingewöhnung in ihr neues Leben, die Sprache und die Kultur zu erleichtern.

Und der Schlüssel zu all dem ist die Präsenz, die für VR unabhängig von der jeweiligen Anwendung von entscheidender Bedeutung ist. Dr. Dey ist der Ansicht, dass man, wenn man diese in Echtzeit erfassen kann, „das Gefühl der Präsenz so anpassen kann, dass die Wirksamkeit der Anwendung gesteigert wird. Ich glaube, das wird für jeden, der VR nutzt, überzeugend sein.“

Biografie:
Dr. Arindam Dey ist Co-Direktor des „Empathic XR and Pervasive Computing Laboratory“ an der University of Queensland; seine Forschungsschwerpunkte liegen vor allem auf den Bereichen Mensch-Computer-Interaktion, Mixed Reality und Empathic Computing. Zuvor arbeitete er an der University of South Australia mit Prof. Mark Billinghurst zusammen, einem der weltweit führenden Experten auf dem Gebiet der Augmented Reality. Er hatte Postdoc-Stellen an der University of Tasmania, am Worcester Polytechnic Institute (USA) und an der James Cook University inne. Er promovierte an der University of South Australia mit einer Dissertation zum Thema „Perzeptuelle Eigenschaften von Visualisierungen für verdeckte Objekte in der Handheld-Augmented-Reality“.

Wenn Sie Kontakt zu Dr. Dey aufnehmen möchten, um mehr über seine Forschungsarbeit zu erfahren, können Sie sich über LinkedIn mit ihm vernetzen.