Arindam Dey, de l’université du Queensland, utilise des signaux physiologiques pour optimiser les expériences de réalité virtuelle
Le sentiment de présence en réalité virtuelle – celui d’« être vraiment là » – peut être à la fois très concret sur le moment et assez difficile à évoquer ou à décrire avec précision par la suite. Pour les chercheurs et les développeurs de réalité virtuelle, comprendre comment les participants vivent un environnement virtuel contribue à la création de mondes immersifs, ce qui a des répercussions concrètes sur la conception de jeux, les simulations de formation, la narration en réalité virtuelle et même le secteur de la santé.
Mais comment mesurer la présence en temps réel ? C’est précisément ce que le Dr Arindam Dey et les chercheurs de son laboratoire « Empathic XR and Pervasive Computing » de l’université du Queensland se sont attachés à faire, à l’aide de biocapteurs et de la plateforme iMotions. Leur objectif est d’associer la présence à un retour d’information en temps réel issu de signaux physiologiques pendant que les participants sont en réalité virtuelle (RV) et en réalité augmentée (RA), plutôt que de se fier à des questionnaires remplis a posteriori. Nous avons récemment discuté avec le Dr Dey de cette recherche fondamentale et des autres façons dont il utilise iMotions.
Le problème des questionnaires
Lorsque le Dr Dey est arrivé à l’université du Queensland après avoir collaboré étroitement avec l’un des leaders mondiaux de la réalité augmentée, le professeur Mark Billinghurst de l’Empathic Computing Lab de l’université d’Australie-Méridionale, il savait qu’il souhaitait poursuivre ses travaux sur l’informatique empathique dans le domaine de la réalité étendue. Le Dr Dey et le professeur Billinghurst avaient utilisé des capteurs tels que l’EEG, l’ECG, la GSR ainsi que des données pupillaires et d’oculométrie pour étudier la cognition et les émotions, mais dans des contextes différents. Le Dr Dey souhaitait appliquer ces mêmes capteurs à la réalité virtuelle ; il a donc investi dans la plateforme iMotions pour collecter et synchroniser ces données de capteurs.
La présence est un élément essentiel de la réalité virtuelle. Cependant, il est important mais difficile de la mesurer efficacement en raison des limites des questionnaires. Même avec les 13 ou 14 questionnaires reconnus qui ont été validés au cours des quelque 30 dernières années pour évaluer la présence, des biais, des réponses non sincères et de la fatigue s’immiscent toujours dans le récit d’une expérience de réalité virtuelle. Il le décrit ainsi :
« En général, la présence se mesure ainsi : on fait l’expérience d’un système en réalité virtuelle, puis on répond à quelques questions. Mais la présence est davantage une question de moment présent ; le sentiment de présence dans un environnement est quelque chose qui se vit en temps réel. Ainsi, si vous devez vous rappeler ce que vous ressentiez il y a une minute, puis répondre, ce n’est pas tout à fait ce que vous avez réellement ressenti. Vous avez probablement exagéré ou minimisé vos sensations. Nous nous sommes donc demandé : pouvons-nous utiliser des capteurs, comme des données physiologiques, pour mesurer ce qui se passe lorsque les gens font l’expérience de la réalité virtuelle ? »
Avec son équipe d’étudiants en doctorat et en master de l’université du Queensland, il a donc mis au point un protocole dans lequel les participants seraient exposés à deux environnements – l’un à forte présence, l’autre à faible présence – afin de déterminer si la forte présence entraînait des réactions physiologiques ou neurologiques différentes de celles observées dans le cas de la faible présence.
Cerner l’essentiel grâce à la synchronisation des données
Il est important de noter que, dans ce type d’étude, les questionnaires ne sont pas totalement écartés. Dans le laboratoire du Dr Dey, les participants explorent des environnements de réalité virtuelle et répondent tout de même à des questions par la suite. La différence réside toutefois dans la mise en corrélation des données physiologiques issues de la conductance cutanée, de la fréquence cardiaque, de l’activité cérébrale et de l’attention visuelle (liens vers les pages sur les biocapteurs) avec les réponses aux questionnaires, afin de déterminer précisément ce qui se passait dans l’environnement, et à quel moment, lorsque les participants font état d’un sentiment de présence.
Cela s’avérerait compliqué – et chronophage – si vous deviez collecter les données des biocapteurs individuellement, en utilisant un logiciel différent pour chaque signal (par exemple, un pour l’oculométrie, un pour la réponse galvanique de la peau, etc.), car il est nécessaire de synchroniser l’ensemble des données avec l’enregistrement d’écran afin de saisir ce qui se passe dans un environnement immersif tel que la réalité virtuelle. La synchronisation et les affichages en temps réel proposés par iMotions permettent une analyse plus rapide et plus simple. Comme l’explique le Dr Dey : « En réalité virtuelle, il se passe tellement de choses dans l’environnement. Comme vous pouvez enregistrer l’écran et voir simultanément ce qui s’est passé à un moment précis, vous pouvez soudainement observer un pic dans les signaux GSR. Pour comprendre ce qui l’a réellement provoqué, vous pouvez revenir en arrière et le voir dans iMotions. C’est vraiment très utile. »
Dans l’ensemble, l’équipe a constaté qu’un niveau de présence plus élevé s’accompagnait d’une accélération du rythme cardiaque, d’une diminution du stress visuel, d’une augmentation des ondes thêta et bêta dans la région frontale, ainsi que d’une augmentation des ondes alpha dans la région pariétale. Elle espère que ces résultats permettront de mettre au point d’autres mesures objectives de la présence.
Créer des expériences de réalité virtuelle adaptatives et centrées sur l’utilisateur
Le Dr Dey s’efforce actuellement de déterminer s’il est possible de développer des modèles et des algorithmes informatiques empathiques capables d’utiliser les données en temps réel fournies par des biocapteurs lors d’une expérience de réalité virtuelle pour adapter cette expérience en temps réel. Par exemple, la charge cognitive et/ou l’état émotionnel des utilisateurs lorsqu’ils sont en réalité virtuelle (RV) et en réalité augmentée (RA) peuvent-ils être utilisés pour adapter le système ? Si vous êtes trop effrayé ou submergé pendant une expérience ou une tâche en RV, le système peut-il réduire le facteur de peur ou la difficulté de la tâche pour vous apaiser ou vous aider à réussir ? Pour cela, l’équipe utilise iMotions pour la collecte de données afin d’entraîner les données pour des interfaces adaptatives – qu’elle teste actuellement avec des données d’expressions faciales.
L’équipe s’intéresse également aux perspectives offertes par la narration en réalité virtuelle, que le Dr Dey définit comme l’idée selon laquelle un ou plusieurs personnages transmettent un récit conçu par un narrateur dans un environnement virtuel, mais qu’en raison de la complexité de la réalité virtuelle, cette histoire pourrait ne pas être perçue comme prévu. Vous pourriez vous sentir un peu perdu, interagir avec trop d’éléments ou avoir du mal à suivre le récit, selon le personnage avec lequel vous vous trouvez, qu’il s’agisse du protagoniste, de l’antagoniste ou d’un personnage secondaire. Pour mesurer cela, le laboratoire a créé deux récits – un récit de science-fiction et un récit fantastique – que les participants parcourent en incarnant différents personnages, tandis que leurs données oculométriques sont enregistrées à l’aide d’iMotions. On leur demande ensuite de raconter l’histoire qu’ils viennent de vivre, tandis que leurs expressions faciales sont capturées. L’équipe espère que l’analyse révélera si l’état émotionnel des participants a changé lorsqu’ils racontent l’histoire, et s’il existe des différences émotionnelles et attentionnelles selon le personnage « incarné ». L’objectif est ensuite de rédiger des lignes directrices à l’intention des scénaristes afin de créer des expériences narratives cohérentes et dynamiques en réalité virtuelle, qui placent l’utilisateur au centre à travers différents personnages.
Conséquences au-delà du laboratoire
Le Dr Arindam Dey est un fervent défenseur de la recherche « au service du bien », c’est pourquoi il s’efforce de garantir que son approche de la réalité virtuelle, centrée sur l’utilisateur, ait un impact social positif. Parmi ses nombreux projets, il a notamment contribué à enseigner des compétences sociales à des enfants indiens atteints de troubles du spectre autistique grâce à la réalité virtuelle. Ils ont également utilisé la réalité virtuelle immersive auprès de réfugiés nouvellement arrivés en Australie afin de les aider à s’adapter à leur nouvelle vie, à la langue et à la culture.
Et la clé de tout cela, c’est la présence, qui est primordiale en réalité virtuelle, quelle que soit l’application. Le Dr Dey estime que si l’on parvient à la capturer en temps réel, « on peut ajuster le sentiment de présence pour améliorer l’efficacité de l’application. Je pense que cela séduira tous les utilisateurs de la réalité virtuelle. »
Biographie :
Le Dr Arindam Dey est codirecteur du laboratoire « Empathic XR and Pervasive Computing » à l’université du Queensland. Ses recherches portent principalement sur l’interaction homme-machine, la réalité mixte et l’informatique empathique. Il a auparavant travaillé avec l’un des leaders mondiaux de la réalité augmentée, le professeur Mark Billinghurst, à l’université d’Australie-Méridionale. Il a occupé des postes de post-doctorant à l’université de Tasmanie, au Worcester Polytechnic Institute (États-Unis) et à l’université James Cook. Il a obtenu son doctorat à l’université d’Australie-Méridionale avec une thèse intitulée « Caractéristiques perceptuelles des visualisations d’objets masqués dans la réalité augmentée portable ».
Si vous souhaitez contacter le Dr Dey pour en savoir plus sur ses travaux de recherche, vous pouvez le retrouver sur LinkedIn.
