Qu'entend-on par « multimodalité » dans la recherche biométrique ? 

Découvrez comment la recherche multimodale met fin au « laboratoire Frankenstein » en synchronisant les biocapteurs sur une seule et même plateforme. Les données factuelles montrent que la combinaison de l’oculométrie, de l’analyse par éléments finis (FEA) et de l’électrodermographie (GSR) offre une vision globale du comportement humain, en permettant de suivre simultanément ce que les personnes regardent, leur type d’émotion et l’intensité de celle-ci.

À l’heure actuelle, les fabricants de logiciels et de matériel développent de plus en plus d’outils permettant aux utilisateurs de mener des recherches sur le comportement humain en combinant plusieurs modalités à la fois, par exemple en associant l’oculométrie à l’analyse des expressions faciales ou à l’EEG. Ainsi, la recherche gagne non seulement en commodité, mais aussi en efficacité et en précision.

À mesure que le marché de la recherche sur les biocapteurs se développe, l’un des termes les plus couramment utilisés pour décrire les recherches faisant appel à deux biocapteurs ou plus est celui de « recherche multimodale » ; cependant, ce terme peut en réalité recouvrir plusieurs réalités, que nous abordons dans cet article en lien avec notre logiciel iMotions.

Autrefois, lorsque les chercheurs souhaitaient collecter simultanément des données provenant de plusieurs biocapteurs différents, ils devaient utiliser un poste de laboratoire par biocapteur, ou par modalité. Cette approche « un capteur, un poste » est affectueusement surnommée « le laboratoire Frankenstein ». Tout comme son homonyme cinématographique, elle ne vit (!) que grâce à des efforts et des inconvénients inutiles, tant lors de la collecte des données que lors de leur analyse ultérieure. L’alignement des horodatages et des annotations, ainsi que le traitement des données, doivent souvent être effectués manuellement, au détriment de la précision et de l’efficacité de l’étude. Les logiciels de recherche multimodale éliminent la plupart de ces inconvénients, mais chez iMotions, nous les supprimons presque entièrement.

Avec iMotions, la recherche multimodale peut être menée à l’aide de plusieurs biocapteurs, ou modules, chaque élément matériel étant connecté à un seul ordinateur ou poste de laboratoire. Lorsque nous parlons de logiciel de recherche multimodale chez iMotions, notre définition est donc la suivante : un programme logiciel capable d’intégrer plusieurs biocapteurs à un seul ordinateur via un logiciel dédié.

En quoi la multimodalité est-elle utile dans le domaine de la recherche ?

Outre la commodité de travailler dans un environnement logiciel dédié et l’amélioration significative de l’efficacité de la recherche, il existe un autre aspect qui rend cette approche inestimable : c’est le seul moyen de mener une recherche véritablement approfondie sur le comportement humain d’un point de vue anthropocentrique.

Certains clients choisissent d’acquérir un laboratoire multimodal complet dès le début de leurs recherches, tandis que d’autres préfèrent commencer modestement. Il existe de nombreuses raisons de commencer modestement avec un seul module, la principale étant d’ordre financier, mais cela ne permettra d’obtenir que des résultats limités par rapport aux nuances que l’on peut obtenir en travaillant de manière pleinement multimodale.

Imaginons que vous souhaitiez utiliser l’oculométrie pour capturer l’attention visuelle de vos participants. C’est facile à faire, mais vous voudrez peut-être savoir non seulement ce qu’ils regardent, mais aussi quels éléments des stimuli visuels sont susceptibles de provoquer une réaction émotionnelle. Pour cela, vous avez besoin d’une analyse des expressions faciales, qui vous permettra d’identifier les indices émotionnels que vos participants affichent. Vous savez donc désormais ce que les gens ressentent lorsqu’ils regardent les stimuli visuels, mais quelle est l’intensité de ces sentiments ? Pour obtenir une image complète de l’intensité émotionnelle, vous devez mesurer la réponse galvanique de la peau. En mesurant l’activité électrodermique via les glandes sudoripares d’un participant, il est possible d’évaluer l’intensité de l’émotion qu’il ressent lorsqu’il est soumis à des stimuli.

En résumé, plus vous utiliserez de méthodes dans votre recherche, mieux vous comprendrez vos répondants.

En combinant et en utilisant plusieurs biocapteurs pour répondre à une même question de recherche, les données que vous recueillerez seront plus nuancées, plus instructives et, au final, plus utiles. 

Recherche sur les biocapteurs multimodaux au sein d’iMotions

La tendance actuelle dans le secteur indique que la recherche multimodale est en passe de devenir la norme. Chez iMotions, la multimodalité est profondément ancrée dans l’ADN de l’entreprise. Depuis les débuts de la société, la recherche multimodale n’est pas un simple mot à la mode, mais un élément fondamental de la philosophie qui guide le développement de nos logiciels destinés aux chercheurs d’aujourd’hui et de demain. Cette approche nous a permis d’être à la pointe du développement et de la mise en œuvre de l’intégration de biocapteurs multimodaux et de l’analyse de données multicouche pendant des années, bien avant que la tendance ne commence à s’orienter dans cette direction.

Dans la plateforme logicielle iMotions, la configuration multimodale est une configuration standard intégrée à notre module de base, CORE. Elle s’adapte parfaitement à toutes les modalités que nous proposons et a été conçue pour communiquer avec une, deux ou toutes les entrées de biocapteurs, quelle que soit la configuration de votre projet de recherche.

Dans le cadre de ma thèse de doctorat sur les changements comportementaux chez les patients atteints de démence, la plateforme iMotions nous a permis d’intégrer simultanément l’oculométrie, la réponse galvanique de la peau et l’analyse automatisée des expressions faciales, nous fournissant ainsi des données biométriques uniques et complètes, relevées au même moment pour chaque patient. De plus, elle nous a fourni une configuration facilement accessible pour les essais cliniques dans plusieurs sites de notre clinique de la mémoire, améliorant ainsi la faisabilité d’une large inclusion de différents groupes de patients. Par ailleurs, l’aide de notre responsable de projet chez iMotions nous a apporté le soutien nécessaire pour une analyse systématique et fondée sur la théorie des données. Dans l’ensemble, iMotions nous a fourni des données uniques, ainsi que des solutions pratiques et théoriques pour atteindre nos objectifs de recherche. »

– Ellen Singleton, doctorante au Centre Alzheimer d’Amsterdam

Ce logiciel a été spécialement conçu pour soulager les scientifiques et les chercheurs d’une grande partie du travail fastidieux, car il se charge de la plupart des tâches laborieuses requises lors de l’utilisation de configurations de recherche unimodales, qui impliquent généralement un traitement manuel intensif. En effet, la philosophie qui sous-tend les logiciels de recherche multimodale repose avant tout sur la commodité et l’efficacité. La possibilité d’intégrer plusieurs éléments matériels à la fois pourrait toutefois entraîner un risque de confusion au niveau de l’interface utilisateur et du flux de travail. C’est pourquoi un grand nombre de sources de données nécessite une interface utilisateur intuitive. Dans la suite logicielle iMotions, nous avons créé des outils de visualisation et d’analyse qui facilitent la collecte et l’analyse des données. Cette facilité d’utilisation améliorée se manifeste dès le début du flux de travail, puisque vous disposez d’une représentation en temps réel et facilement interprétable de vos données entrantes, comme le montre l’image ci-dessous.

Sur la photo ci-dessus, deux techniques, l’oculométrie en réalité virtuelle et l’électrosudorimétrie, sont utilisées pour capturer l’instant où un parachutiste se jette dans le vide depuis un avion. Comme le montre la photo, la présentation des stimuli, la saisie de données multimodales et la visualisation des données en temps réel rendent le dispositif de cette étude compréhensible tant pour les chercheurs spécialisés dans le comportement humain que pour les profanes. La facilité d’utilisation est toujours souhaitable, quel que soit le niveau de compétence, mais nous y voyons également un moyen idéal de permettre aux clients qui souhaitent mener des recherches multimodales mais qui ont une expérience limitée de se lancer, puis de se développer sans rendre l’expérience utilisateur plus complexe. La complexité de la recherche doit provenir de la configuration ou de l’échelle de l’étude, et non des outils utilisés.

La mise en place de nos notebooks R personnalisés a pratiquement éliminé le besoin de codage manuel lors du traitement des signaux et de l’analyse des données qui s’ensuit. Ils fournissent une documentation entièrement transparente des algorithmes utilisés pour le traitement des signaux, génèrent des indicateurs visibles pour toutes nos modalités disponibles directement dans l’interface utilisateur, et permettent même aux chercheurs expérimentés de modifier le code en R. Si vous souhaitez en savoir plus sur la manière dont nous améliorons le traitement et l’analyse des données et rendons l’analyse des données multimodales fluide, grâce aux R-Notebooks, vous pouvez en savoir plus ici.