Powering Human Insight

La multimodalité dans le logiciel iMotions : guide complet pour la recherche synchronisée sur les biocapteurs dans iMotions Lab, Online, Education et Media Analytics

Morten Pedersen

Résumé et points clés

iMotions s’appuie sur la recherche multimodale, ce qui signifie que l’on comprend mieux le comportement humain en combinant plusieurs sources de données synchronisées plutôt qu’en analysant les signaux isolément. La plateforme prend en charge un large éventail de modalités, notamment :

iMotions Lab est la plateforme principale :

  • Environnement tout-en-un pour la conception d'études, la collecte synchronisée de données, la visualisation et l'analyse
  • Conçu pour la recherche multimodale en laboratoire

iMotions Online permet de mener des recherches multimodales à distance :

  • Accessible via un navigateur
  • Axé sur la collecte de données via webcam

iMotions Education adapte des outils multimodaux destinés à l’enseignement et à la formation universitaire dans des environnements basés sur un navigateur. Media Analytics est une solution spécialisée et optimisée :

  • Spécialisé dans les tests publicitaires dans les médias et la vidéo
  • Moins flexible que Lab, mais plus rapide pour les cas d'utilisation standardisés

Dans iMotions, la multimodalité désigne des signaux synchronisés et interopérables, et non pas simplement plusieurs capteurs isolés les uns des autres. L’écosystème est conçu pour soutenir la recherche dans divers environnements :

Essais en laboratoire, à distance, en salle de classe, sur le terrain, en réalité virtuelle et à grande échelle

Dans iMotions, la multimodalité consiste en la capture et l’analyse synchronisées de flux de données comportementales, physiologiques, émotionnelles et contextuelles au sein d’un même flux de travail de recherche. La plateforme est conçue pour regrouper la conception de l’étude, la présentation des stimuli, la collecte des données, la visualisation et l’analyse au sein d’une seule suite logicielle, permettant ainsi aux chercheurs d’étudier conjointement l’attention visuelle, l’expression émotionnelle, l’éveil physiologique, les processus cognitifs et les mouvements physiques, plutôt que de les examiner séparément.

Cela est important car aucune modalité ne suffit à elle seule à expliquer un comportement. L’oculométrie permet de déterminer ce qu’une personne a regardé. L’EDA/GSR permet de déterminer si le stimulus a provoqué une activation du système nerveux autonome. L’EEG peut révéler certains aspects du traitement cognitif et émotionnel. L’analyse des expressions faciales permet d’évaluer les manifestations émotionnelles visibles et le niveau d’engagement. L’ECG et la respiration apportent des informations sur le contexte cardiaque et respiratoire. Ensemble, ces données offrent une image plus complète et plus explicite de ce qui s’est passé et à quel moment.

Le produit multimodal phare : iMotions Lab

iMotions Lab est le logiciel multimodal phare de la gamme iMotions. iMotions Lab est un logiciel modulaire qui regroupe la conception d’études, la présentation des stimuli, la collecte de données, la visualisation et l’analyse ; les chercheurs l’utilisent pour synchroniser les capteurs afin d’étudier l’attention, les émotions, l’éveil, la cognition et le mouvement. Il est également présenté comme un logiciel indépendant du matériel et compatible avec les principaux fabricants.

La présentation des modules Lab permet de bien comprendre l’architecture du système : iMotions Core en constitue la base, tandis que des modules supplémentaires viennent enrichir le système de fonctionnalités spécifiques. Core intègre déjà des sondages, la capture et l’annotation vidéo, ainsi que la visualisation des données, tandis que les modules complémentaires couvrent l’oculométrie, la physiologie, les mesures cérébrales, le mouvement et la collecte de données à distance.

Quelles sont les modalités prises en charge par iMotions ?

Suivi du regard

iMotions prend en charge plusieurs types de suivi oculaire au sein de Lab, notamment le suivi oculaire sur écran, le suivi oculaire via des lunettes, le suivi oculaire en réalité virtuelle et le suivi oculaire via webcam. Nous précisons clairement que Lab prend en charge le suivi oculaire sur écran, via des lunettes, via webcam et en réalité virtuelle, ce qui fait du suivi oculaire l’un des piliers multimodaux les plus flexibles de l’écosystème.

Analyse des expressions faciales

Le module d’analyse des expressions faciales intègre la technologie AFFDEX d’Affectiva et permet d’analyser des données en direct provenant d’une webcam ou des vidéos importées. Selon iMotions, il identifie sept émotions fondamentales et fournit des indicateurs de valence et d’engagement, ce qui en fait un outil multimodal couramment utilisé en complément de l’oculométrie, des données d’enquête et des signaux physiologiques.

Analyse vocale

Le module d’analyse vocale fait partie de la suite multimodale plus large d’iMotions et est également intégré à son offre de collecte de données à distance. iMotions décrit l’analyse vocale comme un moyen non invasif d’obtenir des informations comportementales et psychologiques à partir de la hauteur, du timbre et du rythme de la voix.

EDA / GSR

Le module EDA/GSR mesure la conductance cutanée, qui sert d’indicateur de l’activation du système nerveux autonome et du stress. iMotions se distingue par la détection automatique des pics, l’exportation de données brutes et traitées, ainsi que par la possibilité d’une utilisation synchronisée avec d’autres capteurs. Cela rend l’EDA/GSR particulièrement utile dans les configurations multimodales où les chercheurs souhaitent corréler les moments d’activation avec le regard, les émotions ou les événements stimulants.

EEG

Le module EEG est utilisé dans iMotions pour mesurer l’activité électrique cérébrale liée aux processus cognitifs et émotionnels. iMotions le décrit comme un module indépendant du matériel, compatible avec les principaux fabricants d’appareils EEG, et met en avant des fonctionnalités telles que la collecte de signaux bruts, la visualisation, l’exportation et l’assurance qualité intégrée.

EMG

Le module EMG prend en charge l’électromyographie de plusieurs groupes musculaires et peut également être utilisé pour l’EMG facial dans des contextes de réalité virtuelle. iMotions décrit l’EMG comme un outil adapté à la mesure des réactions du corps et du visage et mentionne explicitement son association avec d’autres biocapteurs, ce qui constitue un cas d’utilisation multimodal direct.

ECG

Le module ECG mesure les signaux cardiaques et, selon iMotions, fournit des informations sur les états physiologiques et émotionnels, car le rythme cardiaque varie en fonction de l’environnement et de l’activité du système nerveux autonome. Dans la recherche multimodale, l’ECG sert souvent de mesure complémentaire de l’éveil, du stress, de la récupération ou de l’engagement.

Respiration

iMotions prend en charge à la fois la mesure de la respiration par contact et la mesure de la respiration via webcam. Le module de respiration standard comprend le filtrage automatique, la détection des respirations, la fréquence respiratoire, le nombre de cycles et la durée des cycles, tandis que le module webcam étend l’analyse de la respiration à la recherche à distance et sans contact via une webcam standard.

fNIRS

Le module fNIRS permet d’effectuer des mesures hémodynamiques du cerveau en suivant les variations des taux d’oxyhémoglobine et de désoxyhémoglobine. iMotions décrit la fNIRS comme une technique portable, non invasive et tolérante aux mouvements, ce qui la rend particulièrement utile dans les études multimodales qui nécessitent des mouvements plus naturels que ne le permet l’imagerie cérébrale traditionnelle.

Capture de mouvement

Le nouveau module Motion Capture étend la multimodalité à la cinématique. iMotions le décrit comme un système de capture de mouvement sans combinaison ni marqueurs à partir de vidéos, avec suivi des parties du corps, mesures des mouvements et traitement par lots. iMotions précise également dans son communiqué de lancement que Motion Capture s’intègre parfaitement à l’EMG, à l’oculométrie, à l’analyse des expressions faciales et à d’autres modalités.

GPS

Le module GPS fournit des données de localisation géographique, de vitesse et de trajectoires de déplacement sous forme de signaux chronologiques. Selon iMotions, le GPS peut être synchronisé avec des signaux biométriques tels que l’oculométrie, la galvanométrie (GSR), l’électroencéphalogramme (EEG) ou la capture de mouvement, ce qui le rend particulièrement utile pour la recherche sur la mobilité, les comportements urbains, les sciences du sport et les facteurs humains.

Enquêtes, vidéos, annotations et analyses

La multimodalité dans iMotions ne se limite pas aux biocapteurs. Les fonctionnalités principales de la plateforme comprennent les enquêtes, la capture vidéo, l’annotation, la visualisation des données et l’analyse. La plateforme prend également en charge les notebooks R intégrés pour des flux de travail d’analyse transparents et personnalisables.

La multimodalité dans la recherche à distance : iMotions Online et la collecte de données à distance

iMotions Online est la branche accessible via un navigateur de l’écosystème iMotions. iMotions la décrit comme une plateforme en ligne dédiée à la recherche biométrique à distance, offrant des outils de création d’études pour les images, les vidéos et les questionnaires. Ses principales fonctionnalités intégrées sont l’oculométrie par webcam et l’analyse des expressions faciales.

Pour élargir les possibilités de multimodalité à distance, iMotions présente également une fonctionnalité de collecte de données à distance au sein de son écosystème Lab. La présentation de ce module indique qu’il permet la collecte biométrique à distance grâce à l’oculométrie par webcam, l’analyse des expressions faciales, l’analyse vocale et la mesure de la respiration par webcam. Les documents les plus récents de l’entreprise sur la collecte de données à distance décrivent des études en ligne utilisant l’oculométrie par webcam, l’analyse des expressions faciales basée sur l’IA, la mesure de la respiration par webcam, l’analyse vocale basée sur l’IA et des fonctionnalités de sondage en ligne.

Cela signifie que la multimodalité à distance dans iMotions est moins étendue que la multimodalité complète en laboratoire, mais elle n’en reste pas moins pertinente. Un chercheur travaillant à distance peut combiner l’attention, l’expression émotionnelle visible, les signaux vocaux, la respiration et les réponses à des questionnaires sans avoir recours à du matériel de laboratoire spécifique.

L’enseignement multimodal : iMotions Education

iMotions Education est un outil pédagogique accessible via un navigateur, plutôt qu’une plateforme de laboratoire complète et polyvalente. Il combine l’oculométrie par webcam, l’analyse des expressions faciales et les sondages, permettant ainsi aux étudiants de concevoir des études, de collecter des données via des liens partageables, d’analyser les résultats et de créer des visuels à partir d’ordinateurs portables classiques. Son orientation plus large vers l’éducation met également l’accent sur son évolutivité et son utilisation dans l’enseignement en classe, les stages et les projets étudiants.

« Education » est donc un programme multimodal, mais dans un sens plus léger et davantage axé sur l’enseignement. Il convient de le considérer comme un sous-ensemble structuré et accessible de la philosophie multimodale d’iMotions, plutôt que comme un substitut à l’ensemble de l’offre multimodale de Lab.

La multimodalité dans l’analyse des médias : Media Analytics

Media Analytics est une solution clé en main qui utilise le codage facial et l’oculométrie sans étalonnage pour mesurer l’attention et l’engagement lors des tests de supports médiatiques et de publicités vidéo. Cela la classe dans la catégorie des solutions multimodales, mais de manière plus ciblée que Lab : elle est préconfigurée pour évaluer l’attention et l’engagement dans des cas d’utilisation spécifiques liés aux tests de supports médiatiques, plutôt que pour des projets de recherche ouverts et indépendants des capteurs utilisés.

En quoi la multimodalité d’iMotions s’avère-t-elle utile dans la pratique ?

La synchronisation est au cœur de la multimodalité d’iMotions. iMotions est une suite logicielle qui permet de collecter et de synchroniser les données provenant de différents capteurs, puis offre aux utilisateurs la possibilité d’explorer visuellement ces données en lien avec l’étude grâce à des interfaces basées sur des chronologies et à des fonctionnalités d’analyse intégrées.

Cela modifie la nature des questions auxquelles les chercheurs peuvent répondre. Au lieu de se contenter de demander si un participant a regardé quelque chose, les chercheurs peuvent désormais lui demander s’il l’a regardé, s’il a eu une réaction émotionnelle, s’il a manifesté une excitation physiologique, si sa respiration a changé, si son rythme cardiaque s’est modifié, s’il a produit des changements dans ses mouvements ou s’il a par la suite manifesté de l’intérêt pour cet élément. L’avantage ne réside pas seulement dans le fait de disposer de « plus de données ». L’avantage réside dans une interprétation synchronisée entre les différentes modalités. C’est là la logique fondamentale de la recherche multimodale.

Fonctionnalités d’analyse multimodale et de flux de travail

La promesse multimodale d’iMotions ne se limite pas à la collecte de signaux. Elle consiste également à permettre leur analyse conjointe. La plateforme met l’accent sur des outils de visualisation intégrés, des notebooks R transparents et personnalisables, un traitement automatisé pour plusieurs modalités, ainsi que des modules spécialisés tels que l’AOI automatisée.

L’AOI automatisée est particulièrement utile dans les études d’oculométrie multimodale utilisant des stimuli dynamiques. iMotions détecte et repositionne automatiquement les zones d’intérêt prédéfinies d’une image à l’autre, réduisant ainsi le repositionnement manuel. Cela signifie qu’un chercheur peut associer plus efficacement l’analyse dynamique du regard à des données faciales, EDA, EEG ou autres données synchronisées dans le temps.

iMotions prend également en charge le protocole LSL, ce qui permet aux utilisateurs de diffuser des données en continu sur une gamme plus large de matériels non natifs, à condition que ceux-ci prennent en charge le protocole Lab Streaming Layer. Cela rend la multimodalité extensible au-delà des seuls appareils qu’iMotions intègre nativement.

Idées reçues courantes sur la multimodalité dans iMotions

Une idée fausse courante consiste à croire que la multimodalité dans iMotions se résume à « l’oculométrie associée à un capteur supplémentaire ». Les ressources actuelles d’iMotions présentent une gamme bien plus étendue, comprenant notamment l’EEG, l’ECG, l’EMG, l’EDA/GSR, la respiration, la fNIRS, la capture de mouvement, le GPS, l’analyse des expressions faciales, l’analyse vocale, les questionnaires, et bien plus encore.

Une autre idée fausse consiste à croire que tous les produits iMotions sont aussi multimodaux les uns que les autres. Ce n’est pas le cas. Lab est clairement l’environnement multimodal le plus complet ; Online et Education constituent des sous-ensembles plus restreints fonctionnant dans un navigateur ; quant à Media Analytics, il s’agit d’une solution plus ciblée et spécifique à certaines applications.

Une troisième idée fausse consiste à croire que la multimodalité ne s’applique qu’à la recherche en laboratoire. Les ressources actuelles d’iMotions témoignent d’une expansion multimodale vers la recherche à distance grâce à l’oculométrie par webcam, à l’analyse des expressions faciales, à l’analyse vocale et à la mesure de la respiration par webcam, ainsi que vers la recherche sur le terrain grâce à des modules tels que le GPS et la capture de mouvement.

Foire aux questions

Qu’est-ce que la multimodalité dans iMotions ?

Dans iMotions, la multimodalité consiste à synchroniser plusieurs flux de données comportementales, physiologiques, émotionnelles et contextuelles au sein d’un même flux de travail de recherche, généralement dans iMotions Lab.

Quelles sont les modalités prises en charge par iMotions ?

Les fonctionnalités actuelles d’iMotions comprennent l’oculométrie, l’analyse des expressions faciales, l’EDA/GSR, l’EEG, l’EMG, l’ECG, la respiration, la respiration via webcam, l’analyse vocale, la fNIRS, la capture de mouvement, le GPS, les sondages, la vidéo, l’annotation et bien plus encore, avec des possibilités d’extension supplémentaires grâce à la prise en charge du langage LSL.

Quel logiciel iMotions est le plus multimodal ?

iMotions Lab est le produit le plus multimodal de la gamme. iMotions le présente comme une plateforme de recherche multimodale tout-en-un et comme un logiciel permettant de synchroniser un large éventail de biocapteurs et d’analyses.

iMotions Online est-il multimodal ?

Oui, mais de manière plus limitée, via un navigateur. iMotions Online se concentre sur le suivi du regard par webcam et l’analyse des expressions faciales, tandis que l’écosystème plus large de collecte de données à distance inclut également l’analyse vocale, la mesure de la respiration par webcam et les sondages.

iMotions Education est-il multimodal ?

Oui. iMotions Education combine l’oculométrie par webcam via un navigateur, l’analyse des expressions faciales et des questionnaires pour l’enseignement et la recherche étudiante.

Media Analytics fait-il partie de l’approche multimodale d’iMotions ?

Oui, mais il s’agit d’un produit clé en main spécialisé. iMotions le décrit comme une solution combinant l’analyse faciale et l’oculométrie sans étalonnage, destinée aux tests de médias et de publicités vidéo.

Les iMotions permettent-elles d’allier mouvement et physiologie ?

Oui. Les données actuelles montrent que la capture de mouvement et le GPS sont utilisés en complément d’autres signaux biométriques, élargissant ainsi la multimodalité au comportement sur le terrain et à la cinématique.

Conclusion

iMotions est un écosystème de recherche multimodale sur le comportement humain, articulé autour de la collecte et de l’analyse synchronisées de données issues de multiples modalités. Il comprend iMotions Lab, sa plateforme phare, iMotions Online, sa plateforme à distance accessible via un navigateur, iMotions Education, sa version destinée aux salles de classe, ainsi que Media Analytics, un produit clé en main dédié à l’évaluation de l’attention et de l’engagement dans le cadre de tests médiatiques.