Découvrez comment les chercheurs associent la réponse galvanique de la peau (GSR/EDA) aux signaux vocaux et audio pour détecter l’excitation émotionnelle en temps réel. En établissant un lien entre les changements physiologiques et les réactions verbales, ils permettent une reconnaissance des émotions plus précise et tenant compte du contexte dans les interactions sociales et la recherche comportementale.
Table of Contents
Les capteurs de réponse galvanique de la peau (GSR/EDA) ont permis aux chercheurs de détecter les réactions émotionnelles de différentes manières [1]. En général, les données GSR sont interprétées peu après un événement ou l’exposition à un stimulus, dès que les signaux physiologiques commencent à réagir. La réponse de conductance cutanée liée à un événement (ER-SCR) s’est révélée très précise lorsqu’elle est associée à d’autres modules, tels que l’EMG de surface, l’analyse des expressions faciales et la fréquence cardiaque.
Cependant, les méthodes basées sur la réponse galvanique cutanée (ER-SCR) déclenchée par la parole n’ont pas encore été étudiées comme solution potentielle pour la détection des émotions en temps réel. Le laboratoire HAT (Human Augmentation Technologies Lab) de l’université d’État du Michigan s’est récemment penché sur l’association de la réponse galvanique cutanée et de la parole dans le cadre d’un traitement en temps réel.
Nous avons l’honneur d’interviewer l’une des auteures de cette méthode, Sylmarie Dávila-Montero, doctorante, sur la manière dont la réponse galvanique de la peau (GSR) et la parole peuvent nous aider à mieux comprendre les émotions humaines.
Présentation de Sylmarie Dávila-Montero
Je m’appelle Sylmarie Dávila-Montero. Je suis doctorante en génie électrique à l’université d’État du Michigan, où je travaille au sein du laboratoire HAT (Human Augmentation Technologies) sous la direction du Dr Andrew J. Mason.
En quoi consiste le travail du Laboratoire des technologies d’augmentation humaine ?
La mission générale du Laboratoire des technologies d’augmentation humaine (Human Augmentation Technologies Lab) de la Faculté d’ingénierie de l’Université d’État du Michigan consiste à faire le lien entre les technologies de capteurs et la recherche biomédicale à fort impact ainsi que les applications environnementales. Notre groupe de recherche a traditionnellement contribué aux domaines de la conception et de la fabrication de systèmes de capteurs, notamment grâce à des interfaces biologiques et chimiques nanostructurées, ainsi qu’au traitement en temps réel et efficace des signaux provenant des capteurs et des réseaux de capteurs. Ces dernières années, nous nous sommes concentrés sur le développement d’approches visant à améliorer les interfaces cerveau-machine et les interfaces homme-machine pour des applications biomédicales et sociales.
En quoi consiste votre travail ?
Ma question de recherche principale porte sur la manière dont nous pouvons traiter au mieux les signaux des capteurs en temps réel afin de mieux comprendre les comportements humains et leur influence sur les interactions sociales. Ainsi, mes travaux de recherche s’appuient sur le traitement des signaux sociaux en temps réel et sur des techniques d’apprentissage automatique pour établir des liens entre les signaux collectés par les capteurs et les comportements humains étudiés. Ce travail implique la collecte et le traitement d’une variété de signaux provenant de capteurs, notamment des signaux audio et physiologiques. L’objectif est de développer des systèmes capables de comprendre les comportements humains en temps réel et dans des situations réelles afin d’améliorer la prise de conscience de ces comportements et la qualité des interactions sociales. L’amélioration de la qualité de nos interactions sociales améliore notre santé mentale et physique, ce qui a un impact positif sur nos vies.
Comment utilisez-vous iMotions, et quels types de biocapteurs utilisez-vous dans le cadre de vos recherches ?
Dans le cadre de mes recherches, nous utilisons des biocapteurs pour mieux comprendre les émotions humaines et leur évolution au cours des interactions sociales. Nous utilisons plus précisément des capteurs de réponse galvanique de la peau (GSR), de photopléthysmographie (PPG) et d’électroencéphalographie (EEG), associés à des microphones, pour collecter des données sur les indicateurs physiologiques des émotions. Tous ces biocapteurs captent des signaux issus de processus physiologiques connus pour être influencés par les changements d’états émotionnels. Ainsi, les variations des caractéristiques de ces signaux peuvent être associées à un état émotionnel.
iMotions m’a aidé à me lancer dans mes recherches en m’évitant d’avoir à me soucier de la conception d’une infrastructure de collecte de données de capteurs et en me permettant de commencer immédiatement à recueillir les données nécessaires à la conception de mes algorithmes. De plus, la formation initiale et les services de conseil m’ont aidé à mieux me préparer à mener des recherches dans le domaine des comportements humains.
Pourquoi l’utilisation de capteurs biométriques est-elle importante dans vos recherches ?
Il est important de comprendre l’état émotionnel d’un individu lorsqu’on cherche à améliorer les interactions sociales. Ces interactions sont extrêmement complexes ; elles se construisent à partir des comportements sociaux de deux personnes ou plus. Parallèlement, nos comportements sociaux sont influencés par des stimuli internes et externes. Les stimuli internes proviennent de notre esprit et englobent notamment nos émotions, nos humeurs, nos attitudes et notre personnalité, tandis que les stimuli externes concernent notre environnement et la manière dont nous communiquons les uns avec les autres. Nous utilisons des biocapteurs pour capter les signaux physiologiques liés aux changements de nos états émotionnels, ce qui nous permet de mieux comprendre une partie de ces stimuli internes qui influencent nos comportements sociaux.
Dans l’une de nos récentes publications, nous avons étudié la relation entre les signaux audio et les réactions d’activité électrodermique (EDA) et analysé une nouvelle approche pour la classification des réactions de conductance cutanée provoquées par l’excitation émotionnelle, en utilisant des signaux vocaux comme événement déclencheur. Les réactions EDA proviennent de signaux captés à l’aide de capteurs GSR, dont les mesures reflètent les modifications des propriétés de la peau régulées par les variations de la sécrétion des glandes sudoripares. La sécrétion de sueur, contrôlée par le système nerveux sympathique, augmente avec l’intensification de l’excitation émotionnelle. Considérées comme un bon indicateur de l’excitation émotionnelle, les réactions EDA ont été utilisées dans de nombreux travaux pour prédire les états émotionnels.
En quoi ces outils vous aident-ils à répondre à vos questions de recherche ?
L’utilisation de biocapteurs nous aide à détecter les changements d’états émotionnels que nous pouvons ensuite associer à un événement, au cours d’une interaction sociale. Nous effectuons cette association à l’aide de microphones, qui nous fournissent des informations sur les stimuli externes, c’est-à-dire la dynamique de communication observée lors de l’interaction sociale. En combinant les biocapteurs et les microphones, nous pouvons extraire des informations pertinentes qui nous permettent de suivre certains aspects des interactions sociales.
Afin de déterminer la meilleure façon de traiter les signaux des capteurs en temps réel pour mieux comprendre les comportements humains et leur influence sur les interactions sociales, nous avons d’abord commencé à concevoir nos algorithmes à partir de données préenregistrées. Dans notre récente publication, nous avons utilisé le logiciel iMotions pour enregistrer simultanément des signaux audio et des signaux EDA. Les signaux EDA ont été obtenus à l’aide du capteur Shimmer3 GSR+ fixé sur la phalange moyenne des index et des majeurs de la main non dominante.
Nous avons enregistré des signaux audio et des signaux EDA pendant que les participants regardaient différentes images et exprimaient à voix haute ce que ces images leur faisaient ressentir. L’analyse des données recueillies a suggéré que la parole pourrait servir à déterminer quelles réactions EDA doivent être prises en compte lors de la reconnaissance des émotions, ce qui pourrait contribuer à améliorer les algorithmes de reconnaissance des émotions en temps réel.
Découvrez la vidéo ci-dessous, qui présente les travaux de recherche de Sylmarie sur la GSR et la surveillance en temps réel :
Comment envisagez-vous l’avenir de la recherche dans votre domaine ?
Je pense qu’avec l’intérêt croissant pour la compréhension des comportements humains dans des environnements naturels, les capteurs portables vont gagner en popularité pour recueillir des données destinées à la recherche sur notre corps et notre environnement. Disposer de capteurs portables capables de détecter avec précision les états émotionnels en temps réel pourrait considérablement améliorer leur utilité dans les applications liées aux soins de santé et aux interactions sur le lieu de travail, entre autres. Sur le plan commercial, on observe déjà des appareils portables tels que Fitbit et Amazon Halo [2] qui mesurent respectivement les niveaux de stress à l’aide de signaux physiologiques et détectent les émotions à l’aide de microphones, dans des environnements naturels. Cependant, comment pouvons-nous utiliser au mieux ces informations pour améliorer nos interactions sociales avec les autres ? Répondre à cette question nécessitera probablement d’importants travaux de recherche à l’avenir.
Pourquoi avez-vous choisi iMotions ?
J’ai découvert iMotions en recherchant des capteurs à utiliser dans le cadre de mes travaux de recherche et en cherchant à déterminer comment collecter de manière synchronisée toutes les données qui m’intéressaient. C’est ainsi que j’ai découvert les capacités du logiciel iMotions à synchroniser les signaux vidéo, audio et biomedicaux dans un environnement convivial.
De plus, le logiciel iMotions permet de connecter n’importe quel appareil, au-delà de ses biocapteurs standard, grâce à son module Advance API. Cela m’a particulièrement séduit, car je souhaitais avoir la liberté d’utiliser tout type de capteur susceptible de servir mes recherches, y compris des capteurs sur mesure conçus dans notre laboratoire. Ainsi, iMotions m’a fourni les outils indispensables pour lancer mes recherches.
Dans la mesure où la parole et les sons sont étudiés en tant que stimuli et comme moyen de comprendre les réactions émotionnelles, cette méthode de codage des événements déclenchés par la parole ouvre de nouvelles perspectives pour la recherche sur le comportement humain.
iMotions a pris conscience de la nécessité d’intégrer cette fonctionnalité afin de permettre le test de stimuli sonores dans une multitude d’applications. À partir de la version 8.1.6 d’iMotions, vous avez la possibilité d’importer des fichiers audio en tant que stimulus, avec ou sans image d’accompagnement. Vous pouvez choisir une image qui s’affichera pendant la lecture du son ou décider de vous concentrer uniquement sur le stimulus audio.
Nous sommes impatients de suivre les futurs travaux de nos clients du Laboratoire des technologies d’augmentation humaine de l’Université d’État du Michigan, qui porteront sur les technologies portables et la recherche biomédicale. Leurs découvertes ouvriront la voie à de futures innovations dans le domaine de l’apprentissage automatique et des interactions entre les machines et les humains.
Références :
[1] La GSR et les émotions : ce que notre peau peut nous révéler sur nos sentiments
[2] https://www.bloomberg.com/news/newsletters/2020-08-31/amazon-s-halo-wearable-can-read-emotions-is-that-too-weird
