Le SDK Emotion d’Affectiva intègre désormais deux nouveaux indicateurs comportementaux en temps réel : « Yawn » (bâillement) et « Pain » (douleur). Conçus pour les tests médiatiques, les jeux vidéo, la recherche en expérience utilisateur et les expériences numériques, ces indicateurs basés sur l’IA mesurent objectivement les réactions faciales physiques avec une faible latence, aidant ainsi les chercheurs et les développeurs à détecter la fatigue, l’inconfort, le désintérêt et les réactions viscérales des utilisateurs avec une plus grande précision et une meilleure compréhension du contexte.
Table of Contents
Nous sommes ravis d’annoncer que nous élargissons les fonctionnalités du SDK Affectiva Emotion avec l’introduction de deux nouveaux indicateurs basés sur les expressions faciales : le bâillement et la douleur.
Ces deux signaux ont pour objectif de fournir aux développeurs, aux chercheurs et aux équipes médias des mesures très précises et en temps réel du comportement physique observable, permettant ainsi de mieux comprendre les réactions des utilisateurs dans le cadre des expériences numériques.
Contrairement aux classifications émotionnelles générales, ces nouveaux indicateurs visent à mesurer objectivement des expressions faciales et des réactions comportementales bien distinctes.
Cela les rend particulièrement utiles pour les applications où la précision et le contexte sont essentiels, notamment les tests multimédias, les jeux vidéo, l’apprentissage en ligne, la recherche en expérience utilisateur, la publicité et les divertissements interactifs.
Présentation du « Yawn Signal »
Le nouveau signal « Yawn » est un indicateur en temps réel conçu pour détecter et mesurer les expressions physiques du bâillement. Alors que les modèles de bâillement précédents étaient principalement développés pour les systèmes automobiles et de surveillance des conducteurs, cette version a été optimisée spécifiquement pour des applications SDK évolutives dans les domaines de la recherche commerciale et des expériences numériques.
Plutôt que de tenter de déterminer si un utilisateur s’ennuie ou est fatigué, le modèle se concentre exclusivement sur les caractéristiques physiques mesurables d’un bâillement, notamment l’ouverture de la bouche, l’abaissement de la mâchoire et la distance verticale entre les lèvres. Cela fournit un indicateur comportemental clair que les développeurs et les chercheurs peuvent interpréter dans le cadre de leur propre application ou étude.
Le modèle a été entraîné à partir d’un vaste ensemble de données visuelles réelles et variées issues de la plateforme Media Analytics d’Affectiva, ce qui garantit d’excellentes performances quel que soit le groupe démographique, l’environnement ou les conditions d’enregistrement. Cette base d’entraînement étendue améliore la fiabilité dans des situations où l’éclairage, les mouvements, la parole et les occlusions peuvent varier considérablement.
D’un point de vue technique, le signal « Yawn » s’appuie sur une architecture d’IA causale optimisée pour la détection en temps réel. Le modèle analyse 29 paramètres distincts, notamment les unités d’action faciale, la géométrie de la bouche, l’activité vocale et les données d’occlusion, ainsi que des caractéristiques statistiques supplémentaires. Comme le système ne s’appuie pas sur les images vidéo futures, il est capable de fournir des résultats à faible latence, adaptés aux applications en direct et interactives.
Afin d’améliorer la stabilité et de réduire les faux positifs, le signal intègre également des mécanismes intelligents de filtrage spatial et temporel qui suppriment les activations accidentelles et ignorent les mouvements brefs de moins de 0,5 seconde qui ne correspondent pas à de véritables bâillements.
Il en résulte un indicateur comportemental très précis qui permet d’identifier les moments de baisse d’attention, de fatigue ou de désintérêt lors de tests de contenu, de formations en ligne, de jeux vidéo et d’études d’ergonomie.
Présentation du signal de douleur
Parallèlement à l’indicateur « Yawn », Affectiva lance également un nouvel indicateur « Pain » destiné à mesurer en temps réel les expressions faciales liées à la douleur physique.
Les modèles traditionnels d’estimation de la douleur présentés dans la littérature scientifique sont souvent entraînés à partir d’ensembles de données cliniques, tels que l’ensemble de données UNBC-McMaster sur les douleurs de l’épaule, et s’appuient sur des cadres de référence comme l’échelle d’intensité de la douleur de Prkachin et Solomon (PSPI). L’approche d’Affectiva adapte ces concepts à des cas d’utilisation plus larges des SDK commerciaux, tout en mettant fortement l’accent sur les comportements faciaux observables.
Tout comme le signal du bâillement, l’indicateur de douleur ne cherche pas à émettre des hypothèses générales sur l’état émotionnel ou la détresse psychologique. Il mesure plutôt de manière objective les réactions physiques du visage associées aux expressions de douleur.
Les activations élevées du signal correspondent à des réactions physiques de douleur intense, tandis que les activations de moindre intensité peuvent également refléter des réactions généralement associées à un sentiment de malaise, à un « tressaillement » ou à des moments que les utilisateurs jugent difficiles à regarder. Cela rend ce signal particulièrement utile pour tester des contenus intenses, dramatiques, provocateurs ou très immersifs.
Le modèle a initialement été entraîné à partir d’une vaste quantité de données d’observation issues du monde réel provenant de la plateforme cloud Media Analytics d’Affectiva, et a été optimisé spécifiquement pour un déploiement via SDK. Le système final combine des approches d’IA causales et acausales avec des techniques avancées de nettoyage temporel, notamment le filtrage morphologique, afin de réduire au minimum les faux positifs et d’améliorer la stabilité globale.
De plus, le filtrage spatial intelligent permet de supprimer les activations lorsque des expressions faciales contradictoires sont détectées, ce qui améliore la fiabilité dans divers environnements réels et face à différents comportements des utilisateurs.
Pour les développeurs, les chercheurs et les équipes multimédia, le signal « Pain » offre un nouveau moyen d’identifier les moments précis où les utilisateurs manifestent de vives réactions viscérales lors de parties de jeux vidéo, de bandes-annonces de films, de vidéos de réactions, de publicités ou d’expériences interactives.
Développer la mesure comportementale
Ensemble, les signaux « Yawn » (bâillement) et « Pain » (douleur) constituent un élargissement de l’approche d’Affectiva en matière de mesure comportementale au sein du SDK Emotion. Plutôt que de se fonder uniquement sur des classifications émotionnelles généralisées, ces indicateurs fournissent des signaux comportementaux très spécifiques et adaptés au contexte, capables de compléter les analyses plus générales de l’engagement et des émotions.
En fournissant des informations plus détaillées sur les réactions physiques des utilisateurs, ces nouveaux indicateurs aident les chercheurs et les développeurs à créer des expériences numériques plus adaptatives, plus réactives et mieux calibrées.
