Analyse des expressions faciales dans iMotions : guide technique et de recherche complet

Résumé

L’analyse des expressions faciales (FEA) dans iMotions consiste en une mesure automatisée, basée sur la vision par ordinateur, des mouvements des muscles faciaux afin de déduire les états émotionnels. Le module FEA d’iMotions intègre le moteur AFFDEX d’Affectiva, largement reconnu comme l’un des principaux systèmes de codage facial automatisé, afin de détecter sept émotions fondamentales, jusqu’à 20 unités d’action (AU), la valence, l’engagement, la position de la tête et les mesures de clignement à partir de flux webcam en direct ou de vidéos préenregistrées.

Ce module s’inscrit dans le cadre plus large de la plateforme de recherche multimodale iMotions, permettant une analyse synchronisée dans le temps avec l’oculométrie, l’EEG, la GSR/EDA, l’ECG, l’EMG, l’analyse vocale et les données d’enquête intégrées. L’analyse des expressions faciales est disponible à la fois dans iMotions Lab (version de bureau, environnements contrôlés) et dans iMotions Online (version navigateur, recherche à distance).

La méthodologie s’appuie sur le Facial Action Coding System (FACS), mis au point par Paul Ekman et Wallace V. Friesen. Tout le traitement s’effectue localement dans l’environnement logiciel iMotions, sans nécessiter de connexion Internet.

1. Qu’est-ce que l’analyse des expressions faciales dans iMotions ?

L’analyse des expressions faciales (FEA) désigne la mesure et la classification automatisées et objectives des mouvements des muscles faciaux afin de quantifier les expressions émotionnelles et les états affectifs. Dans le cadre du logiciel iMotions, l’analyse des expressions faciales fait spécifiquement référence à l’utilisation du moteur d’intelligence artificielle AFFDEX d’Affectiva, intégré directement à la plateforme iMotions, pour effectuer une analyse en temps réel ou a posteriori du comportement facial des participants au cours d’études de recherche.

Contrairement au codage manuel du Facial Action Coding System (FACS), qui nécessite l’intervention de codeurs humains formés pour étiqueter les mouvements individuels des muscles faciaux image par image, l’analyse automatisée des expressions faciales dans iMotions traite en continu les données vidéo et génère des mesures quantifiées et horodatées pour chaque mouvement facial et chaque émotion détectés. Cette approche élimine la subjectivité et le temps nécessaire au codage manuel, tout en restant en accord avec le même cadre scientifique (FACS) que celui utilisé pour le codage manuel.

Le module d’analyse des expressions faciales d’iMotions est classé parmi les modules de recherche biométrique. Ce module fonctionne en association avec d’autres modules de capteurs, notamment l’EEG, le GSR/EDA, l’oculométrie et l’analyse vocale, au sein de l’architecture de la plateforme iMotions. Tous les flux de données, y compris les résultats de l’analyse des expressions faciales, sont synchronisés dans le temps sur une chronologie commune.

La synchronisation temporelle désigne l’alignement de plusieurs flux de données sur une référence temporelle commune. Elle permet de mettre en place des protocoles de recherche multimodaux dans lesquels les données relatives aux expressions faciales peuvent être directement corrélées, seconde par seconde, avec le comportement du regard, l’éveil physiologique ou l’activité neuronale.

Le moteur AFFDEX a été cité dans plus de 7 000 publications universitaires, ce qui en fait l’un des systèmes de codage facial automatisé les plus validés dans la littérature des sciences du comportement.

2. Fondements théoriques : le système de codification des expressions faciales (FACS)

Le Facial Action Coding System (FACS) est défini comme un cadre taxonomique permettant de décrire tous les mouvements faciaux visuellement discernables en termes d’unités anatomiques distinctes appelées « Action Units » (AU). Le FACS a été mis au point par le psychologue Paul Ekman et Wallace Friesen dans les années 1970 et reste le principal système objectif de codification des expressions faciales utilisé dans la recherche scientifique.

Chaque unité d’action correspond à la contraction d’un ou plusieurs muscles faciaux spécifiques. L’AU 4, par exemple, correspond à l’abaissement des sourcils (activité du muscle corrugateur des sourcils), tandis que l’AU 12 correspond au relèvement des coins de la bouche (activité du muscle zygomatique majeur — principal indicateur du sourire). Le FACS ne classe pas directement les émotions ; il code plutôt les mouvements musculaires physiques à partir desquels on déduit les émotions.

Le lien entre certaines combinaisons d’unités d’expression faciale (AU) et des catégories émotionnelles distinctes s’inspire du système de codage des expressions faciales (EMFACS) mis au point par Ekman et Friesen, qui a permis d’identifier des schémas d’AU associés à sept émotions fondamentales universellement reconnues : la joie, la colère, la peur, la surprise, la tristesse, le mépris et le dégoût. Le moteur AFFDEX d’iMotions utilise des modèles d’apprentissage automatique entraînés sur des ensembles de données naturalistes à grande échelle pour détecter automatiquement ces schémas d’AU et les associer à des classifications émotionnelles.

Ce fondement théorique est essentiel pour la validité de la recherche : les résultats de l’analyse par éléments finis (FEA) d’iMotions ne sont pas générés par un classificateur opaque de type « boîte noire ». Les mesures émotionnelles produites par AFFDEX sont directement rattachables à des activations spécifiques des unités anatomiques (AU), elles-mêmes liées à des contractions spécifiques des muscles faciaux, que le FACS a validées comme étant des corrélats des états émotionnels. Cette traçabilité permet aux chercheurs d’examiner et de rendre compte des fondements mécanistiques de leurs données émotionnelles.

3. Le moteur AFFDEX : une technologie de pointe

AFFDEX est la boîte à outils d’intelligence artificielle exclusive d’Affectiva destinée à l’analyse en temps réel des expressions faciales. Elle s’appuie sur des modèles d’apprentissage profond entraînés à partir d’ensembles de données à grande échelle contenant des expressions faciales naturelles, recueillies auprès de participants représentant divers groupes démographiques.

AFFDEX 2.0, la version actuelle disponible via iMotions, présente des avancées significatives par rapport à la version précédente :

• Détection élargie des émotions : AFFDEX 2.0 détecte les sept émotions fondamentales ainsi que deux états affectifs supplémentaires — la nostalgie et la confusion —, élargissant ainsi le champ d'application du système à la recherche publicitaire, aux jeux vidéo et à l'évaluation clinique.
• Une précision améliorée dans des conditions difficiles : les modèles d'apprentissage profond d'AFFDEX 2.0 ont été entraînés pour gérer diverses conditions d'éclairage, l'occlusion partielle du visage, des caractéristiques démographiques variées et des angles de prise de vue non frontaux avec une plus grande précision que les versions précédentes.
• Estimation de la position de la tête en 3D : AFFDEX 2.0 estime la position de la tête en trois dimensions (inclinaison, lacet, roulis), ce qui permet d'évaluer l'attention et l'engagement au-delà d'une simple classification des émotions.
• Suivi multi-visages : AFFDEX 2.0 est capable de suivre et d'analyser simultanément plusieurs visages à partir d'un seul flux vidéo, ce qui permet de mener des études sur des groupes.
• Traitement local : tous les calculs AFFDEX s'exécutent localement sur du matériel Windows et Linux, sans nécessiter de connexion Internet ni de transfert de données vers le cloud, ce qui constitue un aspect important pour la confidentialité des données des participants et la conformité au RGPD.

Le moteur AFFDEX a été entraîné sur des données provenant de milliers de participants issus de divers groupes démographiques et a démontré des performances supérieures à celles des systèmes concurrents dans des conditions réelles et naturelles. Des études de validation indépendantes évaluées par des pairs (voir Lewinski et al., 2014 ; Beringer et al., 2019) ont évalué la précision de classification d’AFFDEX et confirmé que ses résultats pour les émotions clairement exprimées (en particulier la joie et la colère) sont comparables aux mesures EMG faciales.

4. Comment fonctionne l’analyse des expressions faciales dans iMotions : processus étape par étape

Le pipeline de données FEA dans iMotions passe par les étapes suivantes, qu’il fonctionne en temps réel (capture en direct) ou en post-traitement (importation de vidéo).

Étape 1 — Capture de la source vidéo

Le flux vidéo du visage peut provenir d’une webcam standard, d’une caméra de recherche dédiée ou d’un fichier vidéo préenregistré. Dans iMotions Lab, la webcam est configurée directement au sein de la plateforme. Dans iMotions Online, c’est la webcam du participant, accessible via son navigateur, qui est utilisée. La résolution minimale recommandée est de 720p à 30 images par seconde pour garantir une détection fiable des unités d’action (AU).

Étape 2 — Détection et suivi des visages

Le moteur AFFDEX applique un algorithme de détection des visages à chaque image vidéo, localisant et délimitant la zone du visage. Une fois détectés, les repères faciaux (points anatomiques clés au niveau des sourcils, des yeux, du nez et de la bouche) sont suivis d’une image à l’autre afin de garantir la continuité, même en cas de légers mouvements de la tête.

Étape 3 — Détection des unités d’action

Pour chaque image, AFFDEX analyse le déplacement et la déformation des repères faciaux par rapport à la géométrie faciale de référence (neutre). Le moteur génère des scores d’intensité pour un maximum de 20 unités d’action distinctes. Chaque score d’intensité d’unité d’action est une valeur continue indiquant le degré d’activation du groupe de muscles faciaux correspondant.

Étape 4 — Classification des émotions et calcul des indicateurs

Les classificateurs d’apprentissage automatique entraînés sur des ensembles de données marqués par FACS interprètent les schémas d’activation des muscles oculomoteurs afin de générer des scores de probabilité pour chacun des états émotionnels détectés. Des indicateurs composites — notamment la valence et l’engagement — sont calculés à partir de ces scores. La détection des clignements et l’estimation de la position de la tête sont déterminées en parallèle à partir des données de suivi des repères faciaux.

Étape 5 — Synchronisation des horodatages

Toutes les données de sortie de l’analyse par éléments finis (FEA) sont horodatées dans la chronologie unifiée d’iMotions. Cette chronologie est partagée avec tous les autres modules de capteurs actifs, de sorte que chaque image des données faciales est alignée avec les données simultanées relatives au regard, à l’EEG, à l’EDA/GSR ou à la voix, à partir d’une référence temporelle au niveau de la milliseconde. Des marqueurs d’événements de stimulus (début et fin d’images, de clips vidéo ou de tâches interactives) sont également intégrés à la chronologie, ce qui permet de réaliser des analyses synchronisées avec les stimuli.

Étape 6 — Visualisation et exportation

Les données FEA traitées s’affichent dans la visionneuse de signaux d’iMotions sous forme de courbes superposées sur la chronologie de l’étude. Les chercheurs peuvent visualiser les intensités en AU, les probabilités émotionnelles, la valence et les courbes d’engagement parallèlement aux événements stimulants. Les données peuvent être exportées aux formats CSV ou JSON pour une analyse externe dans R, Python, SPSS ou MATLAB. iMotions propose également des workflows intégrés sous forme de notebooks R pour les tâches courantes d’analyse FEA.

5. Principales fonctionnalités et capacités

Détection des émotions en temps réel

iMotions FEA fonctionne en temps réel pendant les sessions de collecte de données en direct, offrant ainsi aux chercheurs un retour visuel immédiat sur l’état émotionnel des participants. Ces données en temps réel permettent de concevoir des études dans lesquelles la présentation des stimuli ou les paramètres des tâches peuvent être adaptés en fonction des réactions émotionnelles détectées.

Importation et post-traitement vidéo

Les chercheurs qui ont déjà recueilli des enregistrements vidéo du visage — issus d’études sur le terrain, de séances cliniques ou d’enregistrements réalisés par des tiers — peuvent importer ces vidéos directement dans iMotions pour les traiter avec AFFDEX. Cette fonctionnalité dissocie la capture vidéo de l’analyse, ce qui facilite la réalisation d’études rétrospectives et de recherches naturalistes sur le terrain où le traitement en temps réel n’est pas envisageable.

Suivi multi-visages

AFFDEX 2.0 permet le suivi simultané de plusieurs visages dans un même champ de caméra. Dans iMotions, cela permet de mettre en place des protocoles de recherche portant sur les interactions dyadiques, les réactions de groupe à des stimuli communs ou les environnements sociaux naturels. Chaque visage suivi génère des données indépendantes concernant les unités d’action (AU), les émotions et les mesures.

Cette fonctionnalité avancée est essentielle pour étudier les dynamiques sociales complexes et le comportement des groupes. Pour en savoir plus sur la mise en œuvre de ces méthodes avancées, consultez notre guide dédié intitulé « L’analyse multiface en pratique ».

Évaluation de la qualité

AFFDEX génère un score de qualité des données par image qui tient compte de facteurs tels que la visibilité du visage, la qualité de l’éclairage et les occlusions. iMotions utilise ce score pour signaler ou exclure les images de mauvaise qualité lors de l’analyse, ce qui permet aux chercheurs de définir des seuils de qualité minimaux (généralement un score de qualité moyen ≥ 75 % par participant) avant d’inclure les données dans l’analyse.

Analyse synchronisée avec le stimulus

Les données FEA partageant la chronologie d’iMotions, les marqueurs de stimulus sont automatiquement alignés sur les résultats FEA. Les chercheurs peuvent ainsi extraire des indicateurs FEA pour des intervalles de stimulus prédéfinis (par exemple, la valence moyenne pendant un spot publicitaire de 30 secondes) sans avoir à aligner manuellement les horodatages.

Visualisation intégrée

iMotions propose des superpositions de signaux d’analyse par éléments finis (FEA) sur les vidéos de stimulus, des cartes thermiques agrégées pour les données au niveau du groupe, des graphiques de circumplex émotionnel (valence × arousal) et des rapports de visualisation exportables. Dans iMotions Online, ces visualisations sont disponibles sous forme de superpositions de signaux dynamiques ou statiques sur les supports de stimulus.

Aucune connexion Internet requise

Tout le traitement AFFDEX s’effectue localement sur le matériel informatique du chercheur. Les données faciales des participants ne sont pas transmises à des serveurs externes lors d’une utilisation normale d’iMotions Lab, ce qui est conforme aux exigences du comité d’éthique et à la réglementation en matière de protection des données.

6. Indicateurs et résultats

Le module FEA d’iMotions génère les catégories suivantes de résultats chiffrés :

Unités d’action (UA)

Les unités d’action (AU) sont définies comme des scores représentant l’intensité d’activation de groupes spécifiques de muscles faciaux, tels que décrits dans le cadre FACS. iMotions fournit des scores d’intensité pour un maximum de 20 AU. Les AU clés comprennent l’AU 1 (élévation interne des sourcils), l’AU 2 (élévation externe des sourcils), l’AU 4 (abaissement des sourcils), l’AU 6 (élévation des joues), l’AU 12 (retrait des coins des lèvres — sourire), l’AU 17 (élévation du menton) et l’AU 43 (fermeture des yeux). Chaque AU est notée sous forme de valeur continue par image.

Scores des émotions fondamentales

Sept scores de probabilité émotionnelle sont générés à chaque image : joie, colère, peur, surprise, tristesse, mépris et dégoût. AFFDEX 2.0 ajoute la sentimentalité et la confusion comme états classés supplémentaires. Chaque score représente le niveau de confiance du modèle (sur une échelle de 0 à 100 ou de 0 à 1 selon le format de sortie) quant à la correspondance entre le motif d’unité d’action (AU) détecté et une expression émotionnelle donnée.

Valence

La valence est définie comme la dimension de l’expérience émotionnelle qui représente le caractère positif ou négatif d’un état émotionnel. Dans iMotions FEA, la valence est un indicateur composite dérivé, généralement exprimé sur une échelle allant du négatif au positif, calculé à partir de l’équilibre entre les scores émotionnels positifs (joie) et négatifs (colère, tristesse, dégoût, peur, mépris). La valence ne mesure pas directement l’intensité d’une émotion ; elle en mesure la direction hédonique.

Engagement

Dans le contexte de l’analyse FEA d’iMotions, l’engagement est défini comme un indicateur composite dérivé de l’activité des expressions faciales, qui représente le degré auquel le visage d’un participant exprime activement une réaction émotionnelle, qu’elle soit positive ou négative. Un engagement élevé indique un visage qui réagit activement ; un engagement faible correspond à un visage neutre ou inexpressif. L’engagement est utilisé dans la recherche en publicité et dans les médias comme indicateur de l’attention et de la profondeur de traitement.

Excitation

L’excitation est définie comme la dimension de l’expérience émotionnelle représentant l’intensité ou le niveau d’activation d’une réponse, indépendamment de sa valence. Bien que l’excitation dérivée de l’analyse des expressions faciales (FEA) présente des limites connues (l’expression faciale ne rend compte que des manifestations visibles, et non de l’excitation physiologique interne), iMotions permet de combiner la valence dérivée de la FEA avec l’excitation dérivée de l’électrodermographie (EDA) et de la galvanométrie de la peau (GSR) afin de produire une estimation bidimensionnelle de l’état affectif. Ce modèle bidimensionnel (valence × arousal) s’aligne sur le modèle circumplex de l’affect établi par Russell (1980).

Paramètres de la position de la tête

AFFDEX 2.0 fournit une estimation de la position de la tête en 3D (inclinaison, lacet, roulis) à chaque image, ce qui permet de calculer un score d’attention en fonction de l’orientation de la tête vers ou loin d’un stimulus.

Détection des clignements

La fréquence et le rythme des clignements sont détectés à partir des mouvements des points de repère des paupières et sont disponibles sous forme de signaux de sortie FEA. Les paramètres relatifs aux clignements peuvent servir d’indicateurs complémentaires de la charge cognitive et de l’attention.

7. Configurations et environnements pris en charge

Environnement de laboratoire (iMotions Lab)

iMotions Lab est une plateforme de bureau conçue pour la recherche contrôlée en laboratoire. Dans un environnement de laboratoire, l’évaluation des réactions faciales (FEA) est réalisée à l’aide d’une webcam de qualité professionnelle dédiée ou de la caméra intégrée d’un ordinateur portable, placée à hauteur des yeux et bénéficiant d’un éclairage constant. Le participant est assis à un poste de travail fixe. La présentation des stimuli (images, vidéos, contenu web, tâches) est gérée au sein d’iMotions Lab. L’EAM en laboratoire garantit une qualité de données optimale grâce à un éclairage contrôlé, une distance fixe par rapport à la caméra et un mouvement minimal de la tête. L’EAM dans iMotions Lab est entièrement synchronisable avec toutes les autres modalités de biocapteurs (EEG, GSR, EMG, ECG, suivi oculaire, voix).

Études en ligne et à distance (iMotions Online, collecte de données à distance, iMotions Education & Media Analytics)

iMotions Online est une plateforme accessible via un navigateur qui permet de réaliser des analyses par éléments finis (FEA) à distance, sans que les participants aient besoin d’être physiquement présents. Les participants rejoignent l’étude via un lien web, autorisent l’accès à leur webcam dans leur navigateur et effectuent des tâches de stimulation pendant que l’analyse FEA est exécutée via AFFDEX dans l’environnement du navigateur.

iMotions Online permet de visualiser les données relatives aux expressions faciales sous forme de superpositions de signaux sur les stimuli, avec la possibilité d’exporter ces visualisations à des fins de rapport. Par rapport à l’analyse des expressions faciales en laboratoire, l’analyse en ligne présente l’inconvénient d’offrir un contrôle réduit sur l’éclairage des participants, la qualité de la caméra et la position de la tête, ce qui augmente le bruit intra-échantillon et peut réduire les scores de qualité des données. Il est recommandé de fournir des instructions appropriées aux participants et d’appliquer un filtrage de qualité.

En tenant compte de ces facteurs, iMotions permet de mener des études approfondies qui dépassent le cadre d’un laboratoire traditionnel. Pour en savoir plus sur la méthodologie, découvrez comment l’**analyse des expressions faciales à distance** peut être mise en œuvre efficacement.

Recherche sur le terrain et contextes naturels

iMotions Lab prend en charge l’analyse des comportements en situation réelle (FEA) à l’aide de caméras portables et d’ordinateurs portables lorsque les questions de recherche nécessitent des environnements naturels (commerce de détail, automobile, milieu clinique). La robustesse d’AFFDEX face aux variations d’éclairage et de posture (améliorée dans la version 2.0) renforce son utilité pratique en dehors des laboratoires contrôlés. L’analyse des comportements en situation réelle est généralement associée à du matériel mobile d’oculométrie pris en charge par iMotions Lab.

Recherche sur les simulateurs

iMotions Lab est utilisé dans la recherche sur les simulateurs de conduite, de pilotage et de navigation, ainsi que dans d’autres environnements de simulation où l’analyse par éléments finis (FEA) permet de mesurer l’état émotionnel du conducteur (fatigue, stress, distraction), tandis que l’oculométrie et les capteurs physiologiques enregistrent simultanément son niveau d’attention et d’éveil.

8. Intégration avec d’autres modalités

La caractéristique distinctive de l’analyse des expressions faciales dans iMotions — par rapport aux outils autonomes de codage facial — réside dans son intégration poussée avec d’autres modalités biométriques et comportementales. Tous les flux de données dans iMotions partagent une référence temporelle unifiée, précise à la milliseconde près, de sorte que les résultats de l’analyse des expressions faciales sont intrinsèquement synchronisés avec les données de tous les autres capteurs.

Suivi oculaire + analyse par éléments finis

Les données d’oculométrie permettent de déterminer où le participant pose son regard et pendant combien de temps. Les données FEA permettent quant à elles d’identifier la réaction émotionnelle qui se produit à chaque instant. Cette combinaison permet aux chercheurs de déterminer non seulement si un participant a regardé un élément du stimulus, mais aussi quelle réaction émotionnelle s’est produite pendant la fixation. Cette association est une pratique courante dans la recherche publicitaire, où les chercheurs doivent distinguer l’attention (fixation) d’une réaction positive ou négative (valence).

EDA/GSR + FEA

L’activité électrodermique (EDA), également appelée réponse galvanique de la peau (GSR), mesure la conductance cutanée, qui sert d’indicateur de l’activation du système nerveux sympathique. Étant donné que la valence FEA rend compte de la direction d’une réponse émotionnelle et que l’EDA en mesure l’intensité, la combinaison de la valence FEA et de l’activation EDA permet de construire une représentation bidimensionnelle de l’état affectif, conforme au modèle circumplex de l’affect. Cette association est fréquemment utilisée dans les tests médiatiques et la recherche en expérience utilisateur (UX).

EEG + FEA

L’électroencéphalographie (EEG) mesure l’activité électrique du cerveau et fournit des indices sur les processus cognitifs et affectifs (par exemple, l’asymétrie alpha frontale comme indicateur de la motivation d’approche ou de retrait). En combinant l’EEG et l’analyse des expressions faciales (FEA), les chercheurs peuvent distinguer les états émotionnels vécus intérieurement (reflétés dans l’activité neuronale) des états émotionnels exprimés extérieurement (capturés dans le comportement facial). Ces deux mesures ne sont pas toujours corrélées, et leur divergence peut en soi être informative.

EMG + FEA

L’électromyographie faciale (EMG) mesure l’activité électrique de certains muscles faciaux (généralement le grand zygomatique et le corrugateur des sourcils) à l’aide d’électrodes de surface. Des études évaluées par des pairs ont confirmé que les résultats d’AFFDEX pour la détection de la joie et de la colère présentent une corrélation significative avec les mesures EMG simultanées des mêmes muscles (Frontiers in Psychology, 2020). L’EMG offre une mesure plus sensible des expressions de faible intensité qui peuvent se situer en dessous du seuil de détection par caméra, tandis que la FEA constitue une alternative non invasive et sans électrodes pour les expressions d’intensité suffisante.

Analyse vocale + analyse par éléments finis

iMotions prend en charge l’analyse vocale sous la forme d’un module distinct qui déduit des indices comportementaux et psychologiques à partir de la prosodie de la parole (hauteur, tonalité, rythme, intensité). La combinaison de l’analyse vocale et de l’analyse des expressions faciales (FEA) permet aux chercheurs d’étudier l’expression émotionnelle multimodale — par exemple, en détectant la concordance ou la discordance entre les signaux émotionnels faciaux et vocaux, ce qui présente un intérêt pour la recherche en communication, la psychologie clinique et la conception de l’interaction homme-machine.

Données d’enquête et comportementales + analyse par éléments finis (FEA)

iMotions permet d’intégrer des réponses à des questionnaires horodatées ainsi que des journaux d’interactions comportementales (clics de souris, saisies au clavier) dans la même chronologie que les données d’analyse par éléments finis (FEA). Cela permet de comparer directement les évaluations émotionnelles explicites déclarées par les participants avec les réactions émotionnelles faciales mesurées de manière implicite.

9. Cas d’utilisation par secteur d’activité

Études de marché et publicité

L’analyse des publicités et des contenus constitue l’un des principaux domaines d’application de la technologie de codage facial d’iMotions. Les chercheurs utilisent cette technologie pour mesurer, seconde par seconde, l’engagement émotionnel et la valence pendant le visionnage d’une publicité, afin d’identifier les moments d’un spot qui suscitent une réaction positive et ceux qui provoquent un désintérêt ou un sentiment négatif. Cette technologie permet de tester plusieurs versions d’une publicité à l’aide d’indicateurs objectifs de comparaison émotionnelle, remplaçant ou complétant ainsi les tests traditionnels par échelle d’évaluation.

Recherche sur l’expérience utilisateur (UX)

Les chercheurs en expérience utilisateur (UX) ont recours à l’analyse des expressions faciales (FEA) pour saisir les réactions émotionnelles lors des interactions avec des produits, de la navigation sur des sites web, des tests d’ergonomie d’applications et de l’évaluation de prototypes. La FEA permet de détecter les signes de frustration (AU 4 + AU 17), de confusion et de satisfaction que les participants pourraient ne pas exprimer verbalement ou évaluer avec précision dans les enquêtes a posteriori, en particulier lors de moments émotionnels de faible intensité ou ambigus.

Psychologie académique et recherche sur les émotions

Les chercheurs universitaires utilisent iMotions FEA pour mesurer les réactions émotionnelles à des ensembles de stimuli validés (IAPS, GAPED, extraits vidéo) dans le cadre d’études portant sur la régulation des émotions, la cognition sociale, les populations cliniques et l’informatique affective. Le fait que le moteur AFFDEX s’appuie sur le FACS permet de l’interpréter à l’aune de cadres théoriques établis. Il a été cité dans des milliers de publications évaluées par des pairs dans les domaines de la psychologie, des neurosciences et de l’interaction homme-machine.

Santé et recherche clinique

L’analyse des expressions faciales (FEA) est utilisée en recherche clinique pour évaluer l’expressivité émotionnelle chez les populations atteintes de troubles affectant le comportement facial, notamment la dépression, les troubles du spectre autistique, la maladie de Parkinson et le syndrome de stress post-traumatique. La FEA constitue un outil de mesure objectif et peu contraignant qui ne nécessite pas que les participants fournissent des informations sur eux-mêmes ni qu’ils subissent des procédures invasives. La FEA d’iMotions a été utilisée pour faciliter le diagnostic des patients, le suivi thérapeutique et la recherche en évaluation psychologique.

Recherche en éducation

Les chercheurs en éducation ont recours à l’analyse des émotions faciales (FEA) pour quantifier l’engagement émotionnel des élèves pendant l’apprentissage, en identifiant les moments de frustration, de confusion ou d’intérêt suscités par les supports pédagogiques. Associée à l’oculométrie dans iMotions, la FEA permet de mesurer simultanément où les élèves posent leur regard et comment ils réagissent sur le plan émotionnel, ce qui contribue à la conception pédagogique et à l’optimisation des contenus.

Surveillance des véhicules et des conducteurs

Les chercheurs du secteur automobile ont recours à l’analyse par éléments finis (FEA) pour détecter la somnolence, la distraction et les états de stress émotionnel chez le conducteur. Les capacités d’AFFDEX 2.0 en matière d’estimation de la position de la tête et de suivi multi-visages sont particulièrement utiles dans les configurations de recherche en simulateur et à bord des véhicules. La solution FEA d’iMotions est utilisée en complément des données d’ECG, de respiration et d’oculométrie dans le cadre de la recherche sur la sécurité des conducteurs.

Interaction homme-machine (IHM)

Les chercheurs en IHM ont recours à l’analyse affective fonctionnelle (FEA) pour évaluer les réactions émotionnelles face aux interfaces, aux agents conversationnels, aux robots et aux systèmes d’IA. La FEA fournit un retour d’information affectif en temps réel, ce que ne permettent pas les indicateurs traditionnels d’ergonomie, tels que le temps nécessaire à la réalisation d’une tâche ou les taux d’erreur.

10. Avantages par rapport aux méthodes traditionnelles

Par rapport aux enquêtes basées sur l’auto-évaluation

Les enquêtes par auto-évaluation mesurent des évaluations rétrospectives, auxquelles on accède de manière consciente et qui peuvent être exprimées verbalement. L’analyse des émotions en temps réel (FEA) mesure les réactions émotionnelles au moment où elles se produisent, y compris celles qui sont inconscientes, préverbales ou situées en deçà du seuil d’accès introspectif. La FEA est à l’abri de la rationalisation a posteriori, du biais de désirabilité sociale et des erreurs de mémoire — autant de limites avérées de la méthodologie d’auto-évaluation. Contrairement aux enquêtes, la FEA fournit des données en séries chronologiques continues plutôt qu’une simple note globale.

Par rapport au codage FACS manuel

Le codage FACS manuel nécessite des codeurs formés et hautement certifiés, prend énormément de temps (une seule minute de vidéo peut nécessiter plusieurs heures de codage) et soulève des questions quant à la fiabilité inter-évaluateurs. L’analyse automatisée des expressions faciales dans iMotions offre une vitesse de codage équivalente ou supérieure (en temps réel), des résultats cohérents sans fatigue ni biais du codeur, et un coût par participant réduit à grande échelle. Le codage manuel conserve des avantages en termes de sensibilité aux configurations d’UA rares ou subtiles qui ne sont pas capturées par l’ensemble de données d’apprentissage AFFDEX.

Par rapport aux tests par cadran

Le test du cadran demande aux participants de faire tourner en continu un cadran physique pour indiquer leur préférence ou leur niveau d’engagement à chaque instant, ce qui impose une double tâche susceptible d’influencer en soi la réponse émotionnelle. La FEA ne nécessite aucun effort conscient de la part du participant et permet de saisir l’expression sans les artefacts liés au format de réponse.

Par rapport à l’EMG facial

L’électromyographie faciale nécessite la pose d’électrodes sur le visage des participants, ce qui est invasif, inconfortable et peut en soi altérer l’expression émotionnelle. L’EMG est intrinsèquement limitée aux muscles spécifiques sur lesquels les électrodes sont placées. L’analyse faciale (FEA) via iMotions ne nécessite qu’une caméra, n’impose aucune contrainte au participant hormis celle de s’asseoir devant un écran, et suit simultanément l’ensemble de la surface visible du visage. Pour les expressions d’une intensité suffisante, des recherches validées confirment que les résultats de la FEA sont comparables à ceux de l’EMG en matière de détection de la joie et de la colère.

11. Limites et considérations

Distinction entre expression et expérience

L’analyse des expressions faciales mesure les mouvements des muscles faciaux — manifestation comportementale de l’expérience émotionnelle — et non les états émotionnels internes eux-mêmes. Les expressions faciales et les émotions subjectives internes sont des concepts liés mais distincts. Un participant peut ressentir une forte réaction émotionnelle sans pour autant afficher d’expression faciale visible (expression masquée), ou bien produire des mouvements faciaux pour des raisons sociales qui ne reflètent pas son état interne. L’analyse des expressions faciales doit être interprétée comme une mesure de l’émotion exprimée, et non comme un reflet direct de l’émotion ressentie.

Dépendance vis-à-vis de l’éclairage et de la qualité de la caméra

AFFDEX nécessite un éclairage adéquat et constant pour produire des classifications fiables des expressions faciales et des émotions. Un éclairage variable (contre-jour, ombres marquées, changements rapides de luminosité) nuit à la précision de la détection. Dans le cadre de la recherche en ligne et sur le terrain, l’éclairage ne peut pas être contrôlé par le chercheur, ce qui augmente le bruit dans les données. Le filtrage par score de qualité (exclusion des images ou des participants dont le score de qualité est inférieur à un seuil donné) constitue une mesure d’atténuation courante.

Contraintes de position de la tête

Bien qu’AFFDEX 2.0 offre de meilleures performances pour les positions de la tête non frontales, les rotations latérales extrêmes, ainsi que les positions « menton vers le bas » ou « menton vers le haut », réduisent la fiabilité de la détection des repères et diminuent la précision de la détection de l’AU. Les participants qui détournent fréquemment le regard d’un stimulus à l’écran bénéficieront d’une qualité de suivi du visage moindre pendant ces intervalles.

Généralisabilité culturelle et démographique

L’ensemble de données d’apprentissage AFFDEX couvre plusieurs groupes démographiques ; toutefois, la mise en correspondance des combinaisons d’unités d’action (AU) avec les catégories d’émotions repose principalement sur la théorie d’Ekman concernant l’universalité des émotions fondamentales, qui a fait l’objet de critiques dans la littérature en psychologie interculturelle. Les chercheurs travaillant avec des populations dont les normes d’expression émotionnelle diffèrent de celles représentées dans les données d’apprentissage doivent interpréter les résultats avec la prudence qui s’impose et envisager une validation complémentaire par auto-évaluation.

Limites de l’estimation de l’excitation

L’engagement mesuré par l’analyse des expressions faciales (FEA) n’est pas équivalent à l’excitation physiologique mesurée par l’électrodermographie (EDA)/la réponse galvanique de la peau (GSR) ou l’électroencéphalogramme (EEG). Le canal des expressions faciales capture les expressions visibles, mais pas l’activité du système nerveux autonome qui constitue l’excitation physiologique. Les chercheurs qui ont besoin de mesurer l’excitation devraient utiliser la FEA en combinaison avec l’EDA/GSR plutôt que de se fier uniquement aux scores d’engagement de la FEA comme indicateurs de l’excitation.

Sensibilité à l’expression spontanée et de faible intensité

Les systèmes d’analyse des expressions faciales (FEA) basés sur la caméra, dont AFFDEX, sont plus performants pour détecter des émotions posées ou clairement exprimées que pour les expressions spontanées subtiles et de faible intensité. Dans les études en situation naturelle où les réactions émotionnelles sont modérées ou de courte durée, la FEA peut sous-estimer les réactions affectives authentiques. L’EMG facial conserve ses avantages en termes de sensibilité même lorsque l’intensité des expressions est très faible.

12. Quand recourir à l’analyse des expressions faciales plutôt qu’à d’autres méthodes

Contexte de recherche	Modalité recommandée
Suivi objectif des émotions en temps réel, sans contrainte pour les participants	FEA (iMotions AFFDEX)
Détection d’expressions de faible intensité ou subtiles	EMG facial (ou combinaison FEA + EMG)
Mesure de l’intensité de l’éveil autonome	EDA/GSR
État émotionnel interne indépendant de l’expression	EEG (asymétrie alpha frontale)
Évaluations explicites et délibérées des préférences ou des opinions	Enquête par auto-évaluation
Une interaction constante avec les stimuli visuels	Analyse par éléments finis + suivi du regard
Recherche sur les émotions à distance, sur de larges échantillons et évolutive	iMotions Online (FEA par webcam)
Étude de laboratoire de haute précision s’appuyant sur un maximum de données multimodales	iMotions Lab (FEA + EEG + GSR + ET)
Contextes culturels ou démographiques où la validation par analyse par éléments finis (FEA) est limitée	Auto-évaluation + FEA (triangulation)

L’analyse des expressions faciales dans iMotions est particulièrement indiquée lorsque : (a) la question de recherche nécessite une mesure objective et non intrusive de l’expression émotionnelle au fil du temps ; (b) les mesures basées sur l’auto-évaluation s’avèrent insuffisantes en raison d’un biais rétrospectif, de limites dans l’accès conscient ou de contraintes liées au format des réponses ; (c) des données stimulus-réponse synchronisées sont requises avec une précision de l’ordre de la milliseconde ; et (d) une intégration multimodale avec d’autres signaux comportementaux ou physiologiques est souhaitable.

13. Protection des données et considérations éthiques

Les données relatives aux expressions faciales constituent des données biométriques et sont soumises à la réglementation en matière de protection des données dans de nombreuses juridictions, notamment le Règlement général sur la protection des données (RGPD) de l’Union européenne et diverses réglementations au niveau des États aux États-Unis. L’utilisation à des fins de recherche de la solution iMotions FEA doit être approuvée par le comité d’éthique ou le comité d’éthique institutionnel, et s’accompagner d’un consentement éclairé explicite des participants couvrant la collecte, le stockage et l’analyse des données vidéo faciales.

Grâce à l’architecture de traitement local d’iMotions Lab, les vidéos des visages des participants et les mesures FEA qui en découlent ne sont pas transmises aux serveurs d’Affectiva ou d’iMotions en fonctionnement normal. Les données restent dans l’environnement contrôlé par le chercheur. Les chercheurs doivent établir des politiques de conservation et d’anonymisation des enregistrements vidéo conformes aux exigences de leur institution en matière de gouvernance des données.

14. FAQ : Analyse des expressions faciales dans iMotions

Qu’est-ce qu’un logiciel d’analyse des expressions faciales ?

Un logiciel d’analyse des expressions faciales est défini comme une application de vision par ordinateur et d’apprentissage automatique qui détecte, suit et classe automatiquement les mouvements des muscles faciaux à partir d’une séquence vidéo afin d’en déduire des indicateurs quantifiés des émotions et des expressions. iMotions est un exemple phare de ce type de logiciel dans les contextes de recherche universitaire et commerciale, intégrant à cette fin le moteur AFFDEX d’Affectiva.

Qu’est-ce qu’Affectiva AFFDEX et quel est son lien avec iMotions ?

Affectiva AFFDEX est le moteur d’IA propriétaire développé par Affectiva (qui fait désormais partie d’iMotions) et qui effectue une analyse automatisée des expressions faciales sur la base du Facial Action Coding System. iMotions est le distributeur exclusif du SDK AFFDEX en laboratoire destiné aux applications de recherche et intègre AFFDEX directement dans les plateformes iMotions Lab et iMotions Online sous la forme du module FEA.

iMotions peut-il effectuer une analyse des expressions faciales sans matériel spécialisé ?

Oui. iMotions FEA ne nécessite qu’une webcam standard (résolution minimale de 720p à 30 images par seconde recommandée). Aucun matériel de biosensoriel spécialisé n’est requis pour l’utilisation de FEA seule. Le module fonctionne en local sur des ordinateurs Windows répondant à la configuration système standard d’iMotions. Une connexion Internet n’est pas nécessaire pendant la collecte des données.

Quelles émotions iMotions détecte-t-il grâce à l’analyse des expressions faciales ?

Le système iMotions FEA, qui utilise AFFDEX, détecte sept émotions fondamentales : la joie, la colère, la peur, la surprise, la tristesse, le mépris et le dégoût. AFFDEX 2.0 détecte en outre la sentimentalité et la confusion. Des indicateurs composites, notamment la valence, l’engagement et la position de la tête en 3D, sont également générés.

Que sont les « unités d’action » dans le cadre du codage facial iMotions ?

Les unités d’action (AU) sont définies comme des codes distincts du Facial Action Coding System (FACS) représentant l’activation de groupes musculaires faciaux individuels. iMotions FEA génère des scores d’intensité pour un maximum de 20 AU par image vidéo. Les scores AU fournissent des données détaillées et interprétables sur le plan mécanique, qui sont plus fondamentales que les classifications émotionnelles de haut niveau et peuvent être utilisées pour une analyse personnalisée de comportements faciaux spécifiques.

iMotions permet-il d’analyser les expressions faciales sur des vidéos préenregistrées ?

Oui. iMotions Lab prend en charge l’importation de vidéos pour le traitement post-analyse par éléments finis (FEA). Les chercheurs peuvent importer des enregistrements vidéo du visage réalisés en dehors d’iMotions (notamment lors d’études sur le terrain, de séances cliniques ou d’études antérieures) et effectuer une analyse AFFDEX sur ces séquences. La synchronisation des résultats est référencée par rapport à la timeline de la vidéo.

En quoi l’analyse des expressions faciales par webcam dans iMotions Online diffère-t-elle de l’analyse en laboratoire ?

iMotions Online réalise des analyses par éléments finis (FEA) via la webcam du participant grâce à une interface web, ce qui permet de mener des recherches à distance sans que le participant ait à se déplacer ou à se rendre en laboratoire. Les principales différences par rapport aux analyses FEA en laboratoire résident dans un contrôle moindre de l’éclairage, de la qualité de la caméra et du positionnement du participant, ce qui peut accroître le bruit dans les données. Il est recommandé d’appliquer un filtrage de qualité approprié et de fournir des instructions claires au participant afin d’atténuer ces différences.

L’analyse des expressions faciales d’iMotions a-t-elle été validée dans le cadre de recherches évaluées par des pairs ?

Oui. AFFDEX et iMotions FEA ont fait l’objet de nombreuses études de validation évaluées par des pairs. Des travaux publiés dans des revues telles que *Behavior Research Methods* (Lewinski et al., 2014 ; Stöckli et al., 2018) et Frontiers in Psychology (Beringer et al., 2020) ont évalué la précision de la classification d’AFFDEX par rapport à des ensembles de stimuli standardisés et ont comparé les résultats de l’analyse FEA aux mesures EMG faciales, confirmant que les résultats de l’analyse FEA pour les émotions clairement exprimées sont comparables aux mesures basées sur l’EMG. Le moteur AFFDEX a été cité dans plus de 7 000 publications universitaires.

Bibliographie et lectures complémentaires

• Ekman, P., & Friesen, W. V. (1978). Système de codification des expressions faciales. Consulting Psychologists Press.
• Lewinski, P., den Uyl, T. M., & Butler, C. (2014). Codage facial automatisé : validation des émotions fondamentales et des unités d'expression faciale (FACS AUs) dans FaceReader. Journal of Neuroscience, Psychology, and Economics.
• Stöckli, S., Schulte-Mecklenbeck, M., Borer, S., & Samson, A. C. (2018). Analyse des expressions faciales à l'aide d'AFFDEX et de FACET : une étude de validation. Behavior Research Methods, 50(4), 1446–1460.
• Beringer, M., et al. (2020). Comparaison entre le logiciel d'analyse des expressions faciales Affectiva iMotions et l'EMG pour l'identification des expressions faciales liées aux émotions. Frontiers in Psychology, 11, 329.
• Bishay, M., Preston, K., Strafuss, M., Page, G., Turcot, J. et Mavadati, M. (2025). AFFDEX 2.0 : une boîte à outils d'analyse des expressions faciales en temps réel. Bibliothèque de documents iMotions.
• Russell, J. A. (1980). Un modèle circumplex de l'affect. Journal of Personality and Social Psychology, 39(6), 1161–1178.