Analyse des expressions faciales : le guide de poche complet

Découvrez les principes fondamentaux de l’analyse des expressions faciales : le guide de poche complet, une ressource exhaustive conçue pour comprendre et interpréter les émotions humaines à travers les indices faciaux. Ce guide propose une approche structurée de l’analyse des différentes expressions et fournit des techniques précieuses aux professionnels de la psychologie, de la communication et des domaines connexes. Améliorez votre capacité à décoder les émotions et à optimiser vos interactions interpersonnelles grâce à cet ouvrage de référence indispensable.

Les émotions sont au cœur même de notre humanité. Elles influencent notre quotidien, nos interactions sociales, notre attention, notre perception et notre mémoire.

Notre visage est l’un des indicateurs les plus évidents de nos émotions. Lorsque nous rions ou pleurons, nous affichons nos émotions, permettant ainsi aux autres d’entrevoir ce qui se passe dans notre esprit en « déchiffrant » notre visage à partir des changements qui s’opèrent au niveau de certains traits clés, tels que les yeux, les sourcils, les paupières, les narines et les lèvres.

La reconnaissance des expressions faciales par ordinateur imite de manière assez impressionnante nos capacités humaines d’interprétation, car elle permet de saisir des réactions émotionnelles brutes et non filtrées face à tout type de contenu suscitant une émotion. Mais comment cela fonctionne-t-il exactement ?

Nous avons les réponses. Ce guide complet sur l’analyse des expressions faciales est tout ce dont vous avez besoin pour maîtriser la reconnaissance des émotions et approfondir vos recherches sur la nature des comportements émotionnels. C’est le moment idéal pour vous lancer.

Remarque : cet article est un extrait de notre « Guide de poche sur l’analyse des expressions faciales ». Vous pouvez télécharger votre exemplaire gratuit ci-dessous et découvrir encore plus d’informations sur l’univers de l’analyse des expressions faciales.

Qu’est-ce que les expressions faciales ?

Notre visage est une partie du corps à la fois complexe et très diversifiée ; c’est en effet l’un des systèmes de signalisation les plus complexes dont nous disposons. Il comprend plus de 40 muscles autonomes sur le plan structurel et fonctionnel, dont chacun peut être activé indépendamment des autres.

Le système musculaire facial est la seule partie de notre corps où les muscles sont soit attachés à un os et aux tissus faciaux (les autres muscles du corps humain sont reliés à deux os), soit uniquement aux tissus faciaux, comme c’est le cas pour les muscles qui entourent les yeux ou les lèvres.

Il est évident que l’activité des muscles faciaux est hautement spécialisée pour l’expression : elle nous permet de partager des informations sociales avec les autres et de communiquer à la fois verbalement et non verbalement.

Le nerf facial contrôle la plupart des muscles du visage

Tous les muscles de notre corps sont innervés par des nerfs qui remontent jusqu’à la moelle épinière et au cerveau. La connexion nerveuse est bidirectionnelle, ce qui signifie que le nerf déclenche des contractions musculaires en réponse aux signaux du cerveau (du cerveau vers le muscle), tout en transmettant simultanément au cerveau des informations sur l’état actuel du muscle (du muscle vers le cerveau).

Presque tous les muscles du visage sont innervés par un seul nerf, que l’on appelle simplement « nerf facial ».

En termes un peu plus techniques, le nerf facial est également connu sous le nom de « VIIe nerf crânien ».

Le nerf facial émerge des profondeurs du tronc cérébral, sort du crâne légèrement en dessous de l’oreille et se ramifie vers tous les muscles, à la manière d’un arbre. Il est intéressant de noter que le nerf facial est également relié à des zones motrices beaucoup plus récentes de notre néocortex (qualifiées de « néo » car ces zones ne sont présentes que dans le cerveau des mammifères), qui sont principalement responsables des mouvements des muscles faciaux nécessaires à la parole.

Expressions faciales et émotions

L’hypothèse du retour facial : comme l’ont ingénieusement découvert Fritz Strack et ses collègues en 1988, les expressions faciales et les émotions sont étroitement liées. Dans leur étude, les participants devaient tenir un stylo entre les dents tout en évaluant l’humour de dessins humoristiques. Alors qu’un groupe tenait le stylo entre les dents, les lèvres ouvertes (imitant un sourire), l’autre groupe le tenait uniquement avec les lèvres (empêchant ainsi un véritable sourire).

Voici ce que Fritz Strack a découvert : le premier groupe a jugé le dessin plus drôle. Strack et son équipe y ont vu une confirmation de l’hypothèse de la rétroaction faciale, selon laquelle l’activation ou l’inhibition sélective des muscles faciaux a une forte influence sur la réponse émotionnelle aux stimuli.

Émotions, sentiments, humeurs

Qu’est-ce que les émotions, au juste ?

Dans le langage courant, on entend par « émotions » toute expérience consciente relativement brève, caractérisée par une intense activité mentale et un degré élevé de plaisir ou de déplaisir. Dans le domaine de la recherche scientifique, on n’est pas encore parvenu à s’accorder sur une définition univoque. Il existe sans aucun doute des recoupements conceptuels entre les fondements psychologiques et neuroscientifiques des émotions, des humeurs et des sentiments.

Les émotions sont étroitement liées à l’excitation physiologique et psychologique, différents niveaux d’excitation correspondant à des émotions spécifiques. D’un point de vue neurobiologique, les émotions pourraient être définies comme des programmes d’action complexes déclenchés par la présence de certains stimuli externes ou internes.

Ces programmes d’action comprennent les éléments suivants :

Peut-on classer les émotions ?

Les expressions faciales ne sont qu’un des nombreux indicateurs des émotions, mais elles sont sans doute les plus visibles. Les êtres humains sont évidemment capables de produire des milliers d’expressions faciales légèrement différentes ; cependant, il n’existe qu’un petit nombre de configurations faciales distinctives que presque tout le monde associe à certaines émotions, indépendamment du sexe, de l’âge, du contexte culturel et du parcours social.

Ces émotions catégoriques sont les suivantes :

Le constat selon lequel presque tout le monde est capable de produire et de reconnaître les expressions faciales associées à ces émotions a conduit certains chercheurs à émettre l’hypothèse (contestée !) qu’elles sont universelles.

Découvrez notre webinaire sur le thème : « Que sont les émotions et comment les mesurer ? »

Techniques d’analyse des expressions faciales

Les expressions faciales peuvent être enregistrées et analysées de trois manières différentes :

1. Grâce au suivi de l'activité électromyographique faciale (fEMG)
2. Grâce à l'observation en direct et au codage manuel de l'activité faciale
3. Grâce à l'analyse automatique des expressions faciales à l'aide d'algorithmes de vision par ordinateur

Expliquons-les plus en détail.

Électromyographie faciale (fEMG)
L’électromyographie faciale permet de suivre l’activité des muscles faciaux à l’aide d’électrodes fixées à la surface de la peau. La fEMG détecte et amplifie les minuscules impulsions électriques générées par les fibres musculaires concernées lors de leur contraction. Les sites de prélèvement les plus courants pour la fEMG se situent à proximité des deux principaux groupes musculaires suivants :

1. Muscle corrugateur du sourcil droit/gauche (« muscle qui plisse les sourcils ») :

Il s’agit d’un petit muscle pyramidal et étroit situé près du sourcil, généralement associé au froncement de sourcils. Le muscle corrugateur tire le sourcil vers le bas et vers le centre du visage, provoquant ainsi un plissement vertical du front. Ce groupe musculaire est sollicité pour se protéger de l’éblouissement causé par le soleil ou pour exprimer des émotions négatives telles que la souffrance.

2. Zygomatique (majeur) droit/gauche :

Ce muscle s’étend de chaque pommette jusqu’aux coins de la bouche et tire les commissures vers le haut et vers l’extérieur, ce qui est généralement associé au sourire.

Le système de codification des expressions faciales (FACS)

Le Facial Action Coding System (FACS) est un système de classification entièrement normalisé des expressions faciales destiné aux codeurs experts, qui repose sur des caractéristiques anatomiques. Les experts examinent attentivement des vidéos du visage et décrivent chaque expression faciale comme une combinaison d’éléments de base appelés « unités d’action » (AU).

On croit souvent à tort que le FACS sert à décrypter les émotions. En réalité, le FACS n’est qu’un système de mesure et n’interprète pas la signification des expressions. C’est comme dire que le but de faire du vélo, c’est d’aller au travail. Bien sûr, on peut se rendre au travail à vélo, mais on peut aussi l’utiliser pour bien d’autres choses (loisirs, entraînement sportif, etc.). Vous voyez l’idée.

Cependant, au cours de la phase d’analyse, le système FACS permet une construction modulaire des émotions à partir de la combinaison d’unités d’action (AU).

Grâce au codage des unités d’action faciale, vous acquerrez toutes les connaissances nécessaires pour distinguer les trois catégories d’expressions faciales suivantes :

1. Les macro-expressions durent généralement entre 0,5 et 4 secondes, apparaissent dans les interactions quotidiennes et sont généralement perceptibles à l'œil nu.
2. Les micro-expressions durent moins d'une demi-seconde et apparaissent lorsque l'on tente, consciemment ou inconsciemment, de dissimuler ou de refouler son état émotionnel du moment.
3. Les expressions subtiles sont liées à l'intensité et à la profondeur de l'émotion sous-jacente. Nous ne sourions pas ni ne haussons les sourcils en permanence : l'intensité de ces mouvements faciaux varie constamment. Les expressions subtiles désignent toute apparition d'une expression faciale dont l'intensité de l'émotion associée est encore considérée comme faible.

C’est pour pallier ces limites qu’est apparue une nouvelle génération de technologies d’analyse des expressions faciales, entièrement automatisées et informatisées.

Technologie d’analyse des expressions faciales

S’appuyant sur les recherches novatrices menées par des institutions universitaires de premier plan aux États-Unis et en Europe, des procédures de reconnaissance automatique des expressions faciales ont été mises au point et mises à la disposition du grand public ; elles permettent de détecter instantanément les visages, de coder les expressions faciales et de reconnaître les états émotionnels.

Cette avancée a été rendue possible principalement grâce à l’utilisation d’algorithmes de pointe en vision par ordinateur et en apprentissage automatique, ainsi qu’à la constitution de bases de données de haute qualité sur les expressions faciales provenant du monde entier.

Ces technologies utilisent des caméras intégrées aux ordinateurs portables, aux tablettes et aux téléphones mobiles, ou des webcams autonomes fixées aux écrans d’ordinateur, pour enregistrer des vidéos des participants pendant qu’ils sont exposés à des contenus de différentes catégories.

L’utilisation de webcams peu coûteuses permet de se passer d’appareils spécialisés haut de gamme, ce qui rend le codage automatique des expressions particulièrement adapté à la capture de vidéos du visage dans une grande variété de contextes naturels, tels que le domicile des participants, leur lieu de travail, leur voiture, les transports en commun, et bien d’autres encore.

Découvrez notre webinaire sur la recherche à distance avec iMotions : analyse des expressions faciales et codage comportemental depuis votre canapé

Quels sont exactement les processus scientifiques et technologiques qui se cachent derrière cette boîte noire magique ?

To see how these concepts are applied in practice, explore our Behavioral Research Resources page.

La technologie à la base du codage facial automatique

En gros, tous les moteurs de reconnaissance des émotions suivent les mêmes étapes. 

Détection
des visages : la position d’un visage est localisée dans une image vidéo ou une photo, ce qui peut être réalisé, par exemple, en utilisant l’algorithme « Viola Jones Cascaded Classifier ». Cela peut sembler complexe, mais cette technologie est en réalité intégrée à l’appareil photo de votre iPhone ou de votre smartphone Android. Le résultat se présente sous la forme d’un cadre entourant le visage détecté.

Détection des caractéristiques faciales :
au sein du visage détecté, les points de repère faciaux tels que les yeux et leurs coins, les sourcils, les coins de la bouche, la pointe du nez, etc. sont identifiés. Ensuite, un modèle facial interne est ajusté en termes de position, de taille et d’échelle afin de correspondre au visage réel du participant.

On peut se représenter cela comme une grille virtuelle invisible superposée au visage du participant : dès que le visage du participant bouge ou change d’expression, le modèle facial s’adapte et suit instantanément ces mouvements. Comme son nom l’indique, le modèle facial est une version simplifiée du visage réel du répondant. Il comporte beaucoup moins de détails (ce qu’on appelle les traits) que le visage réel, mais il contient exactement les traits nécessaires pour remplir sa fonction.

Parmi ces traits caractéristiques, on trouve des points de repère isolés (les coins des sourcils, les coins de la bouche, le bout du nez) ainsi que des groupes de traits (l’ensemble de la bouche, l’arcade sourcilière dans son ensemble, etc.), qui reflètent la « Gestalt » globale d’une zone du visage révélatrice des émotions.

Classification
des traits Une fois le modèle facial simplifié disponible, les informations relatives à la position et à l’orientation de tous les traits clés sont transmises à des algorithmes de classification qui traduisent ces traits en codes d’unités d’action, en états émotionnels et en autres indicateurs affectifs.

Voici un peu de théorie (et d’analyse) à ce sujet.

La conversion des traits du visage en indicateurs se fait de manière statistique, en comparant numériquement l’apparence réelle du visage et la configuration de ses traits avec les bases de données normatives fournies par les moteurs d’expression faciale.

Qu’est-ce que cela signifie ? L’expression faciale actuelle d’un participant n’est pas comparée une à une à l’ensemble des centaines de milliers d’images de la base de données – ce serait en effet très fastidieux et prendrait une éternité. Au lieu de cela, les bases de données contiennent des statistiques et des distributions normatives de toutes les caractéristiques faciales des participants issus de multiples régions géographiques et profils démographiques, ainsi que des catégories de stimuli et des conditions d’enregistrement.

Chaque moteur d’analyse des expressions faciales utilise une base de données différente. C’est l’une des raisons pour lesquelles vous pouvez obtenir des résultats légèrement différents lorsque vous introduisez exactement le même matériel source dans des moteurs différents.

Dans notre exemple, l’expression du sujet se situe apparemment en plein milieu de la distribution des « sourires » (0 < 10 < 20 mm). En ce qui concerne le moteur, on peut affirmer sans risque de se tromper que l'expression actuelle est plus marquée qu'un léger sourire, mais pas aussi marquée qu'un grand sourire.

Dans un monde idéal, le classificateur renverrait soit « Oui », soit « Non » pour chaque émotion, AU ou indicateur. Malheureusement, ce n’est pas si simple. Revenons au classificateur « sourire » :

Les points remplis (plutôt à gauche) correspondent à toutes les configurations buccales de la base de données qui ne sont pas classées comme des sourires, tandis que les points blancs (plutôt à droite) représentent les configurations buccales considérées comme des sourires.

La ligne orange indique le critère de classification.

Tout ce qui se trouve à gauche de la ligne est classé dans la catégorie « n’est pas un sourire », tandis que tout ce qui se trouve à droite est classé dans la catégorie « sourire ».

Il existe manifestement une zone de transition floue entre les expressions sans sourire et les sourires, dans laquelle certaines configurations buccales sont mal classées : il peut s’agir de sourires subtils qui passent inaperçus ou d’autres ouvertures buccales qui s’apparentent davantage à des bâillements qu’à des sourires. Par conséquent, le classificateur ne peut fournir qu’un résultat probabiliste, reflétant la probabilité ou la chance que l’expression soit un véritable « sourire ».

Dans notre exemple, le sourire de la personne interrogée est assez évident, se situant tout à droite de l’« espace des caractéristiques ». Ici, le classificateur est très sûr du résultat (un sourire) et affiche un taux de certitude de 90 %. Dans d’autres cas, le classificateur peut se montrer moins sûr de lui.

Avant d’approfondir la visualisation et l’analyse des résultats de la classification faciale, nous allons jeter un coup d’œil à quelques conseils et recommandations sur la manière de collecter des données de la plus haute qualité.

Avant d’approfondir la visualisation et l’analyse des résultats de la classification faciale, nous allons passer en revue quelques conseils et recommandations pour collecter des données de la plus haute qualité. Pour mieux comprendre comment ces résultats de classification se traduisent en informations exploitables, consultez notre ressource dédiée à l’analyse faciale.

Équipement

Passons aux choses concrètes.

Que faut-il prendre en compte pour obtenir des données de qualité, quels sont les stimuli les plus efficaces, et à quoi faut-il veiller lors du recrutement et de la formation des participants ? Nous sommes là pour vous aider.

• Pour commencer, la reconnaissance automatique des expressions faciales peut être effectuée en ligne, c'est-à-dire pendant que les participants sont exposés à des stimuli émotionnels et que leurs expressions faciales sont observées (et/ou enregistrées).
• Outre la collecte de données en ligne, la détection des expressions faciales peut être utilisée hors ligne, par exemple pour traiter des enregistrements vidéo réalisés précédemment. Il est même possible de filmer un public plus large et, après un montage minimal, d'analyser les expressions faciales de chaque participant.

À propos des webcams : nous vous recommandons d’utiliser une webcam HD. Vous pouvez bien sûr effectuer une analyse automatique des expressions faciales avec n’importe quel autre appareil photo, y compris les appareils photo de smartphone, les caméras IP ou les webcams intégrées aux ordinateurs portables (en fonction de votre application). Sachez toutefois que ces appareils photo disposent généralement de capacités limitées en matière d’autofocus, de réglage de la luminosité et de compensation de la balance des blancs.

À découvrir : Comment analyser les expressions faciales à distance

Analyse des expressions faciales (FEA) : Domaines d’application

Grâce à la reconnaissance des expressions faciales, vous pouvez évaluer l’impact de tout contenu, produit ou service censé susciter une excitation émotionnelle et des réactions faciales : objets physiques tels que des échantillons alimentaires ou des emballages, vidéos et images, sons, odeurs, stimuli tactiles, etc. Les expressions particulièrement involontaires, ainsi qu’un léger élargissement des paupières, présentent un intérêt majeur, car elles sont considérées comme reflétant les changements d’état émotionnel déclenchés par des stimuli externes réels ou des images mentales.

Quels sont donc les domaines de la recherche commerciale et universitaire qui ont récemment adopté les techniques de reconnaissance des émotions ? Voici un aperçu des domaines de recherche les plus importants :

1. Neurosciences appliquées à la consommation et neuromarketing

Il n’y a aucun doute là-dessus : l’analyse des préférences des consommateurs et la mise en place d’une communication convaincante sont des éléments essentiels du marketing. Si les déclarations spontanées et les questionnaires constituent des outils idéaux pour mieux cerner les attitudes et le niveau de sensibilisation des personnes interrogées, ils peuvent toutefois s’avérer limités lorsqu’il s’agit de saisir des réactions émotionnelles non influencées par la conscience de soi et la désirabilité sociale.

C’est là que l’analyse des émotions prend tout son sens : le suivi des expressions faciales permet d’enrichir considérablement les déclarations des personnes interrogées en y ajoutant des mesures chiffrées des réactions émotionnelles plus inconscientes face à un produit ou un service. Grâce à l’analyse des expressions faciales, il est possible d’optimiser les produits, d’évaluer les segments de marché et d’identifier les publics cibles et les profils types. L’analyse des expressions faciales peut vous apporter énormément pour améliorer votre stratégie marketing : pensez-y !

2. Tests médiatiques et publicité

Dans le domaine des études sur les médias, on peut soumettre des participants individuels ou des groupes de discussion à des publicités télévisées, des bandes-annonces et des épisodes pilotes complets tout en observant leurs expressions faciales. Il est tout aussi crucial d’identifier les scènes où l’on s’attendait à des réactions émotionnelles (notamment des sourires) mais où le public n’a tout simplement pas « saisi le message » que de repérer les images clés qui suscitent les expressions faciales les plus marquées.

Dans ce contexte, vous pourriez vouloir isoler et améliorer les scènes qui suscitent des réactions négatives indiquant des niveaux élevés de dégoût, de frustration ou de confusion (ce genre d’émotions n’aiderait pas vraiment une série humoristique à devenir un succès, n’est-ce pas ?) ou exploiter la réaction de votre public lors d’une projection afin d’augmenter le niveau global de réactions positives dans la version finale.

3. Recherche en psychologie

Les psychologues analysent les expressions faciales afin de déterminer comment les êtres humains réagissent émotionnellement à des stimuli externes et internes. Dans le cadre d’études systématiques, les chercheurs peuvent modifier de manière ciblée les propriétés des stimuli (couleur, forme, durée de présentation) ainsi que les attentes sociales, afin d’évaluer l’influence des traits de personnalité et des parcours d’apprentissage individuels sur les expressions faciales.

4. Psychologie clinique et psychothérapie

Les populations cliniques telles que les patients atteints de troubles du spectre autistique (TSA), de dépression ou de trouble de la personnalité borderline (TPB) se caractérisent par de graves difficultés à moduler, traiter et interpréter leurs propres expressions faciales ainsi que celles des autres. L’observation des expressions faciales pendant que les patients sont exposés à des stimuli émotionnels ou à des indices sociaux (les visages d’autrui, par exemple) peut considérablement améliorer l’efficacité de la thérapie cognitivo-comportementale sous-jacente, tant pendant la phase de diagnostic que pendant la phase d’intervention. Un excellent exemple est le « Smile Maze », développé par le Temporal Dynamics of Learning Center (TDLC) de l’université de Californie à San Diego. Dans ce jeu, les enfants autistes entraînent leurs expressions faciales en jouant à un jeu de type Pacman où le sourire dirige le personnage du jeu.

5. Applications médicales et chirurgie plastique

Les conséquences d’une paralysie du nerf facial peuvent être dévastatrices. Parmi les causes, on peut citer la paralysie de Bell, les tumeurs, les traumatismes, les maladies et les infections. Les patients sont généralement confrontés à des changements importants au niveau de leur apparence physique, de leur capacité à communiquer et à exprimer leurs émotions. L’analyse des expressions faciales peut être utilisée pour quantifier la détérioration et évaluer l’efficacité des interventions chirurgicales, ainsi que de l’ergothérapie et de la kinésithérapie visant à réactiver les groupes musculaires paralysés.

6. Conception d’interfaces logicielles et de sites web

Idéalement, l’utilisation d’un logiciel et la navigation sur des sites web devraient être une expérience agréable ; il convient donc de réduire au maximum les sentiments de frustration et de confusion. L’observation des expressions faciales des testeurs lorsqu’ils naviguent sur des sites web ou dans les boîtes de dialogue d’un logiciel peut fournir des indications sur le niveau de satisfaction émotionnelle du public cible visé. Chaque fois que les utilisateurs se heurtent à des obstacles ou se perdent dans des sous-menus complexes, on observe souvent une augmentation des expressions faciales « négatives », telles que le froncement des sourcils ou le resserrement des lèvres.

7. Conception d’agents sociaux artificiels (avatars)

Jusqu’à récemment, les robots et les avatars étaient programmés pour répondre aux commandes des utilisateurs à partir des actions du clavier et de la souris. Les dernières avancées en matière de technologie matérielle, de vision par ordinateur et d’apprentissage automatique ont jeté les bases des agents sociaux artificiels, capables de détecter de manière fiable les états émotionnels de leur interlocuteur humain et d’y répondre avec souplesse. Siri, d’Apple, est peut-être la première génération de machines véritablement intelligentes sur le plan émotionnel, mais des informaticiens, des médecins et des neuroscientifiques du monde entier travaillent d’arrache-pied à la mise au point de capteurs et d’algorithmes encore plus intelligents pour comprendre l’état émotionnel actuel de l’utilisateur humain et y répondre de manière appropriée.

Comment bien s’y prendre avec iMotions

Remarque : il s’agit d’un extrait de notre guide gratuit intitulé « Analyse des expressions faciales – Le guide de poche complet ». Pour obtenir le guide complet, qui contient des informations supplémentaires sur la configuration des stimuli, l’exportation et la visualisation des données, les biocapteurs supplémentaires et les « bonnes pratiques avec iMotions », cliquez sur la bannière ci-dessous. Si vous avez des questions concernant l’analyse des expressions faciales, n’hésitez pas à nous contacter.