Cet ouvrage présente l’évolution de l’analyse des expressions faciales (FEA) à travers une sélection d’études très citées, en mettant en avant les fondements théoriques essentiels développés par Darwin et Ekman, ainsi que les avancées récentes en matière de détection automatisée et de mesures par biocapteurs. Il montre comment ce domaine a évolué, passant des premières études observationnelles à des approches multidisciplinaires combinant la psychologie, les neurosciences et la vision par ordinateur.
Table of Contents
Le domaine de l’analyse des expressions faciales (FEA) existe depuis plus d’un siècle et a désormais atteint sa maturité. La détection des expressions émotionnelles par analyse automatique est devenue une méthodologie fiable, largement utilisée dans divers domaines de recherche. Ces méthodes avancées s’appuient bien sûr sur les travaux antérieurs.
Pour bien comprendre l’état actuel de la science de l’analyse des expressions faciales et entrevoir les perspectives d’avenir de ce domaine, il peut être utile de retracer son histoire. Nous avons sélectionné certains des articles les plus prestigieux consacrés à l’analyse des expressions faciales, en nous basant sur leur nombre de citations et sur l’expertise d’iMotions.
Alors, si vous souhaitez rafraîchir vos connaissances, vous mettre à jour ou simplement tester vos acquis, n’hésitez pas à parcourir notre sélection des 10 meilleurs articles de recherche. Tous ces articles devraient vous aider à mieux comprendre ce qui a été – et continuera d’être – essentiel dans le domaine de l’analyse des expressions faciales.
L’activité du système nerveux autonome permet de distinguer les émotions
Ekman, Levenson et Friesen, 1983 (2 683 citations)
Ekman – considéré comme le père de l’analyse des expressions faciales – occupe inévitablement la première place de cette liste. En publiant l’ouvrage intitulé « Facial Action Coding System » (FACS), Paul Ekman et Wallace Friesen ont présenté leur système complet de classification des unités d’action du visage – ces mouvements distincts qui peuvent aboutir à des expressions complètes.
On ne saurait trop insister sur l’importance de ces travaux, car ils ont façonné l’ensemble du domaine de l’analyse des expressions faciales. Bien que fondamentaux, ces travaux ne constituent pas la seule contribution scientifique d’Ekman, et l’article susmentionné illustre bien l’une de ses nombreuses autres contributions.
Ekman, Levenson et Friesen ont démontré que le fait d’adopter une expression faciale pouvait entraîner des modifications de l’activité du système nerveux autonome. En mesurant la température cutanée, la réponse galvanique de la peau (GSR) et l’électrocardiogramme (ECG) de participants à qui l’on avait demandé d’adopter des expressions faciales précises, les chercheurs ont constaté que certaines expressions entraînaient des changements physiologiques significatifs.
Par exemple, le fait d’adopter une expression faciale liée à la colère entraînerait une augmentation de la température des extrémités (comme les doigts). Au final, les chercheurs ont pu distinguer les réactions physiologiques liées aux expressions de colère, de tristesse, de peur et de dégoût, démontrant ainsi que nous réagissons non seulement aux émotions manifestées par les autres, mais aussi à celles que nous exprimons nous-mêmes.
Découvrez nos dernières publications, réalisées grâce au soutien de la FEA et d’iMotions
L’expression des émotions chez l’homme et les animaux
Charles Darwin, 1872 (14 206 citations)
Aucune liste d’ouvrages consacrés à l’analyse des expressions faciales ne serait complète sans mentionner les travaux de Darwin sur les expressions humaines. À la suite de discussions régulières avec les psychologues de l’époque, Darwin avance que la formation de certains traits liés aux expressions faciales résulte de l’hérédité génétique.
Les travaux de Darwin ont revêtu une importance particulière en raison de ses recherches (et de sa conclusion finale) selon lesquelles les expressions faciales sont universelles (un sujet qui a depuis été corroboré par de nombreuses études, mais qui fait toujours l’objet de débats).
En mettant en évidence le dénominateur commun entre les êtres humains, Darwin a jeté les bases de l’analyse systématique des expressions faciales qui allait bientôt voir le jour.
Perception catégorielle des expressions faciales
Etcoff et Magee, 1992 (554 citations)
Cet article d’Etcoff et Magee (1992) a joué un rôle déterminant dans la découverte selon laquelle la reconnaissance d’une expression faciale s’effectue probablement par catégorisation discrète (par exemple, un visage est soit joyeux, soit ne l’est pas). Cela suggère que notre perception des expressions faciales fonctionne de manière très similaire à notre reconnaissance des nuances de couleurs : des limites identifiables déclenchent une catégorisation bien définie.
C’est important, car la définition des expressions faciales peut s’inscrire soit sur un continuum, soit sous forme de variables distinctes. Si notre perception a davantage tendance à établir des catégorisations précises, cela signifie que l’incertitude liée aux expressions faciales n’est pas utile lorsqu’il s’agit de comprendre les émotions d’autrui.
Cette étude a été réalisée à l’aide d’images de synthèse, mais a ensuite été corroborée par une étude utilisant des photographies déformées, un scénario plus proche de la réalité.
La neuropsychologie des expressions faciales : une revue des mécanismes neurologiques et psychologiques à l’origine des expressions faciales
Rinn, 1984 (723 citations)
Pour une introduction claire au domaine des expressions faciales – ainsi qu’un aperçu de l’état de la recherche avant l’apparition du FACS –, l’étude de Rinn constitue une lecture très instructive. Bien qu’il ait été publié il y a plus de trente ans, cet article offre un tour d’horizon complet des éléments constitutifs des expressions faciales et de leur analyse.
Rédigé dans un style accessible, cet article constitue une introduction particulièrement utile pour comprendre les muscles, les nerfs et même les os du visage qui interviennent dans la formation des expressions faciales. Ce texte permet également de prendre conscience du chemin parcouru dans ce domaine. À l’heure où les expressions faciales peuvent être en grande partie évaluées et quantifiées automatiquement, il est impressionnant de penser au temps qu’il fallait autrefois pour « visionner la vidéo deux fois, une fois pour observer l’activité de la partie supérieure du visage, et une fois pour celle de la partie inférieure ».
Cet article propose également des illustrations utiles sur les nerfs faciaux et sur la manière dont ils peuvent être affectés par des lésions neurologiques. La paralysie des nerfs faciaux peut avoir des conséquences variables selon l’origine de la lésion ; des exemples sont présentés à l’aide d’images (comme celui d’une femme de 61 ans présentant un rire involontaire et sans émotion).
En s’appuyant sur des explications scientifiques solides et accessibles concernant les expressions faciales, Rinn offre une vision globale des aspects fondamentaux du domaine de l’analyse des expressions faciales.
DEAP : une base de données pour l’analyse des émotions ; à partir de signaux physiologiques
Koelstra, Soleymani, Lee, Yazdani, Ebrahimi, Pun, Nijholt et Patras, 2011 (540 citations)
Cet article de Koelstra et al. (2011) offre un aperçu non seulement de l’état actuel du domaine, mais aussi de l’orientation future de l’analyse des expressions faciales. L’utilisation de divers signaux issus de biocapteurs (physiologiques) pour déterminer l’état émotionnel des participants est une approche de plus en plus courante qui permet d’obtenir des informations plus approfondies sur ces derniers et de renforcer la fiabilité des données.
L’article met également ces données à disposition sous la forme d’une base de données librement accessible, qui peut être utilisée pour des études complémentaires et pour la validation des ensembles de données existants. Bien qu’elles aient été conçues dans le but de contribuer à la conception d’un système de recommandation de clips musicaux, ces données permettent de tirer une conclusion plus profonde : la recherche multimodale peut aider à comprendre les réactions affectives de manière fiable et flexible.
En combinant l’ECG, la GSR et l’EMG, les chercheurs dressent un tableau multidimensionnel de la réponse affective de chaque participant, et constatent que l’utilisation de plusieurs capteurs offre une vision corroborée et globale du participant. C’est une tendance qui ne manquera pas de se généraliser dans le domaine de l’analyse des expressions faciales.
Analyse automatique des expressions faciales : une étude
Fasel & Luettin, 2003 (2 207 citations)
En 2003, Beat Fasel et Juergen Luettin ont dressé un bilan des progrès réalisés au cours de la décennie précédente dans le domaine de l’analyse des expressions faciales. Bien que cet article aborde le sujet sous l’angle de la vision par ordinateur et de l’ingénierie, les auteurs ont rédigé un ouvrage de référence important et complet sur lequel s’appuieront les futurs cadres d’analyse.
Cet article peut s’avérer d’une utilité limitée pour ceux qui s’intéressent uniquement aux aspects émotionnels ou cognitifs des expressions faciales ; il constitue toutefois une référence précieuse pour mieux comprendre les algorithmes et les approches qui sous-tendent la plupart des méthodes modernes d’analyse des expressions faciales par logiciel.
Réactions faciales inconscientes face aux expressions faciales émotionnelles
Dimberg, Thunberg et Elmehed, 2003 (2022 citations)
Des chercheurs de l’université d’Uppsala, en Suède, ont démontré que les individus imitent les expressions faciales d’autrui, même s’ils ne se rendent pas compte qu’ils voient une expression particulière. Les participants ont été invités à observer des images d’expressions faciales (tirées de l’ouvrage *Pictures of Facial Affect* d’Ekman et Friesen, 1976), tandis qu’un appareil d’EMG fonctionnel enregistrait les mouvements infimes des muscles faciaux (plus précisément au niveau du muscle zygomatique majeur et du muscle corrugateur du sourcil). Des images d’expressions émotionnelles (par exemple, de la colère ou de la joie) ont été présentées pendant 30 ms, soit un temps inférieur au seuil de perception consciente. Elles étaient immédiatement suivies de la présentation d’une expression faciale neutre.
On a constaté une augmentation de l’activité au niveau des muscles faciaux correspondant à l’expression faciale présentée de manière inconsciente ; pourtant, aucun des participants n’a été capable de décrire avec précision l’émotion suscitée par l’exposition précédente, ce qui suggère que les émotions sont, ou du moins peuvent être, traitées par un système inconscient distinct.
Cet article a joué un rôle déterminant en démontrant que les réactions aux expressions émotionnelles peuvent être automatiques et se produire même sans que l’on en ait conscience — une connaissance essentielle pour comprendre comment les émotions peuvent être façonnées par les interactions et l’environnement dans lequel évolue un individu.
Un substrat neuronal spécifique pour la perception des expressions faciales de dégoût
Phillips, Young, Senior, Brammer, Andrew, Calder, Bullmore, Perrett, Rowland, Williams, Gray & David, 1997 (1948 citations)
Pour bien comprendre les expressions faciales, il faut non seulement savoir comment et pourquoi elles se produisent, mais aussi quel impact elles ont sur les autres. En utilisant l’IRMf pour étudier l’activité cérébrale des participants pendant qu’ils regardaient des images d’expressions faciales de « dégoût », les chercheurs ont pu démontrer que ces expressions faciales de dégoût stimulaient une zone du cerveau différente de celle activée par les images d’autres expressions faciales.
Cette activation a été observée plus précisément au niveau du cortex insulaire antérieur (situé approximativement au milieu du cerveau, près de la partie antérieure) et dans des zones liées au circuit limbique cortico-striatal-thalamique. L’activation du cortex insulaire présente un intérêt particulier, car on sait également que les réactions de dégoût gustatif (par exemple, la vue d’aliments avariés) augmentent l’activité dans cette zone. Cela montre qu’il existe un chevauchement entre notre propre réaction de dégoût et notre réaction face aux réactions de dégoût d’autrui. Les auteurs suggèrent qu’une partie de notre réaction de dégoût pourrait être façonnée par l’apprentissage des réactions d’autrui, ce qui signifie que nos sentiments de dégoût pourraient être d’origine sociale.
Les expressions faciales sont contagieuses
Lundqvist & Dimberg, 1995 (411 citations)
L’hypothèse de la contagion émotionnelle suggère que les émotions sont façonnées par la manière dont les gens interagissent : si j’affiche une expression de bonheur, tu es susceptible de l’imiter et de ressentir cette émotion, qui peut ensuite se propager à d’autres personnes. Afin de tester cette hypothèse, les chercheurs ont utilisé l’EMG fonctionnel pour suivre l’activité de plusieurs muscles faciaux (le grand zygomatique, le releveur de la lèvre, le muscle frontal latéral et le muscle fronceur du sourcil) pendant que les participants regardaient des images représentant diverses expressions faciales.
Les résultats ont montré que les mouvements musculaires correspondaient globalement à l’expression observée par les participants (à l’exception notable toutefois que les réactions face à l’expression de peur n’ont pas atteint le seuil de signification statistique). Les participants ont également répondu à un questionnaire visant à évaluer leurs réactions émotionnelles internes ; les résultats ont suggéré qu’ils avaient également ressenti une intensification de l’émotion correspondant à l’image.
Bien que l’expérience n’ait pas permis d’expliquer les mécanismes à l’origine de ces réactions (à savoir s’il s’agissait simplement d’un mimétisme ou d’une véritable réaction émotionnelle), ces travaux ont néanmoins contribué à mieux comprendre l’influence que peuvent avoir les expressions faciales sur les autres.
Le fait de sourire volontairement modifie l’activité cérébrale régionale
Ekman & Davidson, 1993 (396 citations)
Une question qui fait l’objet de nombreux débats dans le domaine de l’étude des expressions faciales et des émotions est de savoir si une modification des premières peut entraîner une modification des secondes : si une personne sourit, ses émotions changent-elles elles aussi, même lorsque ce sourire est volontaire ? Ekman et Davidson ont cherché à répondre à cette question à l’aide d’un EEG (il convient de noter qu’il s’agit toujours d’un sujet controversé et que cette étude, bien qu’importante, n’est pas définitive). Les chercheurs ont comparé le niveau d’activité cérébrale observé lorsque les participants affichaient un « sourire de Duchenne » (un sourire sincère) et celui observé après qu’on leur ait demandé « d’écarter les lèvres et de relever les coins de la bouche » (un sourire non sincère).
Les chercheurs ont mis en évidence des différences dans l’activité cérébrale associées à ces sourires, ce qu’ils ont interprété comme la preuve que la manière dont une personne sourit peut refléter des différences dans ses expériences émotionnelles. Alors que le débat se poursuit quant à la portée de ces résultats (et de ceux d’autres études publiées au cours des années suivantes), ces travaux suggèrent qu’une approche s’appuyant sur plusieurs sources de données peut permettre de mieux comprendre les processus impliqués dans la production des expressions faciales.
J’espère que vous avez apprécié notre sélection des 10 meilleurs articles de recherche sur les expressions faciales. Si vous souhaitez en savoir plus sur l’analyse des expressions faciales – et découvrir d’autres résultats issus de ce domaine –, téléchargez notre guide gratuit ci-dessous.
