Affectiva ou open source : quelle solution d'IA pour l'analyse des expressions faciales offre les meilleurs résultats ?

Comparez AFFDEX 2.0 d’Affectiva aux principaux outils open source de codage facial. Cette étude démontre une précision, une détection des visages et une couverture des traits supérieures sur 10,5 millions d’images, soulignant ainsi pourquoi l’IA commerciale surpasse les alternatives gratuites pour les applications de détection des émotions et de recherche évolutives et concrètes.

Introduction

Le domaine de l’IA et des technologies de détection des émotions connaît un essor croissant depuis quelque temps, et les chercheurs et développeurs sont souvent confrontés à un choix. Ils peuvent soit s’appuyer sur des boîtes à outils open source et gratuites, soit investir dans une solution de niveau professionnel pour analyser les données et dégager des informations exploitables. 

Si les outils gratuits séduisent par leur accessibilité générale, la question fondamentale est de savoir s’ils font leurs preuves lorsqu’ils sont mis à l’épreuve sur des ensembles de données réels à grande échelle. Dans cet article, nous examinons de plus près les conclusions d’une étude interne approfondie menée par notre équipe sur certains des outils gratuits les plus populaires disponibles en ligne. 

Livre blanc : AFFDEX vs Open Source

Dans notre dernier livre blanc, intitulé « Benchmarking Facial Action Coding at Scale: AFFDEX 2.0 vs. Open-Source Toolkits », nous démontrons qu’en matière de précision, de couverture et de stabilité sur des données vidéo faciales réelles capturées dans différentes conditions d’enregistrement, la technologie d’analyse des expressions faciales d’Affectiva s’impose comme le choix incontournable pour la recherche et les applications axées sur la détection et l’évaluation des émotions.  Dans cet article, nous mettrons en avant certaines des principales conclusions de notre analyse comparative. 

Mais avant toute chose, un petit rappel de nos offres et d’AFFDEX :

Chez iMotions, la technologie Affectiva est intégrée à toute une gamme de produits, notamment :

• Module d'analyse des expressions faciales iMotions
• Affectiva Media Analytics pour l'évaluation des contenus publicitaires et de divertissement
• API de reconnaissance des expressions faciales d'Affectiva
• SDK de codage des expressions faciales d'Affectiva 

Toutes ces solutions s’appuient sur AFFDEX 2.0, le moteur d’IA de codage facial phare d’Affectiva. Notre équipe scientifique s’efforce en permanence d’innover et d’améliorer nos algorithmes d’IA de codage facial ; nous publions régulièrement nos travaux, car nous croyons fermement à la transparence de notre technologie et à la rigueur scientifique de ce que nous développons et fournissons à nos partenaires. 

Notre dernière publication sur AFFDEX 2.0 explique plus en détail le fonctionnement de notre technologie et présente deux états émotionnels, la « sentimentalité » et la « confusion », qui sont propres à Affectiva. Et pour mieux comprendre quelles expressions faciales correspondent à nos résultats sur les états émotionnels, nous proposons également un article de blog intitulé « Introduction à la reconnaissance des émotions par l’IA », qui aborde le sujet plus en détail, ainsi qu’un guide complet sur l’utilisation de l’analyse des expressions faciales dans iMotions.

Méthodes : conception de notre évaluation d’AFFDEX 2.0 et des boîtes à outils open source

Nous avons mené notre analyse en examinant AFFDEX 2.0 ainsi que certaines des solutions gratuites les plus répandues sur le marché, notamment OpenFace 2.0 et LibreFace. L’objectif de cette évaluation était de déterminer comment toutes ces solutions se positionnent en termes de fiabilité, de couverture du visage et de précision dans la détection des expressions faciales.

Afin de garantir une comparaison équitable entre les différentes boîtes à outils, nous avons testé ces outils sur un sous-ensemble de notre base de données comprenant plus de 7 800 vidéos de visages et environ 10,5 millions d’images, couvrant différents genres et origines ethniques (voir ci-dessous la répartition par genre et origine ethnique). 

Répartition par sexe et par origine ethnique des vidéos de visages issues de la base de données d’Affectiva utilisée dans cette analyse

Afin d’harmoniser les résultats des trois boîtes à outils, notre équipe scientifique a calculé la précision équilibrée ; nous avons également calculé l’AUC de la courbe ROC (Receiver Operating Characteristic – aire sous la courbe), un indicateur de la capacité diagnostique permettant de déterminer la détection d’une unité d’action ou d’une expression faciale, en traitant les étiquettes d’intensité continues comme des scores de confiance afin d’aligner les estimations d’OpenFace et de LibreFace sur celles d’AFFDEX.

Constatation principale n° 1 : les solutions open source n’offrent pas un ensemble complet de fonctionnalités relatives aux expressions faciales, contrairement à AFFDEX 2.0.

Au cours de l’analyse, il est apparu que les solutions open source ne parvenaient pas à égaler l’ensemble des fonctionnalités d’AFFDEX 2.0. AFFDEX 2.0 offre un ensemble de fonctionnalités plus complet en ce qui concerne les unités d’action des expressions faciales (également appelées AU) :

• AFFDEX 2.0 détecte 20 unités d'analyse (AU) sur l'ensemble du visage, offrant ainsi aux chercheurs une compréhension plus fine et plus détaillée des émotions et des expressions. 
• OpenFace 2.0 est réputé pour être capable de fournir des prévisions de présence pour 18 unités administratives et des estimations d'intensité pour 17 unités administratives.
• Enfin, LibreFace peut fournir des estimations sur 11 unités de mesure (AU) et des estimations d'intensité sur 12 unités de mesure (AU). 

Sur la base de ces premiers résultats, nous nous sommes concentrés sur un sous-ensemble plus restreint de nos résultats (par exemple, le sourire, le froncement des sourcils, les plis du nez, etc.) afin d’évaluer les taux de précision, que vous pouvez consulter dans notre livre blanc. 

Au-delà des expressions faciales : les informations fournies par AFFDEX constituent un ensemble complet de signaux qui inclut également les points de repère faciaux, la position de la tête, les unités d’action (AU) et les états émotionnels généraux (par exemple, la joie, la tristesse, la surprise, etc.).

Conclusion n° 2 : tous les outils open source ne parviennent pas à détecter correctement les visages dans des environnements naturels.

Si la plupart des vidéos de test que nous avons présentées montraient des sujets de face regardant vers la caméra, notre analyse a révélé que les taux de détection des visages variaient considérablement d’un ensemble d’outils à l’autre.  

À noter :

• AFFDEX 2.0 et OpenFace 2.0 ont réussi à détecter des visages dans environ 95 % de toutes les images testées issues de notre ensemble de données.  
• En comparaison, LibreFace a atteint un taux de détection global de 83 %. 

Ces résultats montrent que les performances de détection des visages d’AFFDEX 2.0 et d’OpenFace 2.0 sont nettement supérieures à celles de LibreFace lorsqu’il s’agit d’ensembles de données contrôlés. Lors du choix d’une solution, il est important de réfléchir également à la manière dont vous comptez mettre en œuvre la collecte de données (par exemple, en laboratoire ou à distance, dans une voiture ou sur un simulateur plutôt que devant un ordinateur) et à ce qui répondra le mieux à vos besoins de recherche.

Conclusion n° 3 : les boîtes à outils open source n’offrent pas un taux de précision élevé en matière de détection des expressions faciales. 

Notre évaluation des trois outils a montré qu’AFFDEX 2.0 fait preuve d’une robustesse supérieure dans presque toutes les unités d’analyse (AU). Compte tenu des différences de taux de détection des visages entre AFFDEX 2.0, OpenFace 2.0 et LibreFace, nous n’avons pris en compte, pour l’analyse de la précision, que les images communes où les trois outils ont pu détecter la présence d’un visage. 

Si l’on compare AFFDEX 2.0 à OpenFace 2.0 : 

• AFFDEX 2.0 a affiché une avance notable de 8,5 points de pourcentage en termes de précision équilibrée moyenne (0,753 pour AFFDEX contre 0,668 pour OpenFace) et une marge substantielle en termes d'AUC de la courbe ROC moyenne (0,907 contre 0,721).

En comparant AFFDEX 2.0 et LibreFace, nous avons constaté une différence très marquée entre ces deux boîtes à outils, à savoir que :

• AFFDEX 2.0 a surpassé LibreFace de 12,9 points de pourcentage en termes de précision équilibrée (0,753 pour AFFDEX contre 0,624 pour LibreFace) et de nouveau en termes d'AUC-ROC (0,907 contre 0,677). 

Ces résultats montrent que, si les boîtes à outils open source telles que LibreFace ou OpenFace 2.0 peuvent s’avérer utiles pour l’analyse ou donner de bons résultats sur des ensembles de données contrôlés, leur précision peut être compromise lorsqu’il s’agit d’exploiter des données d’expressions faciales recueillies dans des contextes « réels » et dans des situations où les conditions peuvent varier au cours de la vidéo (par exemple, des variations de l’éclairage de l’arrière-plan, des mouvements du visage ou du corps, ou des changements d’angle de la tête).

Pour plus d’informations sur la précision équilibrée AU et la comparaison des courbes ROC-AUC entre AFFDEX, LibreFace et OpenFace pour chaque unité d’action, consultez notre livre blanc qui présente une analyse détaillée de toutes les AU.

Pourquoi il est important d’investir dans une boîte à outils d’IA dédiée au codage des expressions faciales

Que vous testiez des publicités, meniez des recherches universitaires en laboratoire ou développiez des fonctionnalités pour la sécurité automobile, disposer d’une boîte à outils capable de vous fournir des résultats précis et des informations complètes est essentiel à la réussite de votre étude.

Si les solutions gratuites peuvent apporter une contribution précieuse à la communauté scientifique, nos résultats montrent qu’AFFDEX 2.0 reste la solution la plus performante, adaptée aux applications à grande échelle qui exigent une grande capacité de généralisation et une grande précision pour différents types d’expressions faciales. 

Si la détection des visages et les taux de précision constituent des facteurs importants pour évaluer l’efficacité d’un outil d’IA dédié à l’analyse des expressions faciales, il convient également de s’intéresser à la manière dont les données sont restituées. Les signaux d’Affectiva fournissent des scores de probabilité compris entre 0 et 100 pour la présence d’une unité d’expression (AU), tandis que les boîtes à outils open source OpenFace 2.0 et LibreFace fournissent uniquement des étiquettes binaires de présence et des estimations d’intensité continues allant de 0 à 5. 

En fonction de vos besoins de recherche et du niveau de détail que vous souhaitez obtenir avec les données (comme la capture des mouvements liés aux micro-expressions), disposer d’une échelle de signaux bruts allant de 0 à 100 offre un niveau de granularité supplémentaire que n’offrent pas les autres solutions disponibles sur le marché.  Et pour ceux qui s’intéressent au seuillage et qui utilisent le module d’analyse des expressions faciales d’iMotions Lab, nous proposons des R-Notebooks permettant le seuillage et l’agrégation d’AFFDEX 2.0. 

Vous souhaitez en savoir plus sur l’IA d’analyse des expressions faciales d’Affectiva ? Prenez rendez-vous avec notre équipe pour une démonstration !