Affectiva vs. Open Source: Welche KI-Lösung zur Gesichtsausdruckserkennung liefert bessere Ergebnisse?

Vergleichen Sie AFFDEX 2.0 von Affectiva mit führenden Open-Source-Tools zur Gesichtsausdrucksanalyse. Diese Studie belegt eine überlegene Genauigkeit, Gesichtserkennung und Merkmalsabdeckung bei 10,5 Millionen Bildern und verdeutlicht, warum kommerzielle KI-Lösungen kostenlose Alternativen bei skalierbaren, praxisnahen Anwendungen zur Emotionserkennung und Forschung übertreffen.

Einleitung

Die Welt der KI und der Technologien zur Emotionserkennung gewinnt seit einiger Zeit zunehmend an Bedeutung, und Forscher sowie Entwickler stehen oft vor einer Entscheidung. Sie können sich entweder auf kostenlose Open-Source-Toolkits verlassen oder in eine kommerzielle Lösung investieren, um Daten zu analysieren und umsetzbare Erkenntnisse zu gewinnen. 

Kostenlose Tools sind zwar aufgrund ihrer allgemeinen Zugänglichkeit attraktiv, doch die entscheidende Frage ist, ob sie sich im Praxistest mit umfangreichen, realen Datensätzen bewähren. In diesem Blogbeitrag gehen wir näher auf die Ergebnisse einer umfassenden internen Studie ein, die unser Team mit einigen der beliebtesten online verfügbaren kostenlosen Toolkits durchgeführt hat. 

AFFDEX vs. Open Source – Whitepaper

In unserem neuesten Whitepaper „Benchmarking Facial Action Coding at Scale: AFFDEX 2.0 vs. Open-Source-Toolkits“ zeigen wir, dass sich die Technologie zur Gesichtsausdrucksanalyse von Affectiva in Bezug auf Genauigkeit, Abdeckung und Stabilität bei der Erfassung realer Gesichtsvideodaten unter verschiedenen Aufnahmebedingungen als die erste Wahl für Forschung und Anwendungen im Bereich der Emotionserkennung und -bewertung erweist.  In diesem Blogbeitrag stellen wir einige der wichtigsten Ergebnisse unserer Vergleichsanalyse vor. 

Doch zunächst eine kurze Auffrischung zu unserem Angebot und zu AFFDEX:

Bei iMotions kommt die Affectiva-Technologie in einer Vielzahl von Produkten zum Einsatz, darunter:

• iMotions-Modul zur Analyse von Gesichtsausdrücken
• Affectiva Media Analytics für das Testen von Werbe- und Unterhaltungsinhalten
• Affectiva-API zur Gesichtserkennung
• Affectiva SDK zur Gesichtserkennung 

All diese Angebote basieren auf AFFDEX 2.0, der aktuellen Kern-KI-Engine von Affectiva für die Gesichtsausdruckskodierung. Unser Wissenschaftsteam arbeitet aktiv an der Weiterentwicklung und Verbesserung unserer Affectiva-KI-Algorithmen zur Gesichtsausdruckskodierung; wir veröffentlichen unsere Arbeit regelmäßig, da wir fest an Transparenz in Bezug auf unsere Technologie und an wissenschaftliche Genauigkeit bei der Entwicklung und Bereitstellung unserer Lösungen für unsere Partner glauben. 

Unsere neueste Veröffentlichung zu AFFDEX 2.0 geht näher auf die Funktionsweise unserer Technologie ein und stellt zwei emotionale Zustände vor – Sentimentalität und Verwirrung –, die einzigartig für Affectiva sind. Um besser zu verstehen, welche Gesichtsausdrücke mit unseren emotionalen Zuständen zusammenhängen, bieten wir außerdem einen Blogbeitrag mit dem Titel „KI-gestützte Emotionserkennung 101“ an, der sich eingehender mit diesem Thema befasst, sowie einen umfassenden Leitfaden zur Verwendung der Gesichtsausdrucksanalyse in iMotions.

Methoden: Konzeption unserer Bewertung von AFFDEX 2.0 und Open-Source-Toolkits

Im Rahmen unserer Analyse haben wir AFFDEX 2.0 sowie einige der gängigen kostenlosen Lösungen auf dem Markt untersucht, darunter OpenFace 2.0 und LibreFace. Ziel dieser Bewertung war es, zu ermitteln, wie diese Lösungen in Bezug auf Zuverlässigkeit, Gesichtsabdeckung und Genauigkeit bei der Erkennung von Gesichtsausdrücken abschneiden.

Um einen fairen Vergleich zwischen den verschiedenen Toolkits zu gewährleisten, haben wir diese Tools an einem Teil unserer Datenbank getestet, der aus über 7.800 Gesichtsvideos und rund 10,5 Millionen Einzelbildern besteht und verschiedene Geschlechter und ethnische Gruppen abdeckt (siehe unten für die Verteilung nach Geschlecht und ethnischer Zugehörigkeit). 

Geschlechts- und ethnische Zusammensetzung der Gesichtsvideos aus der Datenbank von Affectiva, die für diese Analyse verwendet wurden

Um die Ergebnisse aller drei Toolkits aufeinander abzustimmen, berechnete unser wissenschaftliches Team die ausgewogene Genauigkeit. Zudem ermittelten wir den ROC-AUC-Wert (Receiver Operating Characteristic – Area Under the Curve), ein Maß für die diagnostische Leistungsfähigkeit bei der Erkennung einer Aktions-Einheit oder eines Gesichtsausdrucks, indem wir die kontinuierlichen Intensitätswerte als Konfidenzwerte behandelten, um die Schätzungen von OpenFace und LibreFace an AFFDEX anzupassen.

Wichtigste Erkenntnis Nr. 1: Im Vergleich zu AFFDEX 2.0 bieten Open-Source-Lösungen keinen umfassenden Funktionsumfang für die Erkennung von Gesichtsausdrücken.

Bei der Analyse stellte sich heraus, dass Open-Source-Lösungen nicht mit dem Funktionsumfang von AFFDEX 2.0 mithalten können. AFFDEX 2.0 bietet einen umfassenderen Funktionsumfang, was die Aktions-Einheiten für Gesichtsausdrücke (auch als AU bezeichnet) betrifft:

• AFFDEX 2.0 erkennt 20 AUs im gesamten Gesichtsbereich und ermöglicht Forschern so ein umfassenderes und detaillierteres Verständnis von Emotionen und Mimik. 
• OpenFace 2.0 ist dafür bekannt, dass es Präsenzvorhersagen für 18 AUs und Intensitätsschätzungen für 17 AUs liefern kann.
• Und schließlich kann LibreFace Schätzungen für 11 AUs sowie Intensitätsschätzungen für 12 AUs liefern. 

Auf der Grundlage dieser ersten Ergebnisse haben wir uns auf eine überschaubarere Teilmenge unserer Ergebnisse konzentriert (z. B. Lächeln, Stirnrunzeln, Nasenfalten usw.), um die Genauigkeitsraten zu bewerten, die in unserem Whitepaper nachzulesen sind. 

Über den Gesichtsausdruck hinaus betrachtet: Die von AFFDEX gelieferten Erkenntnisse umfassen eine umfassende Reihe von Signalen, darunter Gesichtsmarker, Kopfhaltung, AUs und allgemeine emotionale Zustände (z. B. Freude, Traurigkeit, Überraschung usw.).

Wichtigste Erkenntnis Nr. 2: Nicht alle Open-Source-Toolkits sind in der Lage, Gesichter in realistischen Umgebungen erfolgreich zu erkennen.

Zwar zeigten die meisten der von uns vorgestellten Testvideos Personen, die frontal in die Kamera blickten, doch unsere Analyse ergab, dass die Erkennungsraten bei den verschiedenen Toolkits erheblich voneinander abwichen.  

Anmerkung:

• AFFDEX 2.0 und OpenFace 2.0 haben in etwa 95 % aller getesteten Bilder aus unserem Datensatz erfolgreich Gesichter erkannt.  
• Im Vergleich dazu erreichte LibreFace eine Erkennungsrate von insgesamt 83 %. 

Diese Ergebnisse zeigen, dass AFFDEX 2.0 und OpenFace 2.0 bei kontrollierten Datensätzen eine deutlich bessere Leistung bei der Gesichtserkennung erzielen als LibreFace. Bei der Auswahl einer Lösung ist es wichtig, auch zu berücksichtigen, wie Sie die Datenerfassung durchführen möchten (z. B. in einer Laborumgebung oder aus der Ferne, im Auto oder in einem Simulator oder vor einem Computer) und welche Lösung Ihren Forschungsanforderungen am besten entspricht.

Ergebnis Nr. 3: Open-Source-Toolkits weisen bei der Erkennung von Gesichtsausdrücken keine hohe Genauigkeit auf. 

Bei unserer Bewertung aller drei Tools haben wir festgestellt, dass AFFDEX 2.0 in nahezu jedem AU eine überlegene Robustheit aufweist. Angesichts der unterschiedlichen Gesichtserkennungsraten von AFFDEX 2.0, OpenFace 2.0 und LibreFace haben wir für die Genauigkeitsanalyse nur überlappende Bilder berücksichtigt, in denen alle drei Tools das Vorhandensein eines Gesichts erkennen konnten. 

Beim Vergleich von AFFDEX 2.0 mit OpenFace 2.0: 

• AFFDEX 2.0 erzielte einen bemerkenswerten Vorsprung von 8,5 Prozentpunkten bei der durchschnittlichen ausgewogenen Genauigkeit (0,753 für AFFDEX gegenüber 0,668 für OpenFace) sowie einen deutlichen Vorsprung beim durchschnittlichen ROC-AUC-Wert (0,907 gegenüber 0,721).

Beim Vergleich von AFFDEX 2.0 und LibreFace stellten wir einen deutlich erkennbaren Unterschied zwischen den beiden Toolkits fest, und zwar:

• AFFDEX 2.0 übertraf LibreFace bei der Balanced Accuracy um 12,9 Prozentpunkte (0,753 für AFFDEX gegenüber 0,624 für LibreFace) und auch beim AUC-ROC-Wert (0,907 gegenüber 0,677). 

Diese Ergebnisse deuten darauf hin, dass Open-Source-Toolkits wie LibreFace oder OpenFace 2.0 zwar für Analysen hilfreich sein können oder bei kontrollierten Datensätzen gute Ergebnisse liefern, die Genauigkeit jedoch beeinträchtigt werden kann, wenn Gesichtsausdrucksdaten aus „In-the-Wild“-Kontexten und Situationen verwendet werden, in denen sich die Bedingungen innerhalb des Videos ändern können (z. B. wechselnde Hintergrundbeleuchtung, Gesichts- oder Körperbewegungen, Änderungen des Kopfwinkels im Video).

Weitere Informationen zur AU-Balanced-Accuracy und zum ROC-AUC-Vergleich zwischen AFFDEX, LibreFace und OpenFace für einzelne Action Units finden Sie in unserem Whitepaper, das eine detaillierte Aufschlüsselung aller AUs enthält.

Warum es wichtig ist, in ein KI-Toolkit zur Gesichtserkennung zu investieren

Ganz gleich, ob Sie Werbeanzeigen testen, wissenschaftliche Forschung im Labor betreiben oder Funktionen für die Fahrzeugsicherheit entwickeln – ein Toolkit, das Ihnen präzise Ergebnisse und umfassende Erkenntnisse liefert, ist für den Erfolg Ihrer Studie von entscheidender Bedeutung.

Zwar können kostenlose Lösungen einen wertvollen Beitrag für die Forschungsgemeinschaft leisten, doch zeigen unsere Ergebnisse, dass AFFDEX 2.0 nach wie vor die überlegene Lösung ist, die sich für groß angelegte Anwendungen eignet, bei denen eine hohe Generalisierbarkeit und Präzision bei unterschiedlichen Gesichtsausdrücken erforderlich ist. 

Zwar sind die Gesichtserkennung und die Genauigkeitsraten wichtige Faktoren für die Bewertung der Leistungsfähigkeit eines KI-Tools zur Gesichtsausdrucksanalyse, doch ist auch die Art und Weise, wie die Daten ausgegeben werden, ein wichtiger Aspekt. Die Signale von Affectiva liefern Wahrscheinlichkeitswerte von 0 bis 100 für das Vorhandensein von AU, während die Open-Source-Toolkits OpenFace 2.0 und LibreFace ausschließlich binäre Präsenzkennzeichnungen und kontinuierliche Intensitätsschätzungen im Bereich von 0 bis 5 bereitstellen. 

Je nach Ihren Forschungsanforderungen und der gewünschten Detailgenauigkeit der Daten (z. B. zur Erfassung von Mikroausdrucksbewegungen) bietet eine Rohsignalskala von 0 bis 100 eine zusätzliche Detailgenauigkeit, die andere Lösungen auf dem Markt nicht bieten.  Und für diejenigen, die sich für Schwellenwertbildung interessieren und das iMotions-Modul zur Gesichtsausdrucksanalyse in iMotions Lab nutzen, bieten wir R-Notebooks an, die die Schwellenwertbildung und Aggregation von AFFDEX 2.0 ermöglichen. 

Möchten Sie mehr über die KI zur Gesichtsausdrucksanalyse von Affectiva erfahren? Vereinbaren Sie eine Demo mit unserem Team!