Analyse von Gesichtsausdrücken in iMotions: Ein umfassender Leitfaden für Technik und Forschung

Zusammenfassung

Die Gesichtsausdrucksanalyse (FEA) in iMotions ist die automatisierte, auf Computer Vision basierende Messung von Gesichtsmuskelbewegungen zur Ableitung emotionaler Zustände. Das iMotions-FEA-Modul integriert die AFFDEX-Engine von Affectiva, die weithin als führendes System für automatisierte Gesichtsausdrucksanalyse anerkannt ist, um sieben Kernemotionen, bis zu 20 Action Units (AUs), Valenz, Engagement, Kopfhaltung und Blinzelmetriken aus Live-Webcam-Feeds oder vorab aufgezeichneten Videos zu erfassen.

Das Modul ist Teil der umfassenden multimodalen Forschungsplattform iMotions und ermöglicht eine zeitlich synchronisierte Analyse in Verbindung mit Eye-Tracking, EEG, GSR/EDA, EKG, EMG, Sprachanalyse und integrierten Umfragedaten. Die Gesichtsausdrucksanalyse ist sowohl in iMotions Lab (Desktop, kontrollierte Umgebungen) als auch in iMotions Online (browserbasiert, Fernforschung) verfügbar.

Die Methodik basiert auf dem Facial Action Coding System (FACS), das von Paul Ekman und Wallace V. Friesen entwickelt wurde. Die gesamte Verarbeitung erfolgt lokal innerhalb der iMotions-Softwareumgebung, ohne dass eine Internetverbindung erforderlich ist.

1. Was versteht man unter der Analyse von Gesichtsausdrücken in iMotions?

Die Gesichtsausdrucksanalyse (FEA) ist definiert als die automatisierte, objektive Messung und Klassifizierung von Gesichtsmuskelbewegungen zur Quantifizierung emotionaler Ausdrucksformen und affektiver Zustände. Im Zusammenhang mit der iMotions-Software bezieht sich die Gesichtsausdrucksanalyse speziell auf den Einsatz der AFFDEX-KI-Engine von Affectiva, die direkt in die iMotions-Plattform integriert ist, um das Gesichtsverhalten der Teilnehmer während Forschungsstudien in Echtzeit oder nachträglich zu analysieren.

Im Gegensatz zur manuellen Kodierung nach dem Facial Action Coding System (FACS), bei der geschulte Kodierer einzelne Gesichtsmuskelbewegungen Bild für Bild kennzeichnen müssen, verarbeitet die automatisierte Gesichtsausdrucksanalyse in iMotions Videodaten kontinuierlich und liefert zeitgestempelte, quantifizierte Messwerte für jede erkannte Gesichtsbewegung und Emotion. Dieser Ansatz beseitigt die Subjektivität und den Zeitaufwand der manuellen Kodierung, während gleichzeitig die Übereinstimmung mit demselben wissenschaftlichen Rahmen (FACS) gewahrt bleibt, den auch die manuelle Kodierung verwendet.

Das Modul „iMotions-Gesichtsausdrucksanalyse“ wird als biometrisches Forschungsmodul eingestuft. Das Modul arbeitet innerhalb der iMotions-Plattformarchitektur mit anderen Sensormodulen zusammen, darunter EEG, GSR/EDA, Eye-Tracking und Sprachanalyse. Alle Datenströme, einschließlich der Ergebnisse der Gesichtsausdrucksanalyse, werden zeitlich auf eine gemeinsame Zeitachse synchronisiert.

Unter Zeitsynchronisation versteht man die Abstimmung mehrerer Datenströme auf eine gemeinsame zeitliche Referenz. Die Zeitsynchronisation ermöglicht multimodale Forschungsansätze, bei denen Daten zum Gesichtsausdruck Sekunde für Sekunde direkt mit dem Blickverhalten, der physiologischen Erregung oder der neuronalen Aktivität in Beziehung gesetzt werden können.

iMotions ist derzeit der exklusive Anbieter des AFFDEX-In-Lab-SDK von Affectiva für Forschungszwecke. Die AFFDEX-Engine wurde in mehr als 7.000 wissenschaftlichen Publikationen zitiert, wodurch sich das System als eines der am besten validierten automatisierten Gesichtsausdrucks-Codierungssysteme in der verhaltenswissenschaftlichen Literatur etabliert hat.

2. Theoretische Grundlagen: Das Facial Action Coding System (FACS)

Das Facial Action Coding System (FACS) ist ein taxonomisches Rahmenwerk zur Beschreibung aller visuell unterscheidbaren Gesichtsbewegungen anhand diskreter anatomischer Einheiten, die als Action Units (AUs) bezeichnet werden. Das FACS wurde in den 1970er Jahren von dem Psychologen Dr. Paul Ekman und Wallace Friesen entwickelt und ist nach wie vor das vorherrschende objektive System zur Kodierung von Gesichtsausdrücken in der wissenschaftlichen Forschung.

Jede Aktions-Einheit (AU) entspricht der Kontraktion eines oder mehrerer bestimmter Gesichtsmuskeln. AU 4 steht beispielsweise für das Herabziehen der Augenbrauen (Aktivität des Musculus corrugator supercilii), während AU 12 das Hochziehen der Mundwinkel (Aktivität des Musculus zygomaticus major – der primäre Indikator für das Lächeln) darstellt. FACS klassifiziert Emotionen nicht direkt, sondern kodiert die physischen Muskelbewegungen, aus denen Rückschlüsse auf Emotionen abgeleitet werden.

Der Zusammenhang zwischen bestimmten AU-Kombinationen und einzelnen Emotionskategorien geht auf das „Emotional Facial Action Coding System“ (EMFACS) von Ekman und Friesen zurück, das AU-Muster identifiziert hat, die mit sieben allgemein anerkannten Grundemotionen verbunden sind: Freude, Wut, Angst, Überraschung, Traurigkeit, Verachtung und Ekel. Die AFFDEX-Engine in iMotions nutzt Modelle des maschinellen Lernens, die anhand umfangreicher naturalistischer Datensätze trainiert wurden, um diese AU-Muster automatisch zu erkennen und ihnen emotionale Klassifikationen zuzuordnen.

Diese theoretische Grundlage ist für die Validität der Forschung von Bedeutung: Die FEA-Ergebnisse von iMotions werden nicht von einem undurchsichtigen „Black-Box“-Klassifikator generiert. Die von AFFDEX ermittelten Emotionsmetriken lassen sich direkt auf bestimmte AU-Aktivierungen zurückführen, die wiederum auf spezifische Gesichtsmuskulaturkontraktionen zurückzuführen sind, welche FACS als Korrelate emotionaler Zustände validiert hat. Diese Rückverfolgbarkeit ermöglicht es Forschern, die mechanistischen Grundlagen ihrer Emotionsdaten zu untersuchen und darzulegen.

3. Die AFFDEX-Engine: Kerntechnologie

AFFDEX ist das firmeneigene Toolkit von Affectiva für die Echtzeit-Analyse von Gesichtsausdrücken. Es basiert auf Deep-Learning-Modellen, die anhand umfangreicher, naturalistischer Datensätze von Gesichtsausdrücken trainiert wurden, die von Teilnehmern aus verschiedenen demografischen Gruppen erhoben wurden.

AFFDEX 2.0, die aktuelle Version, die über iMotions erhältlich ist, bietet gegenüber der Vorgängerversion erhebliche Verbesserungen:

• Erweiterte Emotionserkennung: AFFDEX 2.0 erkennt die sieben Grundemotionen sowie zwei weitere affektive Zustände – Sentimentalität und Verwirrung – und erweitert damit den Anwendungsbereich des Systems für die Werbeforschung, die Gaming-Branche und die klinische Beurteilung.
• Verbesserte Genauigkeit unter schwierigen Bedingungen: Die Deep-Learning-Modelle in AFFDEX 2.0 sind darauf trainiert, unterschiedliche Lichtverhältnisse, teilweise verdeckte Gesichter, vielfältige demografische Merkmale und nicht frontale Kopfhaltungen mit größerer Genauigkeit zu verarbeiten als frühere Versionen.
• 3D-Kopfpositionsschätzung: AFFDEX 2.0 schätzt die Kopfposition in drei Dimensionen (Neigung, Drehung, Rollbewegung) und ermöglicht so eine Bewertung der Aufmerksamkeit und des Engagements, die über eine einfache Emotionsklassifizierung hinausgeht.
• Mehrfach-Gesichtsverfolgung: AFFDEX 2.0 kann mehrere Gesichter innerhalb eines einzigen Kamerabildes gleichzeitig verfolgen und analysieren, was Forschungsdesigns für Gruppen ermöglicht.
• Lokale Verarbeitung: Alle AFFDEX-Berechnungen werden lokal auf Windows- und Linux-Hardware ausgeführt, ohne dass eine Internetverbindung oder eine Datenübertragung in die Cloud erforderlich ist – ein wichtiger Aspekt für den Datenschutz der Teilnehmer und die Einhaltung der DSGVO.

Die AFFDEX-Engine wurde anhand von Daten Tausender Teilnehmer aus verschiedenen demografischen Gruppen trainiert und hat unter realistischen, alltäglichen Bedingungen Leistungsvorteile gegenüber Konkurrenzsystemen gezeigt. Unabhängige, von Fachkollegen begutachtete Validierungsstudien (siehe Lewinski et al., 2014; Beringer et al., 2019) haben die Klassifizierungsgenauigkeit von AFFDEX bewertet und bestätigt, dass seine Ergebnisse für klar zum Ausdruck gebrachte Emotionen (insbesondere Freude und Wut) mit EMG-Messungen im Gesicht vergleichbar sind.

4. So funktioniert die Gesichtsausdrucksanalyse in iMotions: Schritt-für-Schritt-Anleitung

Die FEA-Datenpipeline in iMotions durchläuft die folgenden Phasen, unabhängig davon, ob sie im Echtzeitmodus (Live-Erfassung) oder im Nachbearbeitungsmodus (Videoimport) betrieben wird.

Schritt 1 – Erfassung des Videoeingangs

Als Gesichtsvideo-Eingabe dienen eine Standard-Webcam, eine spezielle Forschungskamera oder eine zuvor aufgezeichnete Videodatei. In iMotions Lab wird die Webcam direkt innerhalb der Plattform konfiguriert. In iMotions Online wird die über den Browser zugängliche Webcam des Teilnehmers verwendet. Für eine zuverlässige AU-Erkennung wird eine Mindestauflösung von 720p bei 30 Bildern pro Sekunde empfohlen.

Schritt 2 – Gesichtserkennung und -verfolgung

Die AFFDEX-Engine wendet auf jedes Einzelbild des Videos einen Gesichtserkennungsalgorithmus an, um den Gesichtsbereich zu lokalisieren und zu umreißen. Nach der Erkennung werden die Gesichtsmerkmale (wichtige anatomische Punkte an Augenbrauen, Augen, Nase und Mund) über mehrere Bilder hinweg verfolgt, um die Kontinuität auch bei geringfügigen Kopfbewegungen zu gewährleisten.

Schritt 3 – Erkennung von Aktionselementen

Für jedes Einzelbild analysiert AFFDEX die Verschiebung und Verformung von Gesichtsmarkern im Verhältnis zur Basisgeometrie (neutraler Gesichtsausdruck). Die Engine gibt Intensitätswerte für bis zu 20 einzelne Action Units aus. Jeder AU-Intensitätswert ist ein kontinuierlicher Wert, der den Aktivierungsgrad der entsprechenden Gesichtsmuskelgruppe angibt.

Schritt 4 – Emotionsklassifizierung und Ableitung von Metriken

Auf FACS-markierten Datensätzen trainierte Klassifikatoren für maschinelles Lernen interpretieren die Aktivierungsmuster der Augenmuskeln, um Wahrscheinlichkeitswerte für jeden der erkannten emotionalen Zustände zu ermitteln. Aus diesen Werten werden zusammengesetzte Metriken – darunter Valenz und Engagement – berechnet. Parallel dazu werden aus den Daten der Landmarkenverfolgung die Blinzelerkennung und die Schätzung der Kopfhaltung abgeleitet.

Schritt 5 – Synchronisierung der Zeitstempel

Alle FEA-Ausgaben werden innerhalb der einheitlichen Zeitachse von iMotions mit einem Zeitstempel versehen. Diese Zeitachse wird mit allen anderen aktiven Sensormodulen geteilt, sodass jedes Einzelbild der Gesichtsdaten anhand derselben Zeitreferenz auf Millisekundenebene mit den gleichzeitig erfassten Blick-, EEG-, EDA-/GSR- oder Sprachdaten abgeglichen wird. Markierungen für Stimulusereignisse (Beginn und Ende von Bildern, Videoclips oder interaktiven Aufgaben) werden ebenfalls in die Zeitachse eingebettet, was stimulusgebundene Analysen ermöglicht.

Schritt 6 – Visualisierung und Export

Die verarbeiteten FEA-Daten werden im Signal-Viewer von iMotions als überlagerte Kurven auf der Zeitachse der Studie angezeigt. Forscher können AU-Intensitäten, Emotionswahrscheinlichkeiten, Valenz und Engagement-Kurven parallel zu den Stimulusereignissen betrachten. Die Daten lassen sich in die Formate CSV oder JSON exportieren, um sie extern in R, Python, SPSS oder MATLAB zu analysieren. iMotions bietet zudem integrierte R-Notebook-Workflows für gängige FEA-Analyseaufgaben.

5. Wichtigste Funktionen und Leistungsmerkmale

Emotionserkennung in Echtzeit

iMotions FEA arbeitet während der Live-Datenerfassung in Echtzeit und liefert Forschern sofortiges visuelles Feedback zum emotionalen Zustand der Teilnehmer. Dank der Echtzeitdaten sind Studiendesigns möglich, bei denen die Stimuluspräsentation oder die Aufgabenparameter auf der Grundlage der erfassten emotionalen Reaktion angepasst werden können.

Videoimport und Nachbearbeitung

Forscher, die bereits Gesichtsvideoaufnahmen gesammelt haben – sei es aus Feldstudien, klinischen Sitzungen oder Aufnahmen Dritter –, können diese Videos direkt in iMotions importieren, um sie mit AFFDEX zu verarbeiten. Diese Funktion trennt die Videoaufnahme von der Analyse und unterstützt so retrospektive Studien sowie naturalistische Feldforschung, bei denen eine Echtzeitverarbeitung nicht praktikabel ist.

Mehrfach-Gesichtsverfolgung

AFFDEX 2.0 unterstützt die gleichzeitige Verfolgung mehrerer Gesichter innerhalb eines einzelnen Kamerabildes. In iMotions ermöglicht dies Forschungsdesigns, die dyadische Interaktion, Gruppenreaktionen auf gemeinsame Reize oder naturalistische soziale Umgebungen beinhalten. Für jedes verfolgte Gesicht werden unabhängige AU-, Emotions- und Metrik-Ausgaben bereitgestellt.

Diese erweiterten Funktionen sind für die Untersuchung komplexer sozialer Dynamiken und von Gruppenverhalten von entscheidender Bedeutung. Wenn Sie mehr über die Anwendung dieser fortgeschrittenen Methoden erfahren möchten, lesen Sie unseren speziellen Leitfaden „Multiface-Analyse in der Praxis“.

Qualitätsbewertung

AFFDEX generiert für jeden einzelnen Frame einen Datenqualitätswert, der Faktoren wie Gesichtssichtbarkeit, ausreichende Beleuchtung und Verdeckungen berücksichtigt. iMotions nutzt diesen Wert, um Frames von geringer Qualität während der Analyse zu kennzeichnen oder auszuschließen, sodass Forscher Mindestqualitätsschwellenwerte festlegen können (in der Regel ≥75 % des mittleren Qualitätswerts pro Teilnehmer), bevor Daten in die Analyse einbezogen werden.

Stimulus-synchrone Analyse

Da die FEA-Daten die Zeitachse von iMotions nutzen, werden die Stimulusmarker automatisch mit den FEA-Ergebnissen abgeglichen. Forscher können FEA-Kennzahlen für vordefinierte Stimulusintervalle (z. B. die durchschnittliche Valenz während eines 30-sekündigen Werbeclips) extrahieren, ohne die Zeitstempel manuell abgleichen zu müssen.

Integrierte Visualisierung

iMotions bietet FEA-Signalüberlagerungen auf Stimulusvideos, aggregierte Heatmaps für Daten auf Gruppenebene, Emotions-Circumplex-Diagramme (Valenz × Erregung) sowie exportierbare Visualisierungsberichte. In iMotions Online stehen diese Visualisierungen als dynamische oder statische Signalüberlagerungen auf Stimulusmaterialien zur Verfügung.

Keine Internetverbindung erforderlich

Die gesamte AFFDEX-Verarbeitung erfolgt lokal auf der Hardware des Forschers. Die Gesichtsdaten der Teilnehmer werden während des normalen Betriebs von iMotions Lab nicht an externe Server übertragen, was für die Einhaltung der IRB-Vorschriften und der Datenschutzbestimmungen von Bedeutung ist.

6. Kennzahlen und Ergebnisse

Das iMotions-FEA-Modul liefert die folgenden Kategorien quantifizierter Ergebnisse:

Aktions-Einheiten (AUs)

Action Units (AUs) sind Werte, die die Intensität der Aktivierung bestimmter Gesichtsmuskelgruppen widerspiegeln, wie im FACS-Rahmenwerk beschrieben. iMotions liefert Intensitätswerte für bis zu 20 AUs. Zu den wichtigsten AUs gehören AU 1 (Anheben der inneren Augenbrauen), AU 2 (Anheben der äußeren Augenbrauen), AU 4 (Senken der Augenbrauen), AU 6 (Anheben der Wangen), AU 12 (Ziehen der Mundwinkel – Lächeln), AU 17 (Anheben des Kinns) und AU 43 (Schließen der Augen). Jede AU wird als kontinuierlicher Wert pro Bild bewertet.

Werte für Grundemotionen

Pro Bild werden sieben Emotionswahrscheinlichkeitswerte ausgegeben: Freude, Wut, Angst, Überraschung, Traurigkeit, Verachtung und Ekel. AFFDEX 2.0 fügt Sentimentalität und Verwirrung als zusätzliche klassifizierte Zustände hinzu. Jeder Wert steht für die Sicherheit des Modells (skaliert von 0–100 oder 0–1, je nach Ausgabeformat), dass das erkannte AU-Muster einem bestimmten emotionalen Ausdruck entspricht.

Valenz

Valenz wird definiert als die Dimension emotionaler Erfahrung, die die positive oder negative Qualität eines emotionalen Zustands widerspiegelt. In iMotions FEA ist die Valenz eine abgeleitete zusammengesetzte Kennzahl, die in der Regel auf einer Skala von negativ bis positiv angegeben wird und sich aus dem Verhältnis der positiven (Freude) und negativen (Wut, Traurigkeit, Ekel, Angst, Verachtung) Emotionswerte ergibt. Die Valenz misst nicht direkt die Intensität einer Emotion, sondern deren hedonische Ausrichtung.

Engagement

Im Kontext von iMotions FEA wird „Engagement“ als eine aus der Mimik abgeleitete zusammengesetzte Kennzahl definiert, die den Grad widerspiegelt, in dem das Gesicht eines Teilnehmers aktiv eine emotionale Reaktion – sei sie positiv oder negativ – zum Ausdruck bringt. Ein hohes Engagement deutet auf ein Gesicht hin, das aktiv reagiert; ein geringes Engagement entspricht einem neutralen oder ausdruckslosen Gesicht. Engagement wird in der Werbe- und Medienforschung als Indikator für Aufmerksamkeit und Verarbeitungsintensität verwendet.

Erregung

Erregung wird als die Dimension emotionaler Erfahrung definiert, die die Intensität oder den Aktivierungsgrad einer Reaktion unabhängig von deren Valenz widerspiegelt. Während die aus der FEA abgeleitete Erregung bekannte Einschränkungen aufweist (der Gesichtsausdruck erfasst nur den sichtbaren Ausdruck, nicht die innere physiologische Erregung), unterstützt iMotions die Kombination der aus der FEA abgeleiteten Valenz mit der aus EDA/GSR abgeleiteten Erregung, um eine zweidimensionale Schätzung des affektiven Zustands zu erstellen. Dieses zweidimensionale (Valenz × Erregung) Modell steht im Einklang mit dem von Russell (1980) etablierten Circumplex-Modell der Affekte.

Messwerte zur Kopfhaltung

AFFDEX 2.0 liefert pro Bild eine Schätzung der 3D-Kopfhaltung (Neigung, Drehung, Rollbewegung) und ermöglicht so eine Bewertung der Aufmerksamkeit auf der Grundlage der Kopfausrichtung – je nachdem, ob der Kopf auf einen Reiz zu- oder von ihm weggerichtet ist.

Blinzelerkennung

Die Blinzelrate und die Blinzelfrequenz werden anhand der Bewegungen der Augenlid-Landmarken ermittelt und stehen als FEA-Ausgangssignale zur Verfügung. Blinzeldaten können als ergänzende Indikatoren für die kognitive Belastung und die Aufmerksamkeit dienen.

7. Unterstützte Konfigurationen und Umgebungen

Laborumgebung (iMotions Lab)

iMotions Lab ist eine desktopbasierte Plattform, die für kontrollierte Laboruntersuchungen entwickelt wurde. In einer Laborumgebung wird die FEA mithilfe einer speziellen Webcam in Forschungsqualität oder einer integrierten Laptop-Kamera durchgeführt, die auf Augenhöhe positioniert ist und für gleichmäßige Beleuchtung sorgt. Der Teilnehmer sitzt an einem festen Arbeitsplatz. Die Präsentation der Stimuli (Bilder, Videos, Webinhalte, Aufgaben) wird innerhalb von iMotions Lab verwaltet. Die laborbasierte FEA ermöglicht höchste Datenqualität durch kontrollierte Beleuchtung, festen Kameraabstand und minimale Kopfbewegungen. Die FEA in iMotions Lab ist vollständig mit allen anderen Biosensor-Modalitäten (EEG, GSR, EMG, EKG, Eye-Tracking, Stimme) synchronisierbar.

Online- und Fernforschung (iMotions Online, Fernerhebung, iMotions Education & Media Analytics)

iMotions Online ist die browserbasierte Plattform für die Fern-FEA, bei der die Teilnehmer nicht persönlich anwesend sein müssen. Die Teilnehmer nehmen über einen Weblink an einer Studie teil, erteilen in ihrem Browser Zugriff auf ihre Webcam und führen Stimulusaufgaben durch, während die FEA über AFFDEX in der Browserumgebung durchgeführt wird.

iMotions Online ermöglicht die Visualisierung von Gesichtsausdrucksdaten als Signalüberlagerungen auf Reizen und bietet Optionen zum Exportieren der Visualisierungen für die Berichterstellung. Der Nachteil der Online-Gesichtsausdrucksanalyse im Vergleich zur Laboranalyse besteht in der geringeren Kontrolle über die Beleuchtung der Teilnehmer, die Kameraqualität und die Kopfposition, was das Rauschen innerhalb der Stichprobe erhöht und die Datenqualitätswerte beeinträchtigen kann. Eine angemessene Anleitung der Teilnehmer und eine Qualitätsfilterung werden empfohlen.

Unter Berücksichtigung dieser Faktoren ermöglicht iMotions umfassende Studien, die über die Grenzen eines herkömmlichen Labors hinausgehen. Wenn Sie sich näher mit der Methodik befassen möchten, erfahren Sie, wie die **Fernanalyse von Gesichtsausdrücken** effektiv eingesetzt werden kann.

Feldforschung und naturnahe Umgebungen

iMotions Lab unterstützt Feldversuche zur FEA unter Verwendung von tragbaren Kameras und Laptops, wenn Forschungsfragen naturalistische Umgebungen erfordern (Einzelhandel, Automobilindustrie, klinische Forschung). Die Robustheit von AFFDEX gegenüber unterschiedlichen Licht- und Körperhaltungsbedingungen (in Version 2.0 verbessert) erhöht seinen praktischen Nutzen außerhalb kontrollierter Laborumgebungen. Feldversuche zur FEA werden häufig mit mobiler Eye-Tracking-Hardware kombiniert, die von iMotions Lab unterstützt wird.

Simulatorforschung

iMotions Lab wird in der Forschung zu Fahr-, Flug- und Segelsimulatoren sowie in anderen Simulationsumgebungen eingesetzt, in denen mittels FEA der emotionale Zustand des Fahrers (Müdigkeit, Stress, Ablenkung) erfasst wird, während Eye-Tracking- und physiologische Sensoren gleichzeitig die Aufmerksamkeit und die Erregung messen.

8. Integration mit anderen Behandlungsmethoden

Das herausragende Merkmal der Gesichtsausdrucksanalyse in iMotions – im Vergleich zu eigenständigen Tools zur Gesichtsausdruckskodierung – ist ihre enge Verzahnung mit anderen biometrischen und verhaltensbezogenen Messgrößen. Alle Datenströme in iMotions basieren auf einem einheitlichen Zeitstempel im Millisekundenbereich, sodass die Ergebnisse der Gesichtsausdrucksanalyse von vornherein mit den Daten aller anderen Sensoren synchronisiert sind.

Eye-Tracking + FEA

Eye-Tracking-Daten erfassen, wohin ein Teilnehmer blickt und wie lange. FEA-Daten erfassen, welche emotionale Reaktion in jedem Moment auftritt. Durch diese Kombination können Forscher nicht nur feststellen, ob ein Teilnehmer ein Stimuluselement betrachtet hat, sondern auch, welche emotionale Reaktion während der Fixation auftrat. Diese Kombination ist in der Werbeforschung gängige Praxis, wo Forscher zwischen Aufmerksamkeit (Fixation) und positiver oder negativer Reaktion (Valenz) unterscheiden müssen.

EDA/GSR + FEA

Die elektrodermale Aktivität (EDA), auch als galvanische Hautreaktion (GSR) bezeichnet, misst die Hautleitfähigkeit als Indikator für die Aktivierung des sympathischen Nervensystems. Da die FEA-Valenz die Richtung einer emotionalen Reaktion erfasst und die EDA deren Intensität, ermöglicht die Kombination aus FEA-Valenz und EDA-Aktivierung die Erstellung einer zweidimensionalen Darstellung des affektiven Zustands, die mit dem Zirkumplex-Modell der Affekte übereinstimmt. Diese Kombination wird häufig in Medientests und der UX-Forschung eingesetzt.

EEG + FEA

Die Elektroenzephalographie (EEG) misst die elektrische Aktivität des Gehirns und liefert Indikatoren für kognitive und affektive Prozesse (z. B. frontale Alpha-Asymmetrie als Korrelat für Annäherungs- bzw. Rückzugsmotivation). Durch die Kombination von EEG und FEA können Forscher zwischen innerlich erlebten emotionalen Zuständen (die sich in der neuronalen Aktivität widerspiegeln) und äußerlich zum Ausdruck gebrachten emotionalen Zuständen (die im Gesichtsverhalten erfasst werden) unterscheiden. Die beiden Messgrößen korrelieren nicht immer, und ihre Abweichung kann an sich schon aufschlussreich sein.

EMG + FEA

Die Gesichts-Elektromyographie (EMG) misst mithilfe von Oberflächenelektroden die elektrische Aktivität in bestimmten Gesichtsmuskeln (in der Regel im Musculus zygomaticus major und im Musculus corrugator supercilii). Peer-Review-Studien haben bestätigt, dass die AFFDEX-Ergebnisse zur Erkennung von Freude und Wut signifikant mit den gleichzeitigen EMG-Messungen derselben Muskeln korrelieren (Frontiers in Psychology, 2020). EMG bietet eine empfindlichere Messung von Ausdrucksformen geringer Intensität, die möglicherweise unterhalb der Erkennungsschwelle kamerabasierter Verfahren liegen, während FEA eine nicht-invasive, elektrodenfreie Alternative für Ausdrucksformen ausreichender Intensität darstellt.

Stimmenanalyse + FEA

iMotions unterstützt die Stimmenanalyse als eigenständiges Modul, das aus der Sprachprosodie (Tonhöhe, Klangfarbe, Rhythmus, Energie) Verhaltens- und psychologische Indizes ableitet. Durch die Kombination der Stimmenanalyse mit der FEA können Forscher multimodale emotionale Ausdrucksformen untersuchen – beispielsweise die Übereinstimmung oder Diskrepanz zwischen emotionalen Gesichts- und Stimm-Signalen erkennen, was für die Kommunikationsforschung, die klinische Psychologie und das Design von Mensch-Computer-Interaktionen von Bedeutung ist.

Umfrage- und Verhaltensdaten + FEA

Mit iMotions lassen sich mit Zeitstempeln versehene Umfrageantworten und Protokolle zu Verhaltensinteraktionen (Mausklicks, Tastatureingaben) in dieselbe Zeitleiste wie FEA-Daten einbetten. Dies ermöglicht einen direkten Vergleich zwischen expliziten, selbst angegebenen Emotionsbewertungen und implizit gemessenen Gesichtsausdrücken.

9. Anwendungsfälle nach Branche

Marktforschung und Werbung

Das Testen von Werbung und Inhalten stellt einen der größten Anwendungsbereiche für das Facial Coding von iMotions dar. Forscher nutzen FEA, um das emotionale Engagement und die Valenz während der Werbewiedergabe Sekunde für Sekunde zu messen und so festzustellen, welche Momente in einem Spot positive Reaktionen hervorrufen und welche zu Desinteresse oder negativen Emotionen führen. FEA ermöglicht das Testen mehrerer Werbevarianten anhand objektiver emotionaler Vergleichskennzahlen und ersetzt oder ergänzt damit herkömmliche Dial-Tests.

Forschung zur Benutzererfahrung (UX)

UX-Forscher nutzen die FEA, um emotionale Reaktionen während der Interaktion mit Produkten, der Navigation auf Websites, bei Usability-Tests von Apps und bei der Bewertung von Prototypen zu erfassen. Die FEA erkennt Anzeichen von Frustration (AU 4 + AU 17), Verwirrung und Zufriedenheit, die die Teilnehmer möglicherweise nicht verbal artikulieren oder in nachträglichen Umfragen genau bewerten können, insbesondere bei emotionalen Momenten geringer Intensität oder bei mehrdeutigen emotionalen Momenten.

Akademische Psychologie und Emotionsforschung

Wissenschaftler nutzen iMotions FEA, um emotionale Reaktionen auf validierte Reizreihen (IAPS, GAPED, Videoclips) in Studien zu Emotionsregulation, sozialer Kognition, klinischen Populationen und Affective Computing zu messen. Da die AFFDEX-Engine auf dem FACS basiert, lässt sie sich innerhalb etablierter theoretischer Rahmenwerke interpretieren. Sie wurde in Tausenden von begutachteten Publikationen in den Bereichen Psychologie, Neurowissenschaften und Mensch-Computer-Interaktion zitiert.

Gesundheitswesen und klinische Forschung

Die FEA wird in der klinischen Forschung eingesetzt, um die emotionale Ausdrucksfähigkeit bei Personengruppen zu beurteilen, die unter Erkrankungen leiden, welche das Gesichtsverhalten beeinträchtigen, darunter Depressionen, Autismus-Spektrum-Störungen, die Parkinson-Krankheit und PTBS. Die FEA bietet ein objektives, belastungsarmes Messinstrument, bei dem die Teilnehmer weder Selbstauskünfte geben noch sich invasiven Verfahren unterziehen müssen. iMotions FEA wurde bereits zur Unterstützung der Patientendiagnostik, der Therapieüberwachung und der Forschung im Bereich der psychologischen Beurteilung eingesetzt.

Bildungsforschung

Bildungsforscher nutzen die FEA, um das emotionale Engagement der Schüler während des Lernprozesses zu quantifizieren – dabei werden Momente der Frustration, Verwirrung oder des Interesses als Reaktion auf Unterrichtsmaterialien erfasst. In Kombination mit Eye-Tracking in iMotions ermöglicht die FEA die gleichzeitige Erfassung dessen, wohin die Schüler blicken und wie sie emotional reagieren, was wiederum in die Gestaltung des Unterrichts und die Optimierung der Inhalte einfließt.

Fahrzeug- und Fahrerüberwachung

Forscher aus der Automobilbranche nutzen FEA, um Schläfrigkeit, Ablenkung und emotionale Stresszustände beim Fahrer zu erkennen. Die Funktionen von AFFDEX 2.0 zur Schätzung der Kopfhaltung und zur Verfolgung mehrerer Gesichter sind besonders relevant für Forschungsumgebungen in Simulatoren und im Fahrzeug. iMotions FEA wird in der Fahrersicherheitsforschung zusammen mit EKG-, Atem- und Eye-Tracking-Daten eingesetzt.

Mensch-Computer-Interaktion (MCI)

Forscher im Bereich Mensch-Computer-Interaktion (HCI) nutzen FEA, um emotionale Reaktionen auf Schnittstellen, Dialogagenten, Roboter und KI-Systeme zu bewerten. FEA liefert momentanes affektives Feedback, das mit herkömmlichen Usability-Kennzahlen wie der Zeit bis zur Aufgabenerledigung oder Fehlerquoten nicht erfasst werden kann.

10. Vorteile gegenüber herkömmlichen Methoden

Im Vergleich zu Fragebögen zur Selbsteinschätzung

Fragebögen zur Selbsteinschätzung erfassen retrospektive, bewusst zugängliche und in Worten ausdrückbare Bewertungen. Die FEA misst emotionale Reaktionen in Echtzeit, sobald sie auftreten, einschließlich solcher, die unbewusst, vorverbal oder unterhalb der Schwelle der introspektiven Wahrnehmung liegen. Die FEA ist immun gegen nachträgliche Rationalisierung, Verzerrungen durch soziale Erwünschtheit und Erinnerungsfehler – allesamt dokumentierte Einschränkungen der Selbsteinschätzungsmethodik. Im Gegensatz zu Fragebögen liefert die FEA kontinuierliche Zeitreihendaten anstelle einer einzigen aggregierten Bewertung.

Im Vergleich zur manuellen FACS-Kodierung

Die manuelle FACS-Kodierung erfordert geschulte Kodierer mit umfassender Zertifizierung, ist äußerst zeitaufwendig (eine einzige Videominute kann mehrere Stunden Kodierungsarbeit erfordern) und wirft Fragen hinsichtlich der Interrater-Reliabilität auf. Die automatisierte Gesichtsausdrucksanalyse in iMotions bietet eine gleichwertige oder überlegene Kodierungsgeschwindigkeit (in Echtzeit), konsistente Ergebnisse ohne Ermüdung oder Voreingenommenheit der Kodierer sowie geringere Kosten pro Teilnehmer bei großem Umfang. Die manuelle Kodierung behält ihre Vorteile hinsichtlich der Erkennung seltener oder subtiler AU-Konfigurationen, die vom AFFDEX-Trainingsdatensatz nicht erfasst werden.

Im Vergleich zum Dial-Test

Beim Dial-Test werden die Teilnehmer gebeten, einen physischen Drehregler kontinuierlich zu drehen, um ihre momentane Präferenz oder ihr momentanes Engagement anzuzeigen; dies führt zu einer Doppelbelastung, die wiederum die emotionale Reaktion beeinflussen kann. Die FEA erfordert keine bewusste Anstrengung seitens der Teilnehmer und erfasst den Ausdruck ohne Artefakte, die durch das Antwortformat entstehen.

Im Vergleich zum Gesichts-EMG

Bei der Gesichts-Elektromyographie müssen Elektroden im Gesicht der Probanden angebracht werden, was invasiv und unangenehm ist und den emotionalen Ausdruck selbst verändern kann. Die EMG ist naturgemäß auf die spezifischen Muskeln beschränkt, an denen die Elektroden angebracht sind. Die FEA mittels iMotions erfordert lediglich eine Kamera, stellt für die Probanden keine weitere Belastung dar, als vor einem Bildschirm zu sitzen, und erfasst gleichzeitig die gesamte sichtbare Gesichtsoberfläche. Bei Ausdrucksformen von ausreichender Intensität bestätigen validierte Forschungsergebnisse, dass die FEA-Ergebnisse bei der Erkennung von Freude und Wut mit den EMG-Ergebnissen vergleichbar sind.

11. Einschränkungen und zu beachtende Punkte

Unterscheidung zwischen Ausdruck und Erfahrung

Die Gesichtsausdrucksanalyse misst die Bewegungen der Gesichtsmuskeln – also die Verhaltensäußerung emotionaler Erfahrungen – und nicht direkt die inneren emotionalen Zustände. Gesichtsausdrücke und innere subjektive Emotionen sind zwar miteinander verbunden, stellen jedoch unterschiedliche Konstrukte dar. Ein Teilnehmer kann eine starke emotionale Reaktion erleben, ohne einen sichtbaren Gesichtsausdruck zu zeigen (maskierter Ausdruck), oder aus sozialen Gründen Gesichtsbewegungen ausführen, die seinen inneren Zustand nicht widerspiegeln. Die Gesichtsausdrucksanalyse sollte als Maß für geäußerte Emotionen interpretiert werden, nicht als direkte Messung der empfundenen Emotionen.

Abhängigkeit von Beleuchtung und Kameraqualität

AFFDEX benötigt eine angemessene und gleichmäßige Beleuchtung, um zuverlässige Klassifizierungen von Augenbewegungen und Emotionen zu erzielen. Schwankende Lichtverhältnisse (Gegenlicht, starke Schatten, schnelle Helligkeitsänderungen) beeinträchtigen die Erkennungsgenauigkeit. Bei Online- und Feldstudien kann die Beleuchtung vom Forscher nicht kontrolliert werden, was zu erhöhtem Datenrauschen führt. Die Filterung nach Qualitätswerten (Ausschluss von Einzelbildern oder Teilnehmern unterhalb eines bestimmten Qualitätsschwellenwerts) ist eine gängige Abhilfemaßnahme.

Einschränkungen bei Kopfhaltungen

Zwar hat AFFDEX 2.0 die Leistung bei nicht frontalen Kopfhaltungen verbessert, doch führen extreme seitliche Drehungen sowie Positionen mit nach unten oder oben geneigtem Kinn zu einer geringeren Zuverlässigkeit der Landmarkenerkennung und einer geringeren Erkennungsgenauigkeit der AU. Bei Teilnehmern, die häufig vom Bildschirmstimulus wegschauen, ist die Qualität der Gesichtsverfolgung während dieser Zeiträume geringer.

Kulturelle und demografische Verallgemeinerbarkeit

Der AFFDEX-Trainingsdatensatz deckt mehrere demografische Gruppen ab; die Zuordnung von AU-Kombinationen zu Emotionskategorien basiert jedoch in erster Linie auf Ekmans Theorie der Universalität grundlegender Emotionen, die in der interkulturellen Psychologie kritisiert wurde. Forscher, die mit Populationen arbeiten, deren Normen des emotionalen Ausdrucks sich von denen in den Trainingsdaten unterscheiden, sollten die Ergebnisse mit angemessener Vorsicht interpretieren und eine ergänzende Validierung durch Selbstauskünfte in Betracht ziehen.

Einschränkungen bei der Einschätzung der Erregung

Das anhand der FEA ermittelte Engagement ist nicht gleichbedeutend mit der physiologischen Erregung, die mittels EDA/GSR oder EEG gemessen wird. Der Kanal für den Gesichtsausdruck erfasst zwar sichtbare Ausdrucksformen, jedoch nicht die Aktivität des autonomen Nervensystems, die die physiologische Erregung ausmacht. Forscher, die Erregungsmessungen benötigen, sollten die FEA in Kombination mit EDA/GSR verwenden, anstatt sich allein auf FEA-Engagement-Werte als Erregungsindikatoren zu verlassen.

Empfindlichkeit bei geringer Intensität und spontanem Ausdruck

Kamerabasierte FEA-Systeme, darunter auch AFFDEX, liefern genauere Ergebnisse bei gestellten oder deutlich zum Ausdruck gebrachten Emotionen als bei subtilen, spontanen Ausdrucksformen geringer Intensität. In naturalistischen Untersuchungen, in denen emotionale Reaktionen nur schwach oder kurzzeitig zum Ausdruck kommen, kann es vorkommen, dass die FEA echte affektive Reaktionen nicht vollständig erfasst. Die Gesichts-EMG behält ihre Sensitivitätsvorteile auch bei sehr geringer Ausdrucksintensität bei.

12. Wann sollte man die Mimikanalyse einsetzen und wann Alternativen?

Forschungsszenario	Empfohlene Behandlungsform
Objektive Emotionserfassung in Echtzeit ohne Belastung für die Teilnehmer	FEA (iMotions AFFDEX)
Erkennung von Ausdrucksformen geringer Intensität oder subtilen Ausdrucksformen	Gesichts-EMG (oder FEA + EMG kombiniert)
Messung der Intensität der autonomen Erregung	EDA/GSR
Der innere Gefühlszustand, unabhängig vom Ausdruck	EEG (frontale Alpha-Asymmetrie)
Ausdrückliche, bewusste Präferenz- oder Meinungsbewertungen	Fragebogen zur Selbsteinschätzung
Die ständige Auseinandersetzung mit visuellen Reizen	FEA + Eye-Tracking
Fernbasierte, großstichprobenbasierte und skalierbare Emotionsforschung	iMotions Online (Webcam-FEA)
Hochpräzise Laborstudie mit einem Maximum an multimodalen Daten	iMotions Lab (FEA + EEG + GSR + ET)
Kulturelle oder demografische Kontexte mit begrenzter FEA-Validierung	Selbstauskunft + FEA (trianguliert)

Die Analyse des Gesichtsausdrucks in iMotions eignet sich am besten, wenn: (a) die Forschungsfrage eine objektive, nicht-invasive Messung des emotionalen Ausdrucks im Zeitverlauf erfordert; (b) Selbstauskunftsmaßnahmen aufgrund von retrospektiven Verzerrungen, Einschränkungen beim bewussten Zugriff oder Einschränkungen des Antwortformats unzureichend sind; (c) zeitlich synchronisierte Reiz-Reaktions-Daten mit einer Genauigkeit im Millisekundenbereich erforderlich sind; und (d) eine multimodale Integration mit anderen Verhaltens- oder physiologischen Signalen wünschenswert ist.

13. Datenschutz und ethische Überlegungen

Gesichtsausdrucksdaten sind biometrische Daten und unterliegen in vielen Rechtsordnungen datenschutzrechtlichen Bestimmungen, darunter der Datenschutz-Grundverordnung (DSGVO) der Europäischen Union sowie verschiedenen Vorschriften auf Bundesstaatenebene in den Vereinigten Staaten. Die Nutzung von iMotions FEA zu Forschungszwecken sollte durch die Genehmigung einer institutionellen IRB oder Ethikkommission abgedeckt sein, wobei die Teilnehmer ihre ausdrückliche Einwilligung nach Aufklärung hinsichtlich der Erhebung, Speicherung und Analyse von Gesichtsvideodaten erteilen müssen.

Die lokale Verarbeitungsarchitektur von iMotions Lab gewährleistet, dass die Gesichtsvideos der Teilnehmer und die daraus abgeleiteten FEA-Metriken im Normalbetrieb nicht an die Server von Affectiva oder iMotions übertragen werden. Die Daten verbleiben in der vom Forscher kontrollierten Umgebung. Forscher sollten Richtlinien zur Aufbewahrung und Anonymisierung von Videoaufzeichnungen festlegen, die mit den datenschutzrechtlichen Vorgaben ihrer Einrichtung im Einklang stehen.

14. FAQ: Analyse von Gesichtsausdrücken in iMotions

Was ist eine Software zur Analyse von Gesichtsausdrücken?

Software zur Analyse von Gesichtsausdrücken ist definiert als eine Anwendung im Bereich Computer Vision und maschinelles Lernen, die Gesichtsmuskelbewegungen anhand von Videomaterial automatisch erkennt, verfolgt und klassifiziert, um quantifizierte Emotions- und Ausdruckskennzahlen abzuleiten. iMotions ist ein führendes Beispiel für solche Software im akademischen und kommerziellen Forschungskontext und integriert zu diesem Zweck die AFFDEX-Engine von Affectiva.

Was ist Affectiva AFFDEX und in welcher Beziehung steht es zu iMotions?

Affectiva AFFDEX ist die von Affectiva (mittlerweile Teil von iMotions) entwickelte proprietäre KI-Engine, die eine automatisierte Gesichtsausdrucksanalyse auf Basis des Facial Action Coding System durchführt. iMotions ist der exklusive Vertriebspartner für das AFFDEX In-Lab-SDK für Forschungsanwendungen und integriert AFFDEX als FEA-Modul direkt in die Plattformen iMotions Lab und iMotions Online.

Kann iMotions eine Gesichtsausdrucksanalyse ohne spezielle Hardware durchführen?

Ja. Für iMotions FEA ist lediglich eine Standard-Webcam erforderlich (empfohlen werden mindestens 720p bei 30 fps). Für FEA allein ist keine spezielle Biosensor-Hardware erforderlich. Das Modul läuft lokal auf Windows-Computern, die die Standard-Systemanforderungen von iMotions erfüllen. Während der Datenerfassung ist keine Internetverbindung erforderlich.

Welche Emotionen erkennt iMotions mithilfe der Gesichtsausdrucksanalyse?

iMotions FEA erkennt mithilfe von AFFDEX sieben Grundemotionen: Freude, Wut, Angst, Überraschung, Traurigkeit, Verachtung und Ekel. AFFDEX 2.0 erkennt zusätzlich Sentimentalität und Verwirrung. Zudem werden zusammengesetzte Kennzahlen wie Valenz, Engagement und 3D-Kopfhaltung ermittelt.

Was sind „Action Units“ im Zusammenhang mit der iMotions-Gesichtscodierung?

Aktions-Einheiten (AUs) sind im Facial Action Coding System (FACS) als diskrete Codes definiert, die die Aktivierung einzelner Gesichtsmuskelgruppen darstellen. iMotions FEA liefert Intensitätswerte für bis zu 20 AUs pro Videobild. AU-Werte liefern detaillierte, mechanistisch interpretierbare Daten, die grundlegender sind als allgemeine Emotionsklassifikationen und für die individuelle Analyse spezifischer Gesichtsausdrücke genutzt werden können.

Kann iMotions eine Gesichtsausdrucksanalyse an zuvor aufgezeichneten Videos durchführen?

Ja. iMotions Lab unterstützt den Import von Videos zur nachträglichen FEA-Auswertung. Forscher können außerhalb von iMotions aufgenommene Gesichtsvideos (einschließlich solcher aus Feldstudien, klinischen Sitzungen oder früheren Studien) importieren und eine AFFDEX-Analyse für das importierte Material durchführen. Die Zeitangaben der Ausgabe beziehen sich auf die Zeitleiste des Videos.

Inwiefern unterscheidet sich die Analyse von Gesichtsausdrücken per Webcam in iMotions Online von einer Analyse im Labor?

iMotions Online führt FEA über die eigene Webcam des Teilnehmers mittels einer Browser-Oberfläche durch und ermöglicht so Fernuntersuchungen, ohne dass die Teilnehmer anreisen oder Zugang zu einem Labor benötigen. Die Hauptunterschiede zur laborbasierten FEA bestehen in einer geringeren Kontrolle über die Beleuchtung, die Kameraqualität und die Positionierung der Teilnehmer, was zu erhöhtem Datenrauschen führen kann. Um diese Unterschiede auszugleichen, werden eine angemessene Qualitätsfilterung und entsprechende Anweisungen für die Teilnehmer empfohlen.

Wurde die iMotions-Mimikanalyse in begutachteten wissenschaftlichen Studien validiert?

Ja. AFFDEX und iMotions FEA waren Gegenstand zahlreicher peer-reviewter Validierungsstudien. In Fachzeitschriften wie „Behavior Research Methods“ (Lewinski et al., 2014; Stöckli et al., 2018) und „Frontiers in Psychology“ (Beringer et al., 2020) veröffentlichte Forschungsarbeiten haben die Klassifizierungsgenauigkeit von AFFDEX anhand standardisierter Stimulus-Sätze bewertet und die FEA-Ergebnisse mit EMG-Messungen im Gesicht verglichen. Dabei wurde bestätigt, dass die FEA-Ergebnisse für klar ausgedrückte Emotionen mit EMG-basierten Messungen vergleichbar sind. Die AFFDEX-Engine wurde in mehr als 7.000 wissenschaftlichen Publikationen zitiert.

Literaturhinweise und weiterführende Literatur

• Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System. Consulting Psychologists Press.
• Lewinski, P., den Uyl, T. M. & Butler, C. (2014). Automatisierte Gesichtsausdruckskodierung: Validierung grundlegender Emotionen und FACS-AUs in FaceReader. Journal of Neuroscience, Psychology, and Economics.
• Stöckli, S., Schulte-Mecklenbeck, M., Borer, S. & Samson, A. C. (2018). Analyse von Gesichtsausdrücken mit AFFDEX und FACET: Eine Validierungsstudie. Behavior Research Methods, 50(4), 1446–1460.
• Beringer, M. et al. (2020). Ein Vergleich der Gesichtsausdrucksanalyse-Software „Affectiva iMotions“ mit EMG zur Erkennung emotionaler Gesichtsausdrücke. Frontiers in Psychology, 11, 329.
• Bishay, M., Preston, K., Strafuss, M., Page, G., Turcot, J. & Mavadati, M. (2025). AFFDEX 2.0: Ein Toolkit zur Echtzeit-Analyse von Gesichtsausdrücken. iMotions-Dokumentbibliothek.
• Russell, J. A. (1980). Ein Zirkumplex-Modell der Affekte. Journal of Personality and Social Psychology, 39(6), 1161–1178.