Wie die Analyse von Gesichtsausdrücken aus der Ferne durchgeführt werden kann

Die gegenwärtige Situation spiegelt eine unsichere und beispiellose Phase in unserer Geschichte wider. Angesichts der aktuellen Lage schließen sich Forscher zusammen, um innovative Lösungen für die Fernforschung zu entwickeln. Gleichzeitig verzeichnen Videokonferenzdienste wie Zoom und Google Meet einen enormen Zustrom neuer Nutzer, da Unternehmen ihre Geschäftstätigkeit zunehmend ins Internet verlagern.

Obwohl die meisten Tests vor Ort vorübergehend ausgesetzt sind, bietet die Nachbearbeitung von Gesichtsausdrucksdaten eine praktikable Möglichkeit, die Biosensor-Forschung fortzusetzen. iMotions integriert die führenden verfügbaren Tools zur Gesichtsausdrucksanalyse (FEA). In diesem Beitrag haben wir die Verwendung der Affectiva-Engine AFFDEX hervorgehoben. Affectiva misst unauffällig ungefilterte und unverfälschte emotionale Gesichtsausdrücke, wobei lediglich eine Standard-Webcam zum Einsatz kommt. Diese Technologie ermöglicht es Forschern, die Mimik während Live-Tests zu beobachten oder nachträglich Analysen durchzuführen.

Was versteht man unter der Nachbearbeitung von Gesichtsausdrücken?

Mit iMotions können zuvor aufgezeichnete Videos der Gesichter der Teilnehmer in die Software importiert und verarbeitet werden, um mithilfe automatisierter Gesichtsausdruckstechnologie die gezeigten Emotionen zu analysieren. Ob auf individueller Ebene oder in einer Gruppe – einzelne Gesichter können im Nachhinein identifiziert und analysiert werden. Diese Funktion bedeutet, dass Forscher nicht nur die Möglichkeit haben, Gesichtsausdrucksanalysen an neu aufgenommenen Videos durchzuführen, sondern auch bereits vorhandene Inhalte in ihren Datenbanken für weitere Analysen erneut zu betrachten. Dieser Datenstrom kann eine wertvolle Ergänzung für eine Vielzahl von Forschungsinitiativen sein, da er uns Informationen über die emotionale Wirkung bestimmter Inhalte, Produkte oder Dienstleistungen liefert.

Beispiele für die Analyse von Gesichtsausdrücken: Anwendungsfälle

Die Gesichtsausdrucksanalyse (FEA) kann zur Unterstützung einer Vielzahl von Forschungsvorhaben eingesetzt werden. Zu den Methoden gehören unter anderem:

• Usability-Tests (UX-Forschung)
• Fokusgruppen
• Einzelgespräche

Lesen Sie dazu: UX-Forschung – Was ist das und wohin geht die Entwicklung?

Die Einbindung von FEA in Online-Interviews und Fokusgruppen kann wertvolle Erkenntnisse über die Meinungen, geäußerten Emotionen und Verhaltensweisen von Personen in Bezug auf ein Produkt oder einen Inhalt von Interesse liefern. Wir haben beobachtet, dass diese Forschungsmethoden in verschiedenen Branchen und Anwendungsbereichen zum Einsatz kommen, beispielsweise:

Tests zur Benutzererfahrung: Wie reagieren Nutzer auf ein bestimmtes digitales Erlebnis?

• Welche Arbeitsabläufe oder Bereiche einer App können zu größerer Frustration oder Verwirrung führen?
• Wie setzen sich die Studierenden virtuell mit den Kursunterlagen und Vorlesungen auseinander?
• Entspricht die Lernmethodik den Erwartungen der Studierenden? Ist die Kursgestaltung übersichtlich?

Medien-/Werbeforschung: Inwiefern unterscheiden sich das Engagement und die geäußerten Emotionen bei verschiedenen Werbemitteln?

• Wird das neue Werbemotiv vom Publikum positiver aufgenommen als das alte?
• Sind die entscheidenden Momente eines Inhalts für die Zuschauer von Bedeutung?

Zwischenmenschliche Interaktionen: Wie reagieren Menschen auf bestimmte virtuelle Interaktionen?

• Gibt es Möglichkeiten, die Effektivität der Interaktion zwischen Patienten und Ärzten in der Telemedizin zu verbessern?
• Wie wirkt sich der Tonfall des Arztes auf die Gefühlslage des Patienten während einer Konsultation aus?

Um mehr über Möglichkeiten und Anwendungsfälle der Fernforschung zu erfahren, sehen Sie sich unser KOSTENLOSES Webinar mit dem Titel „Fernforschung mit iMotions: Mimikanalyse und Verhaltenskodierung“ an.

So führen Sie eine Analyse von Gesichtsausdrücken anhand von Videos durch

Das Sammeln und Verarbeiten von Daten zu Gesichtsausdrücken aus der Ferne ist relativ einfach. In unserem Beispiel haben wir den Mitarbeitern von iMotions Marketingvideos gezeigt, um zu testen, welche davon die Kunden stärker ansprechen. Während einige langjährige Mitarbeiter des Unternehmens darauf drängen, das alte Einführungsvideo abzuschaffen, möchte das Team vor dem Start der Kampagne alle Videos testen.

Es wurde eine Gruppe von Mitarbeitern von iMotions zusammengestellt. Die Teilnehmer nahmen an einer Videokonferenz teil, bei der sie sich alle drei Videos ansahen und anschließend Fragen zum Inhalt beantworteten. Im Anschluss an die Vorführung wurde ein Einzelinterview mit einem freiwilligen Teilnehmer aus der Stichprobe geführt.

Von allen drei Videos schnitt das neue Erklärvideo (2) in den Selbstauskunftsdaten hinsichtlich Informationsqualität und Verständlichkeit am besten ab, dicht gefolgt vom Video über Partnerintegrationen (3). Das alte Erklärvideo (1) wurde dagegen relativ schlechter bewertet. Diese Daten stimmen mit der Hypothese überein, dass das neue Erklärvideo bei den Verbrauchern besser ankommen würde als das alte Erklärvideo.

Daten zur Mimik verleihen der Geschichte eine besondere Note. Obwohl es nur geringe Bewertungen erhielt, löst das alte Erklärvideo bei den Zuschauern die stärkste mimische Reaktion aus. Allerdings zeigen die Zuschauer dabei überwiegend negative Gesichtsausdrücke: Im Vergleich zum neuen Video runzeln sie beim Betrachten des alten Erklärvideos mehr als fünfmal so häufig die Stirn. Diese Daten deuten darauf hin, dass das alte Video möglicherweise einige Schwachstellen aufweist. Im Vergleich dazu zeigen die Zuschauer beim Video über Partnerintegrationen durchweg geringe Mimik. Diese beiden Videos – Video 1 und Video 3 – sprechen die Zuschauer möglicherweise nicht positiv an.

Auf die Frage, ob sie sich alle Videos vollständig angesehen hätte, wenn sie zufällig darauf gestoßen wäre, gab unsere Freiwillige an, dass ihr das neue Video besser gefalle. Sie erklärt: „Ich hätte einige davon geschlossen … wie Video 1 und 3.“

„Das zweite Video hat mir gefallen, weil … es mehr über die Plattform zeigte als Video 3 und die eigentliche Software vorstellte, im Gegensatz zu Video 1. Es war etwas ausführlicher.“

Das neue Erklärvideo schafft einen guten Ausgleich zwischen positiver Selbstwahrnehmung und gezeigten Emotionen. Die Zuschauer bewerten den Inhalt als klar und informativ, und Daten zur Mimik zeigen, dass die Zuschauer zwar aufmerksam sind, jedoch nur in geringem Maße die Stirn runzeln oder andere negative Gesichtsausdrücke zeigen, die auf Frustration oder Verwirrung hindeuten könnten. Während das alte, animierte Erklärvideo bei einem Publikum, für das das Produkt und die Botschaft persönlich relevant sind, wahrscheinlich keinen Anklang findet, ist das Partner-Integrationsvideo emotional wenig ansprechend und löst möglicherweise keine starke Reaktion aus. Diese Daten deuten darauf hin, dass das neue Erklärvideo mit höherer Produktionsqualität und klarerer Botschaft insgesamt am besten beim Publikum ankommt.

Tatsächlich spiegelt sich diese Einschätzung in unseren Gruppendaten wider, und die Mimik der Zuschauer kann uns helfen zu verstehen, warum. Unsere Zuschauer gaben an, das alte Erklärvideo nicht besonders informativ zu finden, und wir beobachten beim Anschauen des Videos deutlich vermehrtes Stirnrunzeln im Publikum. Dies lässt vermuten, dass das alte Erklärvideo für die Zuschauer verwirrend sein könnte, insbesondere wenn freche Fachausdrücke verwendet werden, wie in dem unten dargestellten Moment. Hier sagt der Sprecher: „Verbringen Sie mehr Zeit mit dem Abschluss, statt mit der Klempnerei.“ Der beabsichtigte Mehrwert ist für die Zuschauer möglicherweise unklar, da die Analogie mit der „Klempnerei“ möglicherweise nicht gut rüberkommt.

Die Stirnrunzeln in diesem Moment deuten darauf hin, dass das Video für die Zuschauer verwirrend sein könnte 

Andererseits erhalten sowohl das neue Erklärvideo als auch das Integrationsvideo positive Bewertungen hinsichtlich ihrer Verständlichkeit und Informationsdichte. Auch hier kann die Mimik dazu beitragen, unserer Entscheidung mehr Nuancen zu verleihen: Obwohl beide Videos als wirkungsvoll wahrgenommen werden, löst das neue Erklärvideo insgesamt eine stärkere mimische Reaktion aus, was möglicherweise darauf hindeutet, dass das Publikum beim Ansehen dieses Videos aufmerksamer ist. In Fällen, in denen verschiedene Stimuli ähnlich positive (oder negative!) Bewertungen erhalten, können Gesichtsausdrücke ein hilfreiches Mittel sein, um den „Gleichstand“ aufzuheben und festzustellen, welches Video die Aufmerksamkeit der Zuschauer stärker auf sich gezogen hat.

Hinweis: Für quantitative Erkenntnisse empfehlen wir unter Umständen eine größere Stichprobengröße, um Faktoren wie schlechte Beleuchtung in den Wohnungen, ungünstige Kamerawinkel, technische Probleme und Ähnliches zu berücksichtigen. Dies bietet dem Forscher gewisse Vorteile, da sich so die geografische Verteilung ermitteln lässt. Diese Instrumente können auch qualitativ eingesetzt werden. Für die Zwecke dieser Demonstration verwenden wir jedoch unsere fünf Mitarbeiter als repräsentative Stichprobe der Zuschauer.

 7 Tipps für hochwertige Daten zur Analyse von Gesichtsausdrücken

Bei der Fernerfassung und -analyse von Daten zum Gesichtsausdruck ist es wichtig, die erforderlichen Schritte zu befolgen, um eine qualitativ hochwertige Einrichtung zu gewährleisten.

1. Einverständniserklärung

Wie bei jeder Erhebung personenbezogener Daten sollten Sie sicherstellen, dass Ihre Teilnehmer vor der Datenerhebung über die Studie informiert werden und ihrer Teilnahme zustimmen.

2. Die Gesichtsbox des Teilnehmers muss eine angemessene Größe haben

In jeder Aufnahmesituation muss das Gesicht im Bild groß genug sein, damit der Algorithmus es korrekt erkennen und verarbeiten kann. Bei der Nutzung einer Videoplattform wie Zoom empfehlen wir, maximal 6 Teilnehmer in derselben Videoaufnahme zu haben.

3. Das Gesicht des Teilnehmers muss gut beleuchtet sein

Die Gesichter der Teilnehmer sollten nicht überbelichtet sein und nicht von einer anderen Lichtquelle von hinten beleuchtet werden. Die Teilnehmer sollten über die richtige Aufnahmekonfiguration informiert werden und ihre Webcams vor der Datenerhebung entsprechend einstellen.

4. Das Gesicht des Teilnehmers muss in der Bildmitte und gut sichtbar sein

Die Teilnehmer sollten sich in der Nähe der Webcam aufstellen und auf den Hauptbildschirm blicken (nicht auf einen zweiten Monitor). Außerdem sollten sie darauf achten, dass ihr Hintergrund schlicht ist, d. h. keine beweglichen Elemente oder Greenscreen-Filter enthält.

5. Der Ton ist klar und deutlich

Wenn Stimuli mit Ton präsentiert werden, sollten die Moderatoren sicherstellen, dass alle Teilnehmer stummgeschaltet sind und den Ton des Inhalts hören können, bevor mit der Vorführung begonnen wird.

6. Erstellen Sie für Videostimuli eine Videozusammenstellung, um eine nahtlosere Präsentation zu gewährleisten

Das Zeigen mehrerer Videostimuli funktioniert am besten, wenn die Stimuli zu einem langen „Reel“ zusammengeschnitten wurden. Dies ist mit jeder beliebigen Bearbeitungssoftware möglich. Wir empfehlen, am Anfang des Videos eine Pause (5–10 Sekunden) und zwischen den einzelnen Videos jeweils einige Sekunden (~3 Sekunden) einzubauen, damit sich die Teilnehmer darauf einstellen können.

7. Von der Aufnahme von Videos aus der Ferne mit einem Smartphone wird abgeraten

Achten Sie bei der Aufzeichnung von Videokonferenzen darauf, dass die Teilnehmer lieber einen Computer als ein Mobilgerät verwenden. Bei der Teilnahme per Telefon und der Aufzeichnung über das Handy können die Lichtverhältnisse und Blickwinkel sehr unterschiedlich sein, was die Qualität der Aufzeichnung und die Analyse der Gesichter beeinträchtigen kann.

Wir freuen uns darauf, zu erfahren, auf welche einzigartige Weise Sie Ferntechnologien für Ihre Forschung genutzt haben. Wenn Sie mehr darüber erfahren möchten, können Sie sich gerne an uns wenden. 

Mitwirkende Autoren:

Ashton Therrien