Gelingt es nicht, betrügerische Umfrageteilnehmer erfolgreich auszuschließen, könnte dies Forschungs-, Marken- und/oder Marketingvorhaben auf den falschen Weg bringen, was Zeit, Kosten und Aufwand verschwendet. Forscher der University of South Florida werteten mithilfe von iMotions die Mimik der Befragten aus, um Anzeichen für „schlechte Akteure“ zu erkennen.
Ein Forschungsfall
Durch die zunehmende Digitalisierung finden immer mehr Untersuchungen zum menschlichen Verhalten online statt. Die zunehmende Verbreitung von Online-Umfragen bietet Forschern daher neue, dringend benötigte Möglichkeiten und Instrumente, um Einblicke in das Verbraucherverhalten zu gewinnen. Marktforschung ist bei der Einführung einer neuen Marke, eines neuen Produkts oder einer neuen Dienstleistung auf dem Markt unerlässlich – und viele Unternehmen nutzen hierfür mittlerweile Online-Umfragen.
Da insbesondere Online-Umfragen so viel Gewicht beigemessen wird, stellt sich die Frage: Sind sie wirklich so zuverlässig und universell einsetzbar, wie ihre Beliebtheit vermuten lässt? Die Professoren Robert Hammond, Claudia Parvanta und Rahel Zemen von der University of South Florida haben sich in einem kürzlich erschienenen Artikel eingehend mit dieser Frage befasst. Darin kamen sie zu dem Schluss, dass bezahlte Online-Umfragen eine „warnende Leuchte“ erfordern, da man nie weiß, wer daran teilnimmt – oder doch?
Die Gruppe stieß indirekt auf dieses Thema, als unerwünschtes Nebenprodukt ihrer Studie, in der sie die Auswirkungen von öffentlichen Aufklärungsspots auf die Absicht, mit dem Rauchen aufzuhören, untersuchte. Sie erhielten vom Gesundheitsministerium ihres Bundesstaates eine Förderung, um als Erste die Analyse von Gesichtsausdrücken als Methode zur Bewertung der Zuschauerreaktionen auf die Aufklärungsspots zu erproben. In der „Nebenstudie“ analysierten sie die Auswirkungen gefälschter Daten, wenn diese in die Ergebnisse einfließen würden, und haben uns durch diese Forschung wertvolle Hinweise darauf gegeben, wie man die höchstmögliche Datenvalidität erreicht, indem man Gesichtsausdrücke und Aufmerksamkeit untersucht, um die Umfrageteilnehmer zu unterscheiden.
Das Aussortieren „unredlicher Teilnehmer“ ist nicht nur eine bewährte Vorgehensweise, sondern auch von entscheidender Bedeutung. Gelingt es nicht, unredliche Teilnehmer erfolgreich auszuschließen, könnte dies Forschungs-, Marken- und/oder Marketingvorhaben auf den falschen Weg bringen, was Zeit, Kosten und Aufwand verschwendet. Deshalb ist es so wichtig, über Instrumente zu verfügen, mit denen sich Teilnehmer identifizieren und entfernen lassen, die bei der Beantwortung nachlässig sind oder ihre Teilnahmeberechtigung für die Umfrage absichtlich falsch darstellen.
Das „Problem“ mit der Validität von Online-Umfragen
Täglich füllen wahrscheinlich Tausende ehrlicher Menschen Online-Umfragen aus. Es ist daher wichtig zu betonen, dass die Autoren nicht jede Anwendung dieser Methode zur Datenerhebung verurteilen. Wenn die Befragten jedoch direkt vom Forscher vergütet werden und die Links zu den Umfragen ins Internet gelangen, gibt es weniger Sicherheitsvorkehrungen, die Einzelpersonen oder sogar Gruppen davon abhalten, die Umfrage nur wegen der Vergütung auszufüllen. Bei einer typischen Umfragemethodik muss der Forscher darauf vertrauen, dass die Person, die an der Studie teilnimmt, die für die Studie gesuchten Kriterien erfüllt. [Die Wahrscheinlichkeit, dass dies zutrifft, ist höher, wenn geprüfte Panels verwendet werden, wie wir weiter unten erörtern.] Im Fall der Studie der Autoren sollten dies Erwachsene ab 18 Jahren sein, die in ihrem Bundesstaat lebten und Tabak konsumierten.
Was die Autoren davon abhielt, Hunderte von Datenpunkten von Personen einzubeziehen, die diese Kriterien in keiner Weise erfüllten, war der Einsatz der Gesichtsausdrucksanalyse.
Studie – Die wahrgenommene Wirksamkeit von öffentlichen Aufklärungskampagnen
Im Rahmen der Untersuchung zu öffentlichen Bekanntmachungen führte das Team einen geplanten Umfrageteil durch, an dem zwei Gruppen teilnahmen. Zunächst wurde die Umfrage an die „Gemeinschaft“ verschickt. Diese Teilnehmer reagierten auf einen digitalen Flyer, der auf dem Campus und in der Nachbarschaft verteilt wurde, und erhielten anschließend eine E-Mail, in der eine Aufwandsentschädigung von 20 Dollar in Form eines Geschenkgutscheins für die Teilnahme angekündigt wurde. Der Link zur Studie aus dem Flyer für die Community und die Nachbarschaft wurde über die beabsichtigten Grenzen hinaus geteilt und ging anschließend in der „Wildnis“ verloren, wo mehrere „böswillige“ Befragte ihn in die Hände bekamen, vermutlich um die finanzielle Vergütung zu erhalten. Die zweite Gruppe von Umfrageteilnehmern wurde über ein geprüftes Panel eines kommerziellen Panel-Anbieters rekrutiert.
Alle Befragten wurden beim Ansehen von drei verschiedenen Aufklärungsfilmen zum Thema Tabakkonsum aufgezeichnet und anschließend gebeten, anhand einer Skala die Wirksamkeit der Filme zu bewerten. Zwei Hauptmessgrößen wurden verwendet, um den Unterschied in der Validität zwischen den Teilnehmern aus der Allgemeinheit und den Teilnehmern des geprüften Panels zu unterscheiden: Aufmerksamkeit und Gesichtsausdrücke. Beide wurden mit der iMotions-Software analysiert. Die Aufmerksamkeit ist eine von iMotions (Affectiva) bereitgestellte Metrik, die auf der Kopfposition (Neigung, Drehung, Rollbewegung) basiert, und 20 Facial Action Units (FAU) sind die Ausgabe von iMotions (Affectiva).
Anschließend wandten die Forscher statistische Verfahren auf die Ergebnisse an (d. h. Regression). Bewegliche Merkmale wie ein Lippenkräuseln, ein Grinsen oder ein Anheben der Wangen lassen Rückschlüsse auf die Absichten des Teilnehmers und dessen Fokus zu. Anhand dieser Messungen konnten die Teilnehmer in eine der drei Kategorien eingeteilt werden: betrügerisch, desinteressiert und aufrichtig.
Diese drei Kategorien wurden anhand einer Videoanalyse definiert; anschließend wurden die FAUs analysiert, um die Vorhersagefähigkeit des Ergebnisses zu überprüfen. Ein als „interessiert“ eingestufter Teilnehmer war aufmerksam, füllte alle Aufmerksamkeitskontrollen korrekt aus und lieferte gültige Ergebnisse. Der perfekte Teilnehmer! Uninteressierte Teilnehmer verlieren die Konzentration, schauen weg oder legen während der Studie Pausen ein, was zu ungültigen Daten führt. Teilnehmer, die als „Bad Actors“ gelten, könnten beispielsweise ihr Gesicht durch ein Bild ersetzen oder das Licht in ihrem Zimmer ausschalten, um nicht gesehen zu werden.
Gesamtergebnisse
Die Ergebnisse sahen wie folgt aus: In der Allgemeinheit waren 58 % der Teilnehmer unehrlich und nur 42 % ehrlich. Unter den Panelteilnehmern waren ganze 87 % der Ergebnisse ehrlich, 11 % unehrlich und 2 % desinteressiert.
Die Stichprobe aus der Allgemeinbevölkerung fiel letztlich deutlich kleiner aus als die des Panels: Sie umfasste 92 Personen, während das Panel 409 Personen umfasste.
Was hat uns die Analyse von Gesichtsausdrücken gelehrt?
Mithilfe einer Kamera, die die Mimik der Teilnehmer aufzeichnet, konnten die Forscher genauer feststellen, welche Teilnehmer valide Daten liefern und welche nicht. So scheint es beispielsweise, dass ein Teilnehmer, der während des Experiments vor der Kamera grinst, in 85 % der Fälle mit Betrug in Verbindung gebracht wird und zu ungültigen Daten führt. Außerdem konnte so ermittelt werden, welche Teilnehmer, die länger als der Durchschnitt brauchen, einfach nur langsamer sind, und welche abgelenkt sind und unechte Antworten geben. Die Analyse von Gesichtsausdrücken bei Online-Umfragen könnte dazu beitragen, einen saubereren Datensatz zu erhalten und festzustellen, woher falsche Antworten stammen.
Wo sollte ich die Teilnehmer für meine Online-Umfrage rekrutieren?
Es gibt natürlich keine pauschale Antwort auf die Frage, welche Methode zur Teilnehmerrekrutierung die „beste“ ist. Es liegt an den einzelnen Forschern oder Forschungsteams, die Vor- und Nachteile der genannten Kanäle zur Teilnehmerrekrutierung abzuwägen, und zwar unter Berücksichtigung der jeweiligen budgetären, zeitlichen und sonstigen Einschränkungen, mit denen der jeweilige Forscher oder das jeweilige Team konfrontiert ist.
Wie bereits erwähnt, muss die Wahl des geeigneten Kanals für die Teilnehmerrekrutierung von Fall zu Fall geprüft werden. Beide Rekrutierungskanäle – die auf Qualifikationskriterien basierenden Panels und die Community-basierte Rekrutierung – haben ihre jeweiligen Vorteile. Die auf Qualifikationskriterien basierenden Panels gelten in der Regel als zuverlässigere Datenquelle, da die Befragten Erfahrung mit der Teilnahme an Umfragen haben. Die Community-basierte Rekrutierung ist die schnellere und kostengünstigere Alternative, wobei die Hoffnung besteht, durch die freiwillige Teilnahme der Personen und die Gewährung eines finanziellen Anreizes ein höheres Engagement zu erzielen.
Andererseits weisen beide Kanäle auch Nachteile auf, die berücksichtigt werden müssen. Einerseits besteht bei Antworten von Teilnehmern, die aus geprüften Panels rekrutiert wurden, das Risiko einer geringeren Aufmerksamkeit, was wiederum dazu führen könnte, dass einige Antworten weniger authentisch sind. Andererseits kann es bei den über die Community-Kanäle rekrutierten Befragten schwieriger sein, eine „kontrollierte“ Stichprobe zu finden, da der Link zur vergüteten Umfrage durchgesickert ist und viele Personen den Fragebogen ausgefüllt haben, die nicht zur beabsichtigten Stichprobe aus der Universität und der Nachbarschaft gehörten. Eine Belohnung von 20 Dollar ist recht attraktiv und könnte Teilnehmer mit der falschen Motivation anziehen, was die Anzahl der irreführenden Antworten erhöht.
Wenn Sie mehr über diese Studie erfahren und sich eingehend mit den Statistiken sowie den Ergebnissen der Untersuchung befassen möchten, können Sie hier den vollständigen Artikel abrufen.