Wahrheit, Lügen und synthetische Daten: Der effektive Einsatz synthetischer Daten in der Marktforschung

Der jüngste ESOMAR-Kongress bot aufschlussreiche Einblicke in eine Vielzahl von Themen – insbesondere jedoch hinsichtlich der Frage, wie weit die Marktforschungsbranche bei der Einführung generativer KI-Technologie bereits fortgeschritten ist. Auf der Konferenz vor einem Jahr gab es viele Präsentationen von KI-Unternehmen und große Unsicherheit darüber, was KI bedeuten würde. 12 Monate später herrschte deutlich mehr Pragmatismus, und obwohl die Unsicherheit nach wie vor besteht, nimmt die Art und Weise, wie die Branche diese Tools voraussichtlich einsetzen wird, deutlich klarere Formen an

. KI scheint auf vier Arten genutzt zu werden:

• Moderationswerkzeuge – Einsatz großer Sprachmodelle zur Automatisierung bestimmter Aspekte des Interviewprozesses, sowohl zur Erstellung von Fragebögen und Diskussionsleitfäden als auch zur direkten Moderation kurzer Interviews
•  Operational Agents – Automatisierung des Prozesses zur Umsetzung von Forschungsergebnissen zur Kosten- und Zeitersparnis
• Automatisierte Analyse – Erkennen von Themen in Wort-für-Wort-Daten sowie Extrahieren und Visualisieren numerischer Ergebnisse, um die Gewinnung von Erkenntnissen zu beschleunigen
• Synthetische Daten – die Erstellung neuer Daten auf der Grundlage von Mustern früherer Antworten und umfassenderer Erkenntnisse, um die von echten Menschen gesammelten Daten zu ergänzen.

Zwar hat jede dieser Anwendungen Vor- und Nachteile, doch sind es die synthetischen Daten, die – wie wir noch sehen werden – bei weitem am umstrittensten sind.

Anwendungen für synthetische Daten

Synthetische Daten haben sich in anderen Bereichen bereits sehr erfolgreich bewährt. In der Automobilbranche helfen sie dabei, Tausende von Unfallszenarien zu simulieren, ohne dass gefährliche und kostspielige Unfälle in der Realität durchgeführt werden müssen. Im Gesundheitswesen versorgen sie Forschungsteams mit umfangreichen Datensätzen, die die Privatsphäre der Patienten wahren und gleichzeitig bahnbrechende Fortschritte bei der Erkennung und Behandlung seltener Krankheiten ermöglichen. Finanzinstitute nutzen sie, um Maßnahmen zur Betrugsbekämpfung zu modellieren, ohne sensible Transaktionen offenzulegen.

Die Herausforderung in der kommerziellen Marktforschung ist jedoch wohl eine andere. Anstatt uns auf ein bestimmtes Muster in einem Bild oder Szenario zu konzentrieren, versuchen wir hier vorherzusagen, was echte Menschen – die bekanntlich chaotisch, launisch und unlogisch sind – sagen und tun werden. Und das Wesentliche der Marktforschungsbranche besteht darin, die Wahrheit und die Realität des Verhaltens zu erfassen, nicht ein hypothetisches Modell. Doch trotz dieser Herausforderung werden synthetische Daten mittlerweile auf vielfältige Weise eingesetzt:

1. Entwicklung von „Personas“ oder auf großen Sprachmodellen basierenden Tools, mit denen man in natürlicher Sprache interagieren kann, um Forschungsdatensätze sowohl innerhalb einzelner Studien als auch studienübergreifend auszuwerten und so wichtige Fragen der Kunden zu beantworten.
2.  Um „Lücken“ in Datensätzen zu schließen – also die Antworten zu schätzen, die in einem Interview nicht gegeben wurden, und zwar auf der Grundlage der Antworten von Personen, die diese Fragen beantwortet haben, oder auf der Grundlage früherer Studien, in denen diese Fragen gestellt wurden.
3. Erhöhung des Stichprobenumfangs von Studien, insbesondere bei schwer erreichbaren Bevölkerungsgruppen, durch die Erstellung von „digitalen Zwillingen“ der gesamten Teilnehmer, um die Aussagekraft der Ergebnisse aus kleinen Gruppen zu verbessern.

Die Vorteile liegen auf der Hand – die Suche nach und Befragung von echten Menschen kann relativ kostspielig und zeitaufwendig sein, trotz der Automatisierungsbestrebungen, die die Marktforschungsbranche seit Jahren verfolgt. Es ist sinnvoll, KI einzusetzen, um mehr aus den vorhandenen Daten herauszuholen. Und alles, was die Ergebnisse zugänglicher und nutzbarer macht, ist eine gute Sache.

Ein Realitätscheck

Es ist jedoch wichtig, sich hier nicht von der Begeisterung rund um synthetische Daten mitreißen zu lassen.  Insbesondere wenn es um die Erstellung „neuer“ Daten geht, wie beispielsweise digitale Zwillinge oder synthetische Antworten. Um das Offensichtliche festzuhalten: Dies sind keine echten Daten. Es handelt sich um Schätzungen, und Schätzungen sind mit Fehlern behaftet. Solche Daten einfach wie echte menschliche Daten zu behandeln, ist bestenfalls riskant und schlimmstenfalls irreführend, und es ist eine Erleichterung zu hören, dass die Richtlinien der Forschungsbranche aktualisiert wurden, um sicherzustellen, dass Transparenz eine notwendige Voraussetzung für solche Anwendungen ist.

Es gibt jedoch einige Konsequenzen dieser Tatsache, die man unbedingt beachten sollte:

1. Alle Modelle neigen dazu, sich dem Mittelwert anzunähern. Das bedeutet, dass synthetische Daten eher zu einer „durchschnittlichen“ Antwort tendieren, anstatt die Bandbreite der Antworten widerzuspiegeln, die echte Menschen geben würden. Das haben wir bei Affectiva / iMotions in der Praxis beobachtet, wenn wir beispielsweise prognostizierte Eye-Tracking-Daten mit tatsächlichen Eye-Tracking-Daten vergleichen.  Die Vorhersage neigt dazu, eine starke Zentrumsverzerrung auf dem Bildschirm zu zeigen, was im Durchschnitt zwar zutrifft und somit aussagekräftige Korrelationen liefert, aber dadurch viele Erkenntnisse an den Rändern verpasst, die deutlich werden, wenn wir uns die Daten von echten Menschen ansehen.
2. Modelle neigen dazu, die Extreme zu übersehen – daher sind die Verteilungen synthetischer Daten oft enger als die der realen Daten –, und das stellt eine Herausforderung dar, da die interessanten Ergebnisse häufig gerade an den Extremen zu finden sind. Dies ist besonders schwierig in der Forschung, die darauf abzielt, Reaktionen auf neuartige oder neue Ideen zu messen, wie beispielsweise bei Werbetests oder der Entwicklung neuer Produkte, wo die Aufforderung an die KI, neue Ideen zu bewerten, die sie noch nie zuvor gesehen hat, daher zu mehr Fehlern führen kann, statt zu weniger.
3. Die internen Zusammenhänge innerhalb der Daten werden verwässert. Da alle Modellschätzungen mit Fehlern behaftet sind, können sich die Zusammenhänge – beispielsweise zwischen bestimmten Wahrnehmungen des Markenimages und dem Kaufverhalten – abschwächen. Das ist problematisch, wenn diese Daten anschließend dazu verwendet werden, die Bedeutung verschiedener Attribute oder die Einflussfaktoren auf das Verhalten zu ergründen.
4. Die Qualität der synthetischen Daten hängt direkt von der Qualität der Referenzdaten ab, mit denen sie trainiert werden. KI ist ein Zahlenspiel – je mehr reale Daten man hat, desto besser ist das Modell (deshalb funktioniert die Gesichtscodierungstechnologie von Affectiva so gut, da wir für das Training auf Daten aus Millionen von Fällen zurückgreifen können). Vorurteile, die in diesen Referenzdaten vorhanden sind, werden verstärkt, und das gilt insbesondere dann, wenn die Trainingsfälle nur spärlich vorhanden sind.
5. Am wichtigsten ist vielleicht, dass es in einem großen Sprachmodell oder in KI-Tools keine statistische „Magie“ gibt, die dazu führt, dass die Gesetze der Statistik nicht mehr gelten. Man kann so viele digitale Zwillinge erstellen, wie man möchte, aber sie basieren immer noch auf den vorhandenen Daten – und gerade wenn sie dazu dienen, Stichproben mit geringer Häufigkeit zu vergrößern, verschärft sich das Problem.  Wenn Sie mit 30 Personen beginnen, haben Sie am Ende immer noch 30 Personen, selbst wenn Sie weitere 170 digitale Zwillinge erstellt haben. Sie können Ihren Standardfehler nicht aus Daten berechnen, die synthetische Daten enthalten – dieses Konzept lässt sich einfach nicht anwenden, da die Zwillinge Duplikate sind, auch wenn die Duplizierung unscharf ist.
6. Ironischerweise kann die Erstellung synthetischer Daten teurer sein als die Erhebung realer Daten. Die Erstellung synthetischer Zwillinge ist kostspielig, und wenn es weniger als einen Dollar kostet, eine reale Person zu befragen (ob das nun gut ist oder nicht, ist ein Thema für einen anderen Beitrag), warum sollte man es dann nicht tun? KI wird immer schneller sein, aber sie ist nicht immer billiger.

Einige Richtlinien

Das soll nicht heißen, dass synthetische Daten in der kommerziellen Forschung keinen Platz hätten – wenn sie dazu beitragen können, Daten nutzbarer, zugänglicher und schneller verfügbar zu machen, ist das ein riesiger Fortschritt für einen Prozess, der für die Endkunden der Forschung mitunter sehr trocken und langwierig sein kann. Allerdings müssen wir vorsichtig sein und:

• Seien Sie realistisch: Machen Sie sich klar, was echte Daten sind und was nicht, und gehen Sie mit den durch Datenanreicherung gewonnenen Ergebnissen mit der gebotenen Vorsicht um.
• Seien Sie pragmatisch: Manchmal muss man sich intensiv mit Ideen auseinandersetzen, sie mit echten Menschen erörtern und sich Zeit zum Nachdenken nehmen, aber in anderen Fällen reicht eine schnelle, weitgehend zutreffende Antwort völlig aus.  So erfordert beispielsweise die Erforschung der Kernidee und der Umsetzung einer neuen Werbekampagne echte Menschen – doch das Testen der Hunderte von Iterationen dieser Kampagne, die darauf folgen, mit einem KI-Modell kann gut genug sein, um den Medienplan zu optimieren, und ist besser als gar keine Recherche.
• Man muss die Maschine ständig mit Daten füttern. Das Schlimmste wäre, wenn die Branche sich ausschließlich auf Modelle verlassen und diese mit synthetischen Daten füttern würde, die dann unweigerlich von der Realität abweichen. Wir dürfen nicht zulassen, dass unsere KI an ihren eigenen Abgasen erstickt.

Das Aufkommen generativer KI ist ein Wendepunkt für die kommerzielle Forschung, und wenn die Branche offen dafür ist, kann sie uns schneller und in größerem Umfang zu besseren Erkenntnissen verhelfen; wir müssen uns jedoch der Realität dieser Techniken bewusst sein und auch weiterhin auf echte menschliche Daten zurückgreifen.