So sorgen Sie für Datenqualität

Erfahren Sie, wie Sie durch ein kompetentes Datenqualitätsmanagement sicherstellen können, dass Ihre Forschung zum menschlichen Verhalten zuverlässige Ergebnisse liefert. Von der Festlegung klarer Protokolle über die Durchführung von Pilotstudien bis hin zur Überprüfung von Signalen mit den in iMotions integrierten Metriken – eine sorgfältige Planung stellt sicher, dass Ihre multimodalen Experimente – von EEG bis Eye-Tracking – verwertbare und präzise Daten liefern. Erfahren Sie, wie Sie fehlende, verrauschte oder „unsaubere“ Daten vermeiden können, und sehen Sie, wie iMotions Sie bei jedem Schritt Ihrer Studie unterstützt, damit Sie sich auf Ihre Forschungsergebnisse verlassen können.

Was ist Datenqualität und warum ist sie wichtig?

Wie man die Datenqualität sicherstellt. Die Forschung zum menschlichen Verhalten ist von Natur aus sehr datenintensiv. Daten stehen bei jeder Forschungsstudie im Mittelpunkt und können in multimodalen Experimenten mit einer Vielzahl unterschiedlicher Sensoren mit hohen Abtastraten erfasst und anschließend mit qualitativen Daten aus der teilnehmenden Beobachtung sowie mit Audio- und Videodaten aus Teilnehmeraufzeichnungen kombiniert werden. Angesichts dieser Datenfülle ist es nicht verwunderlich, dass eine durchschnittliche iMotions-Studie leicht mehrere Dutzend oder sogar Hunderte von Gigabyte an Daten erzeugt. 

Zwar kann ein Datensatz dieser Größenordnung gewisse Herausforderungen mit sich bringen, doch sollten Forscher vor allem die Qualität der von ihnen erhobenen Daten im Blick behalten. Es gibt keine eindeutige Definition dafür, was gute Datenqualität ausmacht. In der Literatur zur Datenqualität wird ein kontextabhängiger Ansatz vorgeschlagen, wonach Daten akzeptiert werden sollten, wenn sie „zweckmäßig“ sind (1,2).

Die Datenqualität ist ein wesentlicher Aspekt jedes Experiments und muss sorgfältig überwacht werden, um genaue und zuverlässige Ergebnisse zu gewährleisten, da ungenaue oder unvollständige Daten zu falschen Schlussfolgerungen und unzuverlässigen Ergebnissen führen können. 

Der Kontext entscheidet über die Qualität

Ein altes Sprichwort in der Datenwissenschaft lautet: „Garbage in, garbage out“ – was so viel bedeutet wie: Wenn die Daten, mit denen man arbeitet, „schlecht“ sind, werden auch die Ergebnisse der Analyse zwangsläufig schlecht ausfallen. Das klingt zwar einprägsam, ist aber auch eine Vereinfachung, die sehr wichtige Aspekte außer Acht lässt. Zunächst einmal sollten wir definieren, was wir unter „Garbage“ oder schlechten Daten verstehen! Die Antwort darauf ist keineswegs offensichtlich und kann stark kontext- und anwendungsabhängig sein. Wenn Sie mit Elektroenzephalografie-Daten (EEG) arbeiten, die die Gehirnwellenaktivität messen, und Sie die Existenz eines neuen evozierten Potenzials nachweisen wollen, werden Ihre Anforderungen an die Datenqualität viel höher sein, als wenn Sie Videodaten zur Untersuchung von Gesichtsausdrücken verwenden. Im erstgenannten Fall ist der Spielraum für Fehler sehr gering, während im letzteren Fall wahrscheinlich ein gewisser Prozentsatz an Videobildern mit schlechter Qualität akzeptabel ist. 

Entscheidend ist nicht, eine perfekte Datenqualität anzustreben, sondern ein Qualitätsniveau, das der Art des zu untersuchenden Effekts oder der Forschungsfrage entspricht (3). Vor diesem Hintergrund sollten Überlegungen zur Datenqualität Teil des Forschungsplanungsprozesses sein und zumindest die folgenden möglichen Aspekte der Datenqualität berücksichtigen:

• Unzureichende Datenmenge: Angenommen, Ihr Experiment verläuft reibungslos und Sie können alle geplanten Daten ohne weitere Probleme erfassen, müssen Sie sich dennoch fragen, ob diese Datenmenge ausreicht, um Ihre Analyse wie geplant durchzuführen. Es ist wichtig zu bedenken, dass verschiedene Datenmodellierungstechniken und statistische Methoden unterschiedliche Datenmengen erfordern, um das Vorhandensein des untersuchten Effekts zu bestätigen oder zu widerlegen. Wenn wir das zuvor erwähnte EEG-Beispiel heranziehen, wird ein Experiment mit nur 3–4 Wiederholungen des Reizes bei wenigen Probanden höchstwahrscheinlich zu einer unzureichenden Datenmenge führen.
• Fehlende Daten: Dies kann auf überraschend vielfältige Weise geschehen. Eine lockere Elektrodenverbindung, eine unterbrochene Bluetooth-Verbindung eines Sensors. Die Folge? Bei einem oder mehreren Teilnehmern Ihrer Studie fehlen Daten.
• Fehlerhafte Daten: Die von Ihnen erhobenen Daten können mit systematischen Fehlern behaftet sein, wenn beispielsweise ein Sensor falsch eingerichtet wurde oder wenn aufgrund von Missverständnissen mit dem Datenerfassungsteam eine Elektrode an der falschen Stelle angebracht wurde.
• „Verunreinigte“ Daten: Dies ist eine sehr weit gefasste Kategorie. Verunreinigte oder verrauschte Daten können durch übermäßige Artefakte oder Rauschen aus verschiedenen Quellen verursacht werden, was dazu führt, dass die erfassten Signale weniger Informationen enthalten.

Die wichtigste Erkenntnis dabei ist, dass die Besonderheiten Ihres Experiments und Ihrer Anwendung den erforderlichen Grad an Datenqualität bestimmen; diese Aspekte sollten bei der Planung eines Experiments im Mittelpunkt stehen, damit Sie realistische Erwartungen hinsichtlich der Datenqualität formulieren können.

So verwalten Sie die Datenqualität in iMotions

Die iMotions-Software bietet eine Reihe von Tools, um den Datenerfassungsprozess zu optimieren und eine bestmögliche Datenqualität zu gewährleisten. 

Ein bisschen Planung ist mehr wert als jede noch so gründliche Datenbereinigung! Eine sorgfältige Planung ist eine der besten Methoden, um die Datenqualität zu verbessern. Zu den bewährten Verfahren gehören:

• Legen Sie ein klares Protokoll für die Datenerhebung fest und stellen Sie sicher, dass alle am Experiment beteiligten Personen dieses vollständig verstehen.
• Planen Sie vor dem eigentlichen Experiment eine Pilotphase ein. Während der Pilotphase sollten Sie alle Schritte genau so durchführen, als würden Sie das eigentliche Experiment durchführen, mit dem einzigen Unterschied, dass es sich bei den Teilnehmern nicht um die eigentlichen Probanden handelt. Damit soll sichergestellt werden, dass Ihr Datenerhebungsplan in der Praxis funktioniert und dass im Protokoll nichts übersehen wurde. Außerdem erhalten Sie einen ersten Eindruck von den Daten der Pilotteilnehmer, der Ihnen eine Vorstellung davon vermittelt, welche Daten Sie im eigentlichen Experiment erwarten können. Sollten in der Pilotphase Probleme auftreten, zögern Sie nicht, entsprechende Lösungen in das Protokoll aufzunehmen und eine neue Pilotphase durchzuführen.
• Überprüfen Sie im Voraus, ob alle Geräte vorhanden sind und funktionieren. Es ist sehr empfehlenswert, am Tag vor Ihrem Experiment einen letzten Testlauf durchzuführen. Wenn der Test erfolgreich verläuft, lassen Sie die Geräte so stehen, wie sie sind, und schließen Sie die Tür ab! Änderungen in letzter Minute sind der Feind zuverlässiger Daten.
• Weisen Sie Ihre Teilnehmer sorgfältig ein. Denken Sie daran, dass Ihre Teilnehmer in den meisten Fällen keine Kenntnisse über Biometrie haben – es ist Ihre Aufgabe, sicherzustellen, dass sie verstehen, wie das Experiment abläuft und was sie tun sollen. Wenn Sie eine Online-Studie durchführen und ein Teilnehmerpanel nutzen, um Ihre Teilnehmer zu gewinnen, lohnt es sich zudem, einen Panel-Anbieter zu wählen, der Ihnen Teilnehmer zur Verfügung stellen kann, die Ihren Anforderungen entsprechen (4).
• Nutzen Sie Datenqualitätskennzahlen, um Ihre erhobenen Daten zu überprüfen. iMotions bietet Ihnen verschiedene Möglichkeiten, die Qualität Ihrer Daten zu überprüfen. Wenn Sie beispielsweise EDA-Daten verwenden, können Sie unsere Signal-Rausch-Verhältnis-Analyse nutzen, die aufzeigt, wie gut Ihr erfasstes Signal im erwarteten Frequenzbereich liegt. Andere Prüfungen stellen sicher, dass die erfassten Daten die erwartete Abtastrate aufweisen. Wir arbeiten ständig daran, neue Möglichkeiten zur Überprüfung der Datenqualität hinzuzufügen, um die Erforschung menschlichen Verhaltens für alle unsere Nutzer zugänglicher zu machen. 

Nachdem Sie die Datenerhebung abgeschlossen haben, folgt in der Regel eine Vorverarbeitungsphase als erster Schritt Ihrer Datenanalyse. Dazu kann beispielsweise gehören, Teilnehmer oder Stimuli auszuschließen, deren Datenqualität unter dem von Ihnen festgelegten Schwellenwert liegt. Auch die Datenbereinigung kann Teil davon sein, zum Beispiel das Herausfiltern bestimmter Arten von Rauschen, die entfernt werden können.

Die Durchführung eines Forschungsprojekts ist eine sehr anspruchsvolle Aufgabe, die einen hohen Aufwand an Zeit und Ressourcen erfordert. Wenn man nach all dieser Arbeit am Ende Daten erhält, die aufgrund schlechter Datenqualität nicht zweckmäßig sind, kann dies für alle Beteiligten eine sehr frustrierende Erfahrung sein. Daher ist es äußerst wichtig, eine sorgfältige Planung durchzuführen und sicherzustellen, dass bewährte Verfahren durchgehend befolgt werden. iMotions unterstützt Sie bei Ihrer Forschungsarbeit – sowohl mit unserer Software, die Ihnen hilft, potenzielle Probleme mit Ihren Daten zu erkennen, als auch mit unserem Team, das jederzeit bereit ist, Ihre Fragen zu beantworten. Mit diesem Ansatz sind wir sicher, dass Ihr Forschungsprojekt erfolgreich sein wird. Wenn Sie daran interessiert sind, wie wir unsere Kunden unterstützen und was Sie als iMotions-Kunde erwarten können, kontaktieren Sie uns über den unten stehenden Link. 

Literaturverzeichnis

1. Wang, R. Y., & Strong, D. M. (1996). Über die Genauigkeit hinaus: Was Datenqualität für Datennutzer bedeutet. Journal of Management Information Systems, 12(4), 5–33. Link.
2. Cai, L., & Zhu, Y. (2015). Die Herausforderungen der Datenqualität und der Datenqualitätsbewertung im Zeitalter von Big Data. Data Science Journal, 14. Link.
3. Haug, A., Zachariassen, F. & Van Liempd, D. (2011). Die Kosten schlechter Datenqualität. Journal of Industrial Engineering and Management (JIEM), 4(2), 168–193. Link.
4. Eyal, P., David, R., Andrew, G., Zak, E. & Ekaterina, D. (2021). Datenqualität von Plattformen und Panels für die Online-Verhaltensforschung. Behavior Research Methods, 1–20. Link.