Wissenschaftliche Genauigkeit ist der Grund, warum Wissenschaft funktioniert. Wenn diese Disziplin und Unvoreingenommenheit gewahrt bleiben, kann man sich auf wissenschaftliche Erkenntnisse verlassen, sie weiterentwickeln und in das Gefüge unseres Lebens integrieren. Ist dies nicht der Fall, bedeutet dies, dass viel Arbeit geleistet werden kann, ohne dass man daraus viel (oder gar nichts) gewinnt.
Auch wenn es schön wäre zu glauben, dass alle Wissenschaftler überall vollkommen unvoreingenommen sind oder andere nicht unbeabsichtigt beeinflussen können, ist die Wahrheit natürlich, dass Wissenschaftler (Spoiler-Alarm) Menschen sind – und dass Fehler passieren.
Aus diesen Fehlern ergibt sich eine Voreingenommenheit der Forscher – wenn Wissenschaftler ihre Forschungsarbeit bewusst oder unbewusst in die falsche Richtung lenken.
Wer nicht plant, plant sein Scheitern
Selbst die besten Forschungspläne können oft schiefgehen (um es frei zu zitieren), aber die schlechtesten Forschungspläne sind von vornherein zum Scheitern verurteilt. Ein schlechtes Forschungsdesign sorgt dafür, dass die Daten, egal wie genau das Versuchsverfahren befolgt wird, keinen Nutzen haben (das entspricht in etwa dem Sprichwort „Garbage in, garbage out“).
Dies kann auf unvorhergesehene Umstände zurückzuführen sein, die schwer vorhersehbar sind, aber auch darauf, dass das Experiment nicht gründlich durchdacht wurde. Einen Plan zu haben, der die relevanten Variablen tatsächlich misst und dessen Aufbau nicht so gestaltet ist, dass er zu ungültigen Ergebnissen führt, ist vielleicht der wichtigste Aspekt des gesamten Forschungsprozesses.
Der Hawthorne-Effekt
In Anknüpfung an das Vorstehende kann auch die Art und Weise, wie das eigentliche Versuchsverfahren durchgeführt wird, die erzielten Ergebnisse erheblich beeinflussen. Mehrere Experimente haben gezeigt, dass bereits die Verwendung oder das Vermeiden bestimmter Wörter bei der Anleitung der Teilnehmer an einem Protokoll mitunter erhebliche Auswirkungen auf das Ergebnis haben kann. Der Forschungsplan sollte daher vor der Durchführung sorgfältig durchdacht werden.
Andere Aspekte der Versuchsplanung, wie beispielsweise die Art und Weise, wie der Forscher mit den Teilnehmern umgeht, wer die Teilnehmer sind und was von ihnen erwartet wird, können die Validität der Ergebnisse beeinflussen.
Der Hawthorne-Effekt ist ein Phänomen, das auftritt, wenn die Teilnehmer ihr Verhalten in Abhängigkeit davon ändern, worum es ihrer Meinung nach in der Studie geht. Manche Teilnehmer möchten dem Forscher einfach nur gefallen – das geschieht zwar in bester Absicht, führt aber letztendlich zum Scheitern der Forschung.
Es kann daher sinnvoll sein, die Teilnehmer zu täuschen, um das Risiko zu minimieren, dass sie ihr Verhalten bewusst ändern, um sich den expliziten Forschungszielen anzupassen (oder diese abzulehnen). Dementsprechend sollte der Forscher natürlich vermeiden, den Teilnehmer unbeabsichtigt zu bestimmten Antworten zu verleiten (beispielsweise durch Suggestivfragen).
Selbst Faktoren, die scheinbar nichts mit der Studie zu tun haben, wie etwa die Tageszeit, zu der das Experiment durchgeführt wird, oder Lärm im Labor, können unter bestimmten Umständen das Ergebnis der Studie systematisch beeinflussen.
Es könnte sein, dass der Feueralarm immer an einem bestimmten Tag getestet wird – dann wäre es ziemlich wichtig, dies im Voraus zu wissen, wenn man genau an diesem Tag die Reaktion eines Teilnehmers auf Geräusche untersucht. All dies unterstreicht die Notwendigkeit eines detaillierten Studienprotokolls, das für Konsistenz sorgt, indem es die Faktoren kontrolliert (oder zumindest abmildert), die die Ergebnisse in verzerrender Weise beeinflussen können.
Wiederholung der Studie
In John Barghs klassischer Priming-Studie (die über 1600 Mal zitiert wurde) wurden die Teilnehmer gebeten, durcheinandergewürfelte Wortgruppen neu anzuordnen, angeblich um einen neuen Satz zu bilden. Anschließend standen die Teilnehmer auf und gingen, wobei sie den Flur entlang vom Forschungsbereich wegschlenderten. Dies wäre nur eine langweilige Fußnote in der Forschungsgeschichte, gäbe es nicht Dinge, die für die Teilnehmer unsichtbar blieben.
Bei einer Teilnehmergruppe enthielten die Wortlisten jeweils ein Wort, das in den neuen Sätzen stets weggelassen wurde, und dieses Wort stand im Zusammenhang mit dem Begriff „alt sein“. Außerdem saß, als die Teilnehmer den Flur entlanggingen, ein wissenschaftlicher Mitarbeiter mit einer Stoppuhr in der Hand bereit. Nachdem die Gehzeiten ausgewertet worden waren, kam man zu einem überraschenden Ergebnis: Teilnehmer, die den „alten“ Reizen ausgesetzt waren, schienen deutlich langsamer zu gehen als die Kontrollteilnehmer (die nur neutralen Wörtern ausgesetzt waren).
Die Studie schien darauf hinzudeuten, dass schon die kleinste Erwähnung des Alters ausreichte, um das Verhalten einer Person zu beeinflussen. Aber – und hier ist große Vorsicht geboten – die Ergebnisse scheinen einer genaueren Überprüfung bei Wiederholungsversuchen nicht standzuhalten.
Eine Studie hat inzwischen gezeigt, dass sich die Ergebnisse der ursprünglichen Studie nur unter bestimmten Umständen reproduzieren ließen. Bei der automatisierten Zeitmessung (nicht zuletzt mit Lasern) zeigte sich kein Unterschied in der Gehgeschwindigkeit – die ursprünglichen Ergebnisse konnten nicht reproduziert werden.
Eine weitere Untersuchung ergab zudem, dass sich die langsamere Gehgeschwindigkeit plötzlich wieder zeigte, wenn die Forscher das Tempo der Teilnehmer manuell steuerten und diese dazu veranlassten, ein gemächlicheres Tempo zu erwarten. Dies deutet darauf hin, dass die Erwartungen der Forscher das Ergebnis auf die eine oder andere Weise tatsächlich beeinflusst haben.
Das ist natürlich eine ziemlich umständliche Art zu sagen, dass die experimentellen Erwartungen überprüft und so weit wie möglich unter Kontrolle gehalten werden sollten. Auch wenn die ursprüngliche Studie – und der Priming-Effekt im Allgemeinen – nach wie vor umstritten ist, gehört es natürlich zur guten Forschungspraxis, jegliche Verzerrung zu vermeiden, die die Ergebnisse beeinflussen könnte.
Eine Doppelblindstudie kann schädliche Vorurteile leicht ausräumen, und automatische Aufzeichnungen gewährleisten die Unabhängigkeit von der Datenerhebung. Eine Wiederholung der Studie kann zudem die Validität der ursprünglichen Studie erhöhen oder zumindest dazu beitragen, eventuelle Fehler aufzudecken.
Fälschung, Verfälschung und Erfindung
Wir wenden uns nun einem Aspekt der wissenschaftlichen Forschung zu, der viel leichter zu vermeiden wäre, aber dennoch allzu häufig vorkommt – nämlich wissenschaftliches Fehlverhalten durch die bewusste Verfälschung (oder gar Erfindung) von Studienergebnissen.
Es gibt viele Beispiele dafür in der Praxis und zahlreiche Gründe, warum solche Fälschungen vorkommen, doch all das lässt sich mit diesem einen einfachen Trick vermeiden: indem man die Daten nicht erfindet oder verfälscht. Das klingt vielleicht nicht besonders tiefsinnig, aber mehr braucht es nicht, um diesen irreführenden Effekt zu verhindern.
Bessere Wissenschaft
Eine Möglichkeit, die Voreingenommenheit der Forscher zu verringern, besteht darin, den Teilnehmern einen klaren und einheitlichen experimentellen Rahmen zu bieten, in dem sie agieren können.
Den Teilnehmern sollte die genau geplante Versuchskonfiguration präsentiert werden, und die Reize, die Dauer sowie die Bedingungen sollten präzise definiert und kontrolliert werden, um jegliche Möglichkeit einer Verzerrung durch den Einfluss der Forscher in diesen Bereichen auszuschließen (dies ist etwas, worin eine Forschungsplattform wie iMotions sich besonders auszeichnet).
Dadurch entfällt ein Großteil der experimentellen Manipulation, die andernfalls manuell durchgeführt werden müsste. Wir wissen, dass die Automatisierung viele unbeabsichtigte Verzerrungen durch die Forscher beseitigt, aber sie erleichtert auch deren Arbeit (und wenn die Forschung einfacher wird, kann mehr Forschung betrieben werden – worüber wir uns wohl alle einig sind, dass es eine gute Sache ist).
Die automatische Synchronisierung und Erfassung der Daten kann zudem vor manuellen Fehlern schützen, die bei der Datenerfassung auftreten könnten (wodurch, wie oben erläutert, mögliche Fehler durch die Verwendung von Geräten wie Stoppuhren vermieden werden könnten).
Auch mehrere Sensoren können in dieser Hinsicht hilfreich sein – stimmen die Messwerte der einzelnen Sensoren miteinander überein, ist das Ergebnis wahrscheinlich fundiert und zuverlässig.
Fazit
Wir können erkennen, wie es zu einer Verzerrung durch die Forscher kommt, und das meiste davon lässt sich beseitigen – dazu benötigen wir vielleicht den richtigen Plan und die richtigen Werkzeuge, doch sobald dies erledigt ist, steht die perfekte Studie bereits in den Startlöchern. Mehr Zeit und Ressourcen in die Umsetzung dieser Schritte zu investieren, mag kurzfristig schwierig erscheinen, wird aber letztendlich dazu führen, dass die richtige Forschung gedeihen kann. So können wir von Forschung, die in die Irre führt, zu Forschung gelangen, die den Weg weist.
Dieser Artikel ist Teil unserer Reihe zum Thema Verzerrungen in der Forschung! Wir haben uns bereits mit der Verzerrung durch die Teilnehmer befasst – diesen Artikel finden Sie hier – sowie mit der Auswahlverzerrung – diesen Artikel finden Sie hier.
Ich hoffe, Ihnen hat der Artikel darüber gefallen, wie man Verzerrungen durch den Forscher vermeidet. Wenn Sie mehr darüber erfahren möchten, wie man die perfekte Studie konzipiert, dann schauen Sie sich unten unseren kostenlosen Taschenleitfaden zum Thema Versuchsplanung an.
