Erfahren Sie, wie multimodale Biosensoren die Wahrheit hinter dem menschlichen Gedächtnis und Entscheidungsprozessen ans Licht bringen. Forscher der Universität Roma Tre nutzten Eye-Tracking und Pupillometrie, um die Aussagen der Teilnehmer darüber, was sie zu sehen glaubten, von dem zu trennen, was sie tatsächlich betrachteten, und entlarvten so falsche Erinnerungen, die durch beängstigende Soundtracks ausgelöst wurden.
Table of Contents
In unserem Gastbeitrag im Februar stellen wir zwei Ehrenwissenschaftler vor, die an zwei der jüngsten Veröffentlichungen mitgewirkt haben, die von iMotions unterstützt wurden [1] [2].
Alessandro Ansani und Marco Marini sind beide Doktoranden an der Universität La Sapienza in Rom, gehören jedoch zwei Einrichtungen an. Alessandro hat ein Forschungsstipendium an der Universität Roma Tre (Fachbereich für Philosophie, Kommunikation und Darstellende Künste), während Marco am Institut für Kognitive Wissenschaften und Technologien (ISTC, CNR) tätig ist. Im Folgenden erläutern sie, wie ihre Forschung tiefer in die kognitive Psychologie vordringt, insbesondere im Hinblick auf die Interpretation audiovisueller Medien und Entscheidungsprozesse.
Erzählen Sie uns etwas über die Forschungseinrichtung(en), mit der/denen Sie zusammenarbeiten.
Dank einer Zusammenarbeit zwischen dem ISTC und der Universität Roma Tre haben wir für beide genannten Studien im Labor für Kognition, soziale multimodale Interaktion und Kommunikation (CoSMIC Lab) am Institut für Philosophie, Kommunikation und Darstellende Künste (Universität Roma Tre) gearbeitet. Wie der Name schon sagt, handelt es sich um ein multidisziplinäres Labor, in dem mehrere Forschungsgruppen an unterschiedlichen Themen arbeiten. Genauer gesagt interessiert sich Marco für Neuroökonomie. Er untersucht die kognitiven Verzerrungen, die bei der Entscheidungsfindung auftreten; Alessandros Arbeiten vertiefen die komplexen Beziehungen zwischen Soundtracks und narrativen visuellen Reizen.
Alessandro Ansani:
Innerhalb des Cosmic Lab gibt es zwei Forschungsgruppen. Ich gehöre zur Gruppe für Kognitive und Soziale Psychologie (unter der Leitung von Prof. Isabella Poggi), die sich hauptsächlich mit der multimodalen Kommunikationsanalyse verschiedener Akteure befasst, darunter Dirigenten (Gesten und Blickverhalten) und Reiseleiter. Allgemeiner gesagt befasst sich unsere Gruppe neben den Studien zu Musik, Emotionen und Entscheidungsfindung auch eingehend mit anderen Themen, wie beispielsweise den kognitiven und affektiven Aspekten sozialer Beeinflussung, sozialen Emotionen, politischer Kommunikation und Mechanismen, die zur Verbreitung von Fake News beitragen.
Marco Marini:
Meine Mitarbeit am Cosmic Lab geht auf eine Zusammenarbeit mit dem Institut für Kognitive Wissenschaften und Technologien (ISTC) zurück, wo ich derzeit tätig bin. Das Institut befasst sich mit Forschung, Weiterentwicklung, Technologietransfer und Fortbildungsmaßnahmen im Bereich kognitiver, kommunikativer und sprachlicher Prozesse: Erwerb, Verarbeitung, Defizite, Multimodalität und Kommunikationstechnologien.
Erkundungen mit innovativen Forschungsmethoden
Für beide mit iMotions durchgeführten Studien (Marini, Ansani & Paglieri, 2020; Ansani et al., 2020) setzten wir Eye-Tracking (bildschirmbasiert) ein, um sowohl Eye-Tracking-Daten (Fixationen, Wiederbesuche und Verweildauer in verschiedenen festen und sich bewegenden Bereichen von Interesse) als auch pupillometrische Messwerte zu erfassen.
Im Cosmic Lab verfügen wir außerdem über einen Sensor zur Messung der galvanischen Hautreaktion (GSR) (Shimmer3 GSR+ Unit) sowie ein Elektroenzephalogramm-System. Darüber hinaus starten wir neue Projekte unter Einsatz von Virtual Reality (Oculus).
Warum ist der Einsatz von Biosensoren in Ihrer Forschung wichtig?
Alessandro: In meinem Fachgebiet ist die Auswertung von Eye-Tracking-Daten und Pupillometrie in Bezug auf verschiedene Soundtracks ein relativ wenig erforschtes Gebiet. In Studien wie der, über die wir hier sprechen, ist es entscheidend, zwischen dem, was unsere Teilnehmer sagen, dass sie gesehen haben, und dem, worauf sie tatsächlich geblickt haben, zu unterscheiden.
Der erste Hinweis gibt Aufschluss darüber, was sie sich am besten gemerkt haben, worauf ihr Fokus lag und welche Teile des Reizes für sie am auffälligsten waren; der zweite Hinweis hingegen liefert ein indirekteres und daher interessanteres Maß. So gaben beispielsweise unsere Teilnehmer, die eine alarmierende Musikuntermalung hörten, an, eine versteckte Figur häufiger wahrgenommen zu haben als diejenigen, die eine entspannende Musikuntermalung hörten.
Nun war es zwar verlockend zu behaupten, dass gerade dieser Soundtrack ihre Aufmerksamkeit auf die versteckte Figur gelenkt habe; doch handelte es sich hierbei lediglich um eine unbewiesene Annahme, da sie ebenso gut hätten angeben können, ihn gesehen zu haben, ohne ihn tatsächlich gesehen zu haben – allein aufgrund der Tatsache, dass der gruselige Soundtrack falsche Erinnerungen und nachträgliche Vermutungen hervorgerufen haben könnte. Mit anderen Worten: Wenn man mich fragt, ob ich jemanden gesehen habe, der versteckt war, und ich zufällig einen gruseligen Soundtrack gehört habe, würde ich annehmen, dass da jemand war, auch ohne ihn gesehen zu haben. Die Messung der Blickrichtung ist unerlässlich, um diesen Aspekt zu klären.
Marco: In der Entscheidungsforschung kann Eye-Tracking Forschern dabei helfen, den Entscheidungsprozess zu bewerten, indem es zusätzliche Einblicke in die zugrunde liegenden kognitiven Mechanismen liefert. In unserer Arbeit ermöglichte uns der Einsatz von Eye-Tracking zu verstehen, wie das Hinzufügen irrelevanter Alternativen die Aufmerksamkeit auf scheinbar irrationale Weise beeinflusst. Darüber hinaus konnten wir nachweisen, dass Entscheidungsträger während des Entscheidungsprozesses häufig dazu neigen, sich von wahrnehmungsbezogenen Hinweisen der Auswahl (d. h. Auffälligkeit, Ähnlichkeit) leiten zu lassen.
Warum haben Sie sich für iMotions entschieden und inwiefern hat es Ihre Forschung unterstützt?
Da unsere Forschungsgruppe zwar unterschiedliche Forschungsschwerpunkte verfolgt, aber über gemeinsame Fördermittel verfügt, suchten wir nach einer Plattform, mit der wir mehrere Messgrößen gleichzeitig auswerten können; vor Jahren schlug jemand iMotions vor, und schon auf den ersten Blick schien es ein vielversprechendes Tool zu sein. Wir haben die Entscheidung dafür nicht bereut! Ganz im Gegenteil: Wir sind nach wie vor davon überzeugt, dass Software wie iMotions eine potenziell unendliche Vielfalt an möglichen Experimenten bietet, die sich damit erstellen lassen.
Vor allem fördert es einen multiperspektivischen Forschungsansatz, was genau unserem Interesse entspricht, indem es den gemeinsamen Einsatz mehrerer Sensoren begünstigt.
Wir halten zwei Funktionen für entscheidend: Zum einen die Möglichkeit, verschiedene Messdaten miteinander zu kombinieren und zu synchronisieren (beispielsweise GSR und Eye-Tracking oder EEG und GSR); ohne eine einzige Software wäre dies unmöglich.
Das zweite Merkmal ist die Möglichkeit, sehr komplexe Experimente zu konzipieren und durchzuführen, ohne über fundierte Kenntnisse in Programmiersprachen zu verfügen. Leider werden einige Labore nicht ausreichend von Ingenieuren oder Informatikern unterstützt, sodass sie auf eine Lösung zurückgreifen müssen, die so einfach wie möglich zu bedienen ist – ohne dabei Abstriche bei der Qualität der Ergebnisse, der experimentellen Genauigkeit und der wissenschaftlichen Genauigkeit zu machen.
Wie hat sich Ihre Forschung Ihrer Meinung nach im Vergleich zu früher verändert?
Es fällt uns eigentlich schwer, uns an eine Zeit „davor“ zu erinnern, da wir beide gerade erst unsere Karriere als junge Forscher beginnen. Dennoch ist uns vollkommen bewusst, dass Experimente wie die unseren in den vergangenen Jahren für viele erfahrene Forscher völlig unerreichbar gewesen wären. Im Gegenteil: Dank der Technologie haben heutzutage sogar junge und daher unerfahrene Forscher wie wir großartige Möglichkeiten, eine Vielzahl erstaunlicher Werkzeuge und die konkrete Chance, Theorien zweifelsfrei und mithilfe von technologischen Systemen zu beweisen, die man sich früher nicht hätte vorstellen können.
Wir möchten Marco Marini und Alessandro Ansani dafür danken, dass sie sich die Zeit genommen haben, uns ihr Forschungsprojekt und ihre Geschichte vorzustellen. Wir freuen uns darauf, ihre Beiträge zur wissenschaftlichen Gemeinschaft in den kommenden Jahren zu verfolgen.
Biografie von Alessandro Asani und Marco Marini
ALESSANDRO ANSANI, Doktorand (Psychologie und Kognitionswissenschaft an der Universität „La Sapienza“ in Rom) und wissenschaftlicher Mitarbeiter (Cosmic Lab, Universität Roma Tre)
Derzeit arbeite ich als wissenschaftliche Mitarbeiterin am CoSMIC Lab (Universität Roma Tre) und absolviere gleichzeitig das Doktoratsstudium in Psychologie und Kognitionswissenschaft an der Universität La Sapienza in Rom mit einem Projekt über den Einfluss von Soundtracks auf die Interpretation audiovisueller Medien im Hinblick auf verschiedene psychologische Konstrukte, darunter Empathie, zugeschriebene Emotionen, Eindrücke von der Persönlichkeit, Erwartungen an die Handlung und die Wahrnehmung der Umgebung. Ich interessiere mich immer für zu viele verschiedene Themen; meine weiteren Forschungsgebiete umfassen Musikpsychologie, Moralpsychologie und Körpersprache aus lexikologischer Perspektive.
MARCO MARINI, Doktorand * Psychologie und Kognitionswissenschaft an der Universität „La Sapienza“ in Rom
Ich bin Doktorand an der Universität La Sapienza in Rom und arbeite mit dem Institut für Kognitionswissenschaften und -technologien des CNR (Italienischer Nationaler Forschungsrat) sowie der Nudge Unit der Stadt Rom zusammen. Mein Hauptinteresse gilt der Erforschung kognitiver Verzerrungen bei Entscheidungsfindungen mit mehreren Alternativen und mehreren Attributen, aber ich beschäftige mich derzeit auch mit den neurokognitiven Prozessen, den Reaktionsstrategien und den systematischen Verzerrungen, die der menschlichen Entscheidungsfindung zugrunde liegen. Außerdem interessiere ich mich für intertemporale und probabilistische Entscheidungsfindung und arbeite gemeinsam mit der Abteilung für Verhaltensökonomie der Stadt Rom an einem Projekt über Nudge-Theorie und Steuerhinterziehung.
Literaturverzeichnis
[1] Alessandro Ansani, Marco Marini, Francesca D’Errico und Isabella Poggi (2020). Wie Soundtracks unsere Wahrnehmung beeinflussen: Eine Analyse des Einflusses von Musik auf visuelle Szenen mittels Selbsteinschätzung, Eye-Tracking und Pupillometrie. Frontiers in Psychology 11:2242. doi: 10.3389/fpsyg.2020.02242
[2] Marco Marini, Alessandro Ansani und Fabio Paglieri (2020). Anziehungskraft hat viele Ursachen: Aufmerksamkeits- und Vergleichsprozesse bei Lockvogeleffekten. Judgment and Decision Making, Band 15, Nummer 5, September 2020, S. 704–726.
