Zusammenfassung & Wichtigste Erkenntnisse
iMotions basiert auf multimodaler Forschung, was bedeutet, dass menschliches Verhalten am besten durch die Kombination mehrerer synchronisierter Datenquellen verstanden wird, anstatt einzelne Signale isoliert zu analysieren. Die Plattform unterstützt eine Vielzahl von Modalitäten, darunter:
- Eye-Tracking, Gesichtsausdrucksanalyse, GSR (EDA), EEG, EMG, EKG
- Atmung, Stimmenanalyse, fNIRS, Motion Capture, GPS
- Umfragen, Videos, Anmerkungen und LSL-basierte Integrationen
iMotions Lab ist die zentrale Plattform:
- Eine umfassende Plattform für Studiendesign, synchronisierte Datenerfassung, Visualisierung und Analyse
- Entwickelt für umfassende multimodale Laborforschung
iMotions Online ermöglicht multimodale Forschung aus der Ferne:
- browserbasiert
- Schwerpunkt auf der Datenerfassung mittels Webcam
iMotions Education passt multimodale Tools für den Unterricht und die akademische Ausbildung in browserbasierten Umgebungen an. Media Analytics ist eine spezialisierte, optimierte Lösung:
- Spezialisiert auf das Testen von Medien- und Videowerbung
- Weniger flexibel als Lab, aber schneller bei standardisierten Anwendungsfällen
In iMotions bedeutet Multimodalität synchronisierte und interoperable Signale, nicht nur mehrere voneinander unabhängige Sensoren. Das Ökosystem ist darauf ausgelegt, Forschung in verschiedenen Umgebungen zu unterstützen:
Labor-, Fern-, Präsenz-, Feld-, VR- und groß angelegte Medientests
Table of Contents
In iMotions versteht man unter Multimodalität die synchronisierte Erfassung und Analyse von Verhaltens-, physiologischen, emotionalen und kontextbezogenen Datenströmen innerhalb eines einzigen Forschungsworkflows. Die Plattform wurde entwickelt, um Studiendesign, Stimuluspräsentation, Datenerfassung, Visualisierung und Analyse in einer einzigen Suite zu vereinen, sodass Forscher visuelle Aufmerksamkeit, emotionalen Ausdruck, physiologische Erregung, kognitive Prozesse und körperliche Bewegung gemeinsam und nicht isoliert untersuchen können.
Das ist wichtig, weil keine einzelne Messmethode das Verhalten für sich allein erklären kann. Eye-Tracking kann zeigen, worauf eine Person geblickt hat. EDA/GSR kann zeigen, ob der Reiz eine autonome Erregung ausgelöst hat. Das EEG kann Aufschluss über Aspekte der kognitiven und emotionalen Verarbeitung geben. Die Analyse des Gesichtsausdrucks kann sichtbare emotionale Äußerungen und das Engagement einschätzen. EKG und Atmung können kardiale und atembezogene Zusammenhänge liefern. Zusammen ergeben diese ein umfassenderes, besser nachvollziehbares Bild davon, was wann geschehen ist.
Das zentrale multimodale Produkt: iMotions Lab
iMotions Lab ist die zentrale multimodale Software im iMotions-Portfolio. iMotions Lab ist eine modulare Software, die Studiendesign, Stimuluspräsentation, Datenerfassung, Visualisierung und Analyse vereint. Forscher nutzen sie, um Sensoren zu synchronisieren und Fragen zu Aufmerksamkeit, Emotionen, Erregung, Kognition und Bewegung zu beantworten. Außerdem wird Lab als hardwareunabhängig und mit den Produkten mehrerer führender Hersteller kompatibel beschrieben.
Die Übersicht über die Lab-Module verdeutlicht die Architektur: iMotions Core bildet die Basis, und zusätzliche Module erweitern das System um spezifische Funktionen. Core umfasst bereits Umfragen, Videoaufzeichnung und -annotation sowie Datenvisualisierung, während Add-ons die Funktionen um Eye-Tracking, Physiologie, Hirnmessungen, Bewegungserfassung und Fernerfassung von Daten erweitern.
Welche Modalitäten unterstützt iMotions?
Blickverfolgung
iMotions unterstützt innerhalb von Lab verschiedene Arten des Eye-Trackings, darunter bildschirmbasiertes Eye-Tracking, Eye-Tracking-Brillen, VR-Eye-Tracking und Webcam-Eye-Tracking. Wir heben ausdrücklich hervor, dass Lab bildschirmbasiertes Eye-Tracking, Eye-Tracking-Brillen, Webcam-Eye-Tracking und VR-Eye-Tracking unterstützt, wodurch das Eye-Tracking zu einer der flexibelsten multimodalen Säulen im Ökosystem wird.
Analyse des Gesichtsausdrucks
Das Modul zur Gesichtsausdrucksanalyse integriert AFFDEX von Affectiva und kann Live-Webcam-Daten oder importierte Videos analysieren. Laut iMotions erkennt es sieben Kernemotionen und liefert Kennzahlen zu Valenz und Engagement, was es zu einer gängigen multimodalen Ergänzung zu Eye-Tracking, Umfragedaten und physiologischen Signalen macht.
Stimmenanalyse
Das Modul zur Sprachanalyse ist Teil des umfassenden multimodalen Angebots von iMotions und ist auch in dessen Lösung zur ferngesteuerten Datenerfassung enthalten. iMotions beschreibt die Sprachanalyse als eine nicht-invasive Methode, um aus Tonhöhe, Klangfarbe und Rhythmus verhaltensbezogene und psychologische Erkenntnisse abzuleiten.
EDA / GSR
Das EDA/GSR-Modul misst die Hautleitfähigkeit als Indikator für die Erregung des autonomen Nervensystems und für Stress. iMotions bietet automatische Spitzenerkennung, den Export von Roh- und verarbeiteten Daten sowie die synchronisierte Nutzung mit anderen Sensoren. Dadurch erweist sich EDA/GSR als besonders wertvoll in multimodalen Versuchsanordnungen, in denen Forscher Momente der Erregung mit Blickbewegungen, Emotionen oder Reizereignissen in Verbindung bringen möchten.
EEG
Das EEG-Modul wird in iMotions zur Messung der elektrischen Gehirnaktivität im Zusammenhang mit kognitiven und emotionalen Prozessen eingesetzt. iMotions beschreibt es als hardwareunabhängig, mit Unterstützung für mehrere führende EEG-Hersteller, und hebt Funktionen wie die Erfassung von Rohsignalen, Visualisierung, Export sowie integrierte Qualitätssicherung hervor.
EMG
Das EMG-Modul unterstützt die Elektromyographie verschiedener Muskelgruppen und kann auch für die Gesichts-EMG in VR-Anwendungen genutzt werden. iMotions beschreibt EMG als geeignet für die Messung von Körper- und Gesichtsreaktionen und verweist ausdrücklich auf die Kombination mit anderen Biosensoren, was einen direkten multimodalen Anwendungsfall darstellt.
EKG
Das EKG-Modul misst Herzsignale und liefert laut iMotions Informationen über physiologische und emotionale Zustände, da sich der Herzrhythmus in Abhängigkeit von der Umgebung und der autonomen Aktivität verändert. In der multimodalen Forschung dient das EKG häufig als ergänzende Messgröße für Erregung, Stress, Erholung oder Engagement.
Atmung
iMotions unterstützt sowohl die kontaktbasierte Atemmessung als auch die Atemmessung per Webcam. Das Standard-Atemmodul umfasst automatische Filterung, Atemerkennung, Atemfrequenz, Zykluszählung und Zyklusdauer, während das Webcam-Modul die Atemanalyse auf die kontaktlose Fernforschung mittels einer Standard-Webcam ausweitet.
fNIRS
Das fNIRS-Modul ermöglicht die Messung der Hirndurchblutung durch die Erfassung von Veränderungen bei Oxy- und Desoxyhämoglobin. iMotions beschreibt fNIRS als tragbar, nicht-invasiv und bewegungstolerant, was es besonders nützlich für multimodale Studien macht, die eine natürlichere Bewegungsfreiheit erfordern, als sie die herkömmliche Bildgebung des Gehirns zulässt.
Bewegungserfassung
Das neue Motion-Capture-Modul erweitert die Multimodalität auf den Bereich der Kinematik. iMotions beschreibt es als anzug- und markierungsfreie Bewegungserfassung aus Videomaterial, einschließlich der Verfolgung von Körperteilen, Bewegungsmetriken und Stapelverarbeitung. In seiner Berichterstattung zur Markteinführung erklärt iMotions zudem, dass sich Motion Capture nahtlos mit EMG, Eye-Tracking, der Analyse von Gesichtsausdrücken und anderen Modalitäten kombinieren lässt.
GPS
Das GPS-Modul liefert reale Standortdaten, Geschwindigkeitswerte und Bewegungsbahnen als Zeitreihensignale. Laut iMotions lässt sich das GPS mit biometrischen Signalen wie Eye-Tracking, GSR, EEG oder Motion-Capture synchronisieren, was es besonders relevant für die Forschung in den Bereichen Mobilität, städtisches Verhalten, Sportwissenschaft und Human Factors macht.
Umfragen, Videos, Anmerkungen und Analysen
Die Multimodalität in iMotions beschränkt sich nicht nur auf Biosensoren. Zu den Kernfunktionen der Plattform gehören Umfragen, Videoaufzeichnung, Annotation, Datenvisualisierung und Analyse. Die Plattform unterstützt zudem integrierte R-Notebooks für transparente und anpassbare Analyse-Workflows.
Multimodalität in der Fernforschung: iMotions Online und Fernerhebung
iMotions Online ist der browserbasierte Zweig des iMotions-Ökosystems. iMotions beschreibt es als webbasierte Plattform für biometrische Fernforschung mit Funktionen zur Erstellung von Studien, die Bilder, Videos und Umfragen unterstützen. Zu den wichtigsten integrierten Funktionen zählen das webcam-basierte Eye-Tracking und die Analyse von Gesichtsausdrücken.
Im Hinblick auf eine umfassendere multimodale Fernerfassung beschreibt iMotions zudem eine Funktion zur Ferndatenerfassung innerhalb des Lab-Ökosystems. Laut der Modulübersicht ermöglicht dies die biometrische Fernerfassung mittels Webcam-Eye-Tracking, Gesichtsausdrucksanalyse, Stimmungsanalyse und Webcam-Atemmessung. In den neueren Unterlagen des Unternehmens zur Ferndatenerfassung wird die internetbasierte Forschung unter Verwendung von Webcam-Eye-Tracking, KI-gestützter Gesichtsausdrucksanalyse, Webcam-Atemmessung, KI-gestützter Stimmungsanalyse und Online-Umfragefunktionen beschrieben.
Das bedeutet, dass die Fern-Multimodalität in iMotions zwar weniger umfassend ist als die vollständige Multimodalität im Labor, aber dennoch aussagekräftig bleibt. Ein Forscher, der aus der Ferne arbeitet, kann Aufmerksamkeit, sichtbare emotionale Äußerungen, aus der Stimme abgeleitete Signale, Atmung und Umfrageantworten kombinieren, ohne dass spezielle Laborhardware erforderlich ist.
Multimodalität im Unterricht: iMotions Education
iMotions Education ist eher ein browserbasiertes Lehrmittel als eine vollwertige, frei gestaltbare Laborplattform. Es kombiniert Webcam-Eye-Tracking, Gesichtsausdrucksanalyse und Umfragen, sodass Studierende Studien entwerfen, Daten über teilbare Links sammeln, Ergebnisse analysieren und Visualisierungen auf normalen Laptops erstellen können. Die breitere Ausrichtung auf den Bildungsbereich betont zudem die Skalierbarkeit und den Einsatz im Unterricht, bei Praktika und in studentischen Projekten.
„Education“ ist also multimodal, allerdings in einem leichteren, lehrorientierten Sinne. Es lässt sich am besten als strukturierter, leicht zugänglicher Teilbereich der multimodalen Philosophie von iMotions verstehen und nicht als Ersatz für das gesamte multimodale Angebot von Lab.
Multimodalität bei der Medienanalyse: Medienanalyse
Media Analytics ist eine schlüsselfertige Lösung, die Gesichtsausdrucksanalyse und kalibrierungsfreies Eye-Tracking nutzt, um Aufmerksamkeit und Engagement bei Tests von Medien und Videowerbung zu messen. Damit gehört sie zur multimodalen Produktfamilie, ist jedoch enger ausgerichtet als Lab: Sie ist speziell auf die Messung von Aufmerksamkeit und Engagement in bestimmten Anwendungsfällen der Medientestung vorkonfiguriert und nicht auf offene, sensorunabhängige Forschungsdesigns ausgelegt.
Was macht die Multimodalität von iMotions in der Praxis so nützlich?
Der Kernwert der Multimodalität von iMotions ist die Synchronisation. iMotions ist eine Software-Suite, die Daten verschiedener Sensoren erfasst und synchronisiert und es den Anwendern anschließend ermöglicht, diese Daten im Zusammenhang mit der Studie über zeitachsenbasierte Oberflächen und integrierte Analysefunktionen visuell zu untersuchen.
Dadurch ändert sich die Art der Fragen, die Forscher beantworten können. Anstatt nur zu fragen, ob ein Teilnehmer etwas betrachtet hat, können Forscher nun fragen, ob er es betrachtet hat, emotional darauf reagiert hat, physiologische Erregung gezeigt hat, seine Atmung verändert hat, seinen Herzrhythmus verändert hat, Bewegungsänderungen gezeigt hat oder später Interesse daran bekundet hat. Der Vorteil besteht nicht nur darin, dass „mehr Daten“ vorliegen. Der Vorteil liegt in der zeitlich abgestimmten Auswertung über verschiedene Modalitäten hinweg. Dies ist die Kernlogik der multimodalen Forschung.
Funktionen für multimodale Analyse und Arbeitsabläufe
Das multimodale Versprechen von iMotions beschränkt sich nicht nur auf die Erfassung von Signalen. Es geht auch darum, diese gemeinsam analysierbar zu machen. Die Plattform legt den Schwerpunkt auf integrierte Visualisierung, transparente und anpassbare R-Notebooks, automatisierte Verarbeitung für verschiedene Modalitäten sowie spezialisierte Module wie „Automated AOI“.
Die automatisierte AOI ist besonders relevant bei multimodalen Eye-Tracking-Studien mit dynamischen Reizen. iMotions erkennt vordefinierte Bereiche von Interesse automatisch über mehrere Bilder hinweg und passt deren Positionierung an, wodurch der manuelle Anpassungsaufwand reduziert wird. Das bedeutet, dass Forscher die dynamische Blickanalyse effizienter mit Gesichts-, EDA-, EEG- oder anderen zeitlich synchronisierten Daten kombinieren können.
iMotions unterstützt zudem LSL, wodurch Nutzer eine größere Bandbreite an nicht nativ integrierter Hardware nutzen können, sofern diese Hardware Lab Streaming Layer unterstützt. Dadurch lässt sich die Multimodalität über die von iMotions nativ integrierten Geräte hinaus erweitern.
Häufige Missverständnisse bezüglich der Multimodalität in iMotions
Ein weit verbreitetes Missverständnis ist, dass Multimodalität bei iMotions lediglich „Eye-Tracking plus einen weiteren Sensor“ bedeutet. Die aktuellen iMotions-Materialien zeigen jedoch ein weitaus breiteres Spektrum, darunter EEG, EKG, EMG, EDA/GSR, Atmung, fNIRS, Motion Capture, GPS, Gesichtsausdrucksanalyse, Stimmenanalyse, Umfragen und vieles mehr.
Ein weiteres Missverständnis ist, dass alle iMotions-Produkte gleichermaßen multimodal sind. Das ist nicht der Fall. Lab ist eindeutig die umfassendste multimodale Umgebung; Online und Education sind eher eingeschränkte, browserbasierte Teilbereiche; Media Analytics ist enger gefasst und anwendungsspezifisch.
Ein drittes Missverständnis ist, dass Multimodalität nur für die Laborforschung relevant sei. Die aktuellen Materialien von iMotions zeigen die Ausweitung der Multimodalität auf die Fernforschung mittels Webcam-Eye-Tracking, Mimikanalyse, Stimmungsanalyse und Webcam-Atemmessung sowie auf die Feldforschung durch Module wie GPS und Motion Capture.
Häufig gestellte Fragen
Was versteht man unter Multimodalität in iMotions?
Multimodalität bedeutet bei iMotions die Synchronisierung mehrerer Datenströme zu Verhalten, Physiologie, Emotionen und Kontext innerhalb eines Forschungsworkflows, in der Regel in iMotions Lab.
Welche Formate unterstützt iMotions?
Zu den aktuellen Funktionen von iMotions gehören Eye-Tracking, Gesichtsausdrucksanalyse, EDA/GSR, EEG, EMG, EKG, Atmung, Webcam-Atmung, Stimmenanalyse, fNIRS, Motion Capture, GPS, Umfragen, Video, Annotation und vieles mehr, wobei durch die LSL-Unterstützung weitere Erweiterungen möglich sind.
Welche iMotions-Software ist am multimodalsten?
iMotions Lab ist das multimodalste Produkt im Portfolio. iMotions beschreibt es als die All-in-One-Plattform für multimodale Forschung und als die Software, die eine Vielzahl von Biosensoren und Analysen miteinander synchronisiert.
Ist iMotions Online multimodal?
Ja, allerdings in einer eher eingeschränkten, browserbasierten Form. iMotions Online konzentriert sich auf Eye-Tracking per Webcam und die Analyse von Gesichtsausdrücken, während das umfassendere Ökosystem zur Fernerfassung von Daten auch Sprachanalyse, Atemmessung per Webcam und Umfragen umfasst.
Ist iMotions Education multimodal?
Ja. iMotions Education kombiniert browserbasiertes Eye-Tracking per Webcam, Gesichtsausdrucksanalyse und Umfragen für den Unterricht und die studentische Forschung.
Ist Media Analytics Teil der Multimodalität von iMotions?
Ja, aber es handelt sich um ein spezielles Komplettprodukt. iMotions beschreibt es als eine Kombination aus Facial Coding und kalibrierungsfreiem Eye-Tracking für Medien- und Videowerbetests.
Kann iMotions Bewegung und Physiologie miteinander verbinden?
Ja. Aktuelle Forschungsergebnisse zeigen, dass Motion-Capture- und GPS-Daten zusammen mit anderen biometrischen Signalen genutzt werden, wodurch die Multimodalität auf das Verhalten im Feld und die Kinematik ausgeweitet wird.
Fazit
iMotions ist ein multimodales Forschungsökosystem zur Erforschung menschlichen Verhaltens, das auf der synchronisierten Datenerfassung und -analyse über verschiedene Modalitäten hinweg basiert. Zu iMotions gehören iMotions Lab als Flaggschiff-Plattform, iMotions Online als browserbasierte Fernplattform, iMotions Education als Version für den Unterricht sowie Media Analytics als schlüsselfertiges Produkt zur Messung von Aufmerksamkeit und Interaktion für Medientests.
