„Human-in-the-Loop“-Digitalzwillinge integrieren Live-Daten von Biosensoren in virtuelle Modelle von Bedienern und deren Umgebung. Dieser Artikel befasst sich mit den wissenschaftlichen Grundlagen, der technischen Architektur und der praktischen Umsetzung physiologischer Digitalzwillinge in Fahrsimulatoren und darüber hinaus.

Einbindung des menschlichen Zustands in Echtzeit in Simulationssysteme

Digital-Twin-Architekturen haben in den Bereichen Transport, Luft- und Raumfahrt, Gesundheitswesen, Fertigung und industrielle Automatisierung rasante Fortschritte gemacht. In simulationsintensiven Bereichen wie der Automobilentwicklung und der Flugausbildung können virtuelle Modelle physische Systeme mittlerweile mit bemerkenswerter Genauigkeit nachbilden, wobei Echtzeit-Telemetriedaten, Umgebungsvariablen, Verkehrsbedingungen und immer komplexere Vorhersagemodelle einbezogen werden.

Doch trotz dieser Fortschritte wird der menschliche Bediener bei vielen Digital-Twin-Implementierungen nach wie vor als externe Variable behandelt und nicht als aktiv modellierte Komponente des Systems selbst. Ein Fahrsimulator kann zwar die Fahrzeugdynamik, die Straßenverhältnisse und das Verkehrsverhalten genau nachbilden, bleibt dabei jedoch weitgehend unempfindlich gegenüber dem sich verändernden kognitiven Zustand des Fahrers. Ebenso kann ein Flugsimulator das aerodynamische Verhalten mit hoher Präzision erfassen, bietet jedoch nur begrenzte Einblicke in die Arbeitsbelastung, Müdigkeit, den Stress, die Aufmerksamkeitsverteilung oder die Entscheidungsprozesse des Piloten, während diese in Echtzeit ablaufen.

Menschliche Leistungsfähigkeit als Systemvariable

Für Forscher, die in den Bereichen Human Factors, Neuroergonomie, Kognitive Technik und Simulationswissenschaft tätig sind, gewinnt diese Einschränkung zunehmend an Bedeutung. In vielen Betriebsumgebungen ist die menschliche Leistung nicht einfach nur eine weitere Ausgangsvariable, sondern tatsächlich einer der wichtigsten Determinanten für das Systemverhalten und die Sicherheit. Die Herausforderung besteht nicht mehr nur darin, die Umgebung des Bedieners zu simulieren, sondern den Bediener darin kontinuierlich zu modellieren.

„Human-in-the-Loop“-Digital-Twins versuchen, diese Lücke zu schließen, indem sie physiologische und verhaltensbezogene Echtzeitdaten direkt in Simulationsarchitekturen integrieren. Anstatt den Menschen als statisches oder verallgemeinertes Wesen zu betrachten, schätzen diese Systeme den Zustand des Bedieners kontinuierlich anhand multimodaler Biosensordatenströme wie Eye-Tracking, EEG, elektrodermale Aktivität (EDA/GSR), EKG, Atmung und Gesichtsausdrucksanalyse.

Von der passiven Beobachtung zur adaptiven Simulation

Dies verändert die Rolle des Simulators grundlegend. Anstatt lediglich als kontrollierte Aufgabenumgebung zu fungieren, wird der Simulator Teil eines dynamischen Rückkopplungssystems, in dem der innere Zustand des Bedieners kontinuierlich gemessen, interpretiert und möglicherweise dazu genutzt wird, das Verhalten des Systems selbst zu beeinflussen.

Das Ergebnis ist eine synchronisierte Versuchsumgebung, die sowohl das Verhalten des externen Systems als auch den sich verändernden physiologischen und kognitiven Zustand des damit interagierenden Menschen erfassen kann. Forscher können nicht nur untersuchen, ob ein Bediener eine Aufgabe erfolgreich bewältigt oder daran scheitert, sondern auch, wie sich Aufmerksamkeit, Arbeitsbelastung, Ermüdung, Stress und emotionale Regulierung während der Interaktion verändern – oft mit einer zeitlichen Auflösung im Subsekundenbereich.

Warum adaptive Systeme menschliche Modellierung erfordern

Diese Fähigkeit gewinnt in Bereichen zunehmend an Bedeutung, in denen adaptive Systeme und die Zusammenarbeit zwischen Mensch und Maschine im Mittelpunkt der Forschung stehen. Autonomes Fahren, Flugsicherung, chirurgische Robotik, industrielle Leitstellen, militärische Ausbildung und Fernsteuerungssysteme sind alle darauf angewiesen, zu verstehen, wie sich Menschen unter wechselnden kognitiven und physiologischen Anforderungen verhalten. Da die Automatisierung immer ausgefeilter wird, wird die genaue Modellierung des Zustands des Bedieners entscheidend für die Entwicklung von Systemen, die sich intelligent an menschliche Grenzen und Fähigkeiten anpassen können.

Dieser Artikel befasst sich mit den wissenschaftlichen Grundlagen von „Human-in-the-Loop“-Digital-Twins, der für deren Entwicklung erforderlichen technischen Infrastruktur sowie der Rolle, die multimodale Biosensorplattformen wie iMotions bei deren Einsatz in der akademischen und angewandten Forschung spielen.

Digitale Zwillinge mit menschlicher Einbindung

„Human-in-the-Loop“-Digital-Twins erweitern herkömmliche Simulationsarchitekturen, indem sie neben der umgebenden Systemumgebung auch kontinuierliche Modelle des physiologischen und kognitiven Zustands des Bedieners einbeziehen. Auch wenn die genaue Umsetzung je nach Anwendungsbereich variiert, weisen diese Systeme im Allgemeinen mehrere charakteristische Merkmale auf.

Kontinuierliche Schätzung des physiologischen Zustands

Das charakteristische Merkmal eines „Human-in-the-Loop“-Digitalen Zwillings besteht darin, dass der Bediener während der Aufgabenausführung kontinuierlich erfasst und modelliert wird. Anstatt sich auf verallgemeinerte Annahmen über das Verhalten von Fahrern oder Piloten zu stützen, erfasst das System physiologische und verhaltensbezogene Live-Signale und nutzt diese, um latente kognitive und affektive Zustandsvariablen nahezu in Echtzeit zu schätzen.

Zu den typischen Biosensor-Verfahren gehören:

Eye-Tracking zur Erfassung des Blickverhaltens, der Fixationsmuster, des Blinzelverhaltens und der Pupillometrie
EEG zur Erfassung von Arbeitsbelastung, Wachsamkeit und Aufmerksamkeitsdynamik
EDA/GSR als Indikatoren für autonome Erregungs- und Stressreaktionen
EKG und Herzfrequenzvariabilität als Indikatoren für kardiovaskuläre Belastung und Ermüdung
Analyse des Gesichtsausdrucks zur Erfassung beobachtbarer emotionaler und verhaltensbezogener Reaktionen
Atem- und Bewegungserfassung zur Erfassung zusätzlicher verhaltensbezogener und physiologischer Kontextinformationen

Diese Signale werden in der Regel nicht isoliert interpretiert. Stattdessen werden sie zu multimodalen Modellen kombiniert, mit denen sich übergeordnete Zustandsvariablen wie kognitive Belastung, Müdigkeit, Situationsbewusstsein, Ablenkung, Stress oder emotionale Regulierung abschätzen lassen.

Diese Unterscheidung ist wichtig, da das Ziel eines „Human-in-the-Loop“-Twins in der Regel nicht darin besteht, physiologische Daten um ihrer selbst willen zu messen, sondern eine kontinuierlich aktualisierte Darstellung des Zustands des Bedieners zu erstellen, die in das übergeordnete Systemmodell integriert werden kann.

Synchronisierte Arbeitsumgebungen

Ein zweites charakteristisches Merkmal ist die enge zeitliche Synchronisation zwischen der physiologischen Überwachung und der aktiven Aufgabenumgebung. Der Bediener führt Aufgaben in einem Fahrsimulator, Flugsimulator, einer VR-Umgebung, einem chirurgischen Trainingsgerät oder an einem operativen Arbeitsplatz aus, während sich physiologische Signale und Umgebungsdaten gleichzeitig auf einer gemeinsamen Zeitachse entwickeln.

Diese Synchronisationsanforderung ist nicht trivial. Biosensor-Datenströme arbeiten oft mit stark unterschiedlichen Abtastraten und stammen aus heterogenen Hardwaresystemen mit unabhängigen Takten und Kommunikationsprotokollen. EEG-Daten können mit Hunderten von Hertz abgetastet werden, Eye-Tracking mit 120 Hz, Simulator-Telemetrie mit 60 Hz und physiologische Sensoren wie GSR oder EKG wiederum mit ganz anderen Raten.

Damit der digitale Zwilling kohärent funktioniert, müssen diese Datenströme mit ausreichender zeitlicher Präzision aufeinander abgestimmt bleiben, um aussagekräftige Kausalanalysen und Zustandsschätzungen in Echtzeit zu ermöglichen. Dies ist ein Grund, warum Synchronisationsframeworks wie Lab Streaming Layer (LSL) zu einer grundlegenden Infrastruktur in der multimodalen Simulationsforschung geworden sind.

Die Bedeutung der Synchronisation wird besonders deutlich, wenn man kurzzeitige kognitive Vorgänge untersucht. Ein plötzlicher Anstieg der Arbeitsbelastung nach einer automatisierten Übernahmeanforderung, eine verzögerte Blickreaktion auf eine Gefahr oder eine physiologische Stressreaktion während eines anspruchsvollen Manövers können sich über nur wenige hundert Millisekunden erstrecken. Ohne eine präzise zeitliche Abstimmung lassen sich diese Interaktionen nur schwer zuverlässig interpretieren.

Adaptive Systeme mit geschlossenem Regelkreis

Die dritte wesentliche Eigenschaft ist die Fähigkeit, den Kreislauf zwischen der Zustandsschätzung des Betreibers und dem Systemverhalten zu schließen.

In herkömmlichen Simulationsstudien werden physiologische Daten oft passiv aufgezeichnet, um sie später zu analysieren. „Human-in-the-Loop“-Digital-Twins ermöglichen es hingegen, dass Zustandsschätzungen den Simulator oder die Betriebsumgebung beeinflussen, während die Aufgabe noch ausgeführt wird.

So könnte beispielsweise ein Modell zur Arbeitsbelastungsabschätzung den Schwierigkeitsgrad des Simulators dynamisch anpassen, wenn die kognitiven Anforderungen einen Schwellenwert überschreiten. Ein automatisiertes Fahrsystem könnte den Zeitpunkt der Fahrsteuerungsübergabe auf der Grundlage der erfassten Wachsamkeit des Fahrers anpassen. Ein Trainingssimulator könnte bei Anzeichen von Müdigkeit Eingriffe vornehmen oder die Komplexität der Aufgaben entsprechend der Echtzeitleistung und physiologischen Indikatoren anpassen.

Dadurch wird der digitale Zwilling von einem passiven Beobachtungsmodell zu einem aktiven, anpassungsfähigen System.

Wichtig ist, dass das Ziel nicht unbedingt die vollständige Automatisierung ist. In vielen Forschungsumgebungen besteht das Ziel darin, besser zu verstehen, wie adaptive Systeme auf schwankende menschliche Zustände unter wechselnden Betriebsbedingungen reagieren sollten. „Human-in-the-Loop“-Zwillinge bieten daher einen kontrollierten experimentellen Rahmen für die Untersuchung von adaptiver Automatisierung, Bedienerunterstützungssystemen, Strategien zum Arbeitslastmanagement und der Mensch-Maschine-Zusammenarbeit im weiteren Sinne.

Die Kombination aus kontinuierlicher physiologischer Modellierung, synchronisierter multimodaler Datenerfassung und adaptiver Regelung ermöglicht Forschungsansätze, die mit herkömmlichen Offline-Analysen allein nur schwer oder gar nicht zu untersuchen sind. Forscher können untersuchen, wie sich die Arbeitsbelastung während des Übergangs zum autonomen Fahren entwickelt, ob physiologische Ermüdungsanzeichen bereits vor einer Verschlechterung des Verhaltens auftreten oder wie adaptive Trainingsprotokolle den Erwerb und den Erhalt von Fähigkeiten im Laufe der Zeit beeinflussen.

Auch wenn viele der einzelnen Technologien bereits ausgereift sind, stellt ihre Zusammenführung zu einheitlichen Echtzeitarchitekturen einen bedeutenden methodischen Wandel für die Simulationswissenschaft und die Human-Factors-Forschung dar.