Les jumeaux numériques avec intervention humaine : comment les données issues de biocapteurs en temps réel transforment la recherche sur les simulateurs

Les jumeaux numériques « human-in-the-loop » intègrent des données issues de biocapteurs en temps réel dans des modèles virtuels des opérateurs et de leur environnement. Cet article examine les fondements scientifiques, l’architecture technique et la mise en œuvre pratique des jumeaux numériques physiologiques dans les simulateurs de conduite et au-delà.

Intégrer l’état de l’être humain en temps réel dans les systèmes de simulation

Les architectures de jumeaux numériques ont connu un essor rapide dans les secteurs des transports, de l’aérospatiale, de la santé, de l’industrie manufacturière et de l’automatisation industrielle. Dans les domaines où la simulation occupe une place prépondérante, tels que le développement automobile et la formation aéronautique, les modèles virtuels sont désormais capables de reproduire les systèmes physiques avec une fidélité remarquable, en intégrant la télémétrie en temps réel, les variables environnementales, les conditions de circulation et des modèles prédictifs de plus en plus complexes.

Pourtant, malgré ces progrès, de nombreuses implémentations de jumeaux numériques continuent de considérer l’opérateur humain comme une variable externe plutôt que comme un élément du système lui-même, modélisé de manière active. Un simulateur de conduite peut reproduire avec précision la dynamique du véhicule, les conditions routières et le comportement du trafic tout en restant largement insensible à l’évolution de l’état cognitif du conducteur. De même, un simulateur de vol peut capturer le comportement aérodynamique avec une grande précision tout en offrant une visibilité limitée sur la charge de travail du pilote, sa fatigue, son stress, la répartition de son attention ou ses processus décisionnels tels qu’ils se déroulent en temps réel.

La performance humaine en tant que variable systémique

Pour les chercheurs travaillant dans les domaines de l’ergonomie, de la neuroergonomie, de l’ingénierie cognitive et des sciences de la simulation, cette limite prend de plus en plus d’importance. Dans de nombreux environnements opérationnels, la performance humaine n’est pas simplement une variable de sortie parmi d’autres, mais constitue en réalité l’un des principaux déterminants du comportement et de la sécurité du système. Le défi ne consiste plus seulement à simuler l’environnement entourant l’opérateur, mais à modéliser en continu l’opérateur au sein de cet environnement.

Les jumeaux numériques « human-in-the-loop » tentent de combler cette lacune en intégrant directement des données physiologiques et comportementales en temps réel dans les architectures de simulation. Plutôt que de considérer l’humain comme une entité statique ou généralisée, ces systèmes évaluent en continu l’état de l’opérateur à l’aide de flux de données provenant de biocapteurs multimodaux, tels que l’oculométrie, l’EEG, l’activité électrodermique (EDA/GSR), l’ECG, la respiration et l’analyse des expressions faciales.

De l’observation passive à la simulation adaptative

Cela modifie fondamentalement le rôle du simulateur. Au lieu de servir uniquement d’environnement de tâches contrôlé, le simulateur s’intègre désormais à un système de rétroaction dynamique dans lequel l’état interne de l’opérateur est continuellement mesuré, interprété et peut être utilisé pour influencer le comportement du système lui-même.

Il en résulte un environnement expérimental synchronisé capable de saisir à la fois le comportement du système externe et l’évolution de l’état physiologique et cognitif de l’individu qui interagit avec lui. Les chercheurs peuvent ainsi déterminer non seulement si un opérateur réussit ou échoue dans une tâche, mais aussi comment l’attention, la charge de travail, la fatigue, le stress et la régulation émotionnelle fluctuent tout au long de l’interaction, souvent avec une résolution temporelle de l’ordre de la fraction de seconde.

Pourquoi les systèmes adaptatifs nécessitent une modélisation humaine

Cette capacité revêt une importance croissante dans les domaines où les systèmes adaptatifs et la collaboration homme-machine constituent des axes de recherche majeurs. La conduite automatisée, le contrôle du trafic aérien, la robotique chirurgicale, les salles de contrôle industrielles, l’entraînement militaire et les systèmes de téléopération dépendent tous de la compréhension du comportement humain face à des exigences cognitives et physiologiques variables. À mesure que l’automatisation gagne en sophistication, la modélisation précise de l’état de l’opérateur devient essentielle pour concevoir des systèmes capables de s’adapter intelligemment aux limites et aux capacités humaines.

Cet article examine les fondements scientifiques des jumeaux numériques avec intervention humaine, l’infrastructure technique nécessaire à leur mise en place, ainsi que le rôle que jouent les plateformes de biocapteurs multimodaux, telles qu’iMotions, dans leur mise en œuvre à des fins de recherche fondamentale et appliquée.

Jumeaux numériques avec intervention humaine

Les jumeaux numériques avec intervention humaine élargissent les architectures de simulation classiques en intégrant des modèles continus de l’état physiologique et cognitif de l’opérateur, parallèlement à l’environnement du système. Bien que leur mise en œuvre précise varie selon le domaine d’application, ces systèmes partagent généralement plusieurs caractéristiques distinctives.

Estimation continue de l’état physiologique

La caractéristique principale d’un jumeau numérique avec intervention humaine est que l’opérateur fait l’objet d’une surveillance et d’une modélisation en continu pendant l’exécution de la tâche. Plutôt que de se fonder sur des hypothèses générales concernant le comportement du conducteur ou du pilote, le système recueille en temps réel des signaux physiologiques et comportementaux et les utilise pour estimer, en temps quasi réel, les variables d’état cognitives et affectives latentes.

Parmi les types courants de biocapteurs, on peut citer :

• L'oculométrie pour l'analyse du comportement du regard, des schémas de fixation, du clignement des yeux et de la pupillométrie
• L'EEG pour l'évaluation de la charge de travail, de la vigilance et de la dynamique attentionnelle
• EDA/GSR pour l'éveil autonome et les réactions au stress
• L'ECG et la variabilité de la fréquence cardiaque comme indicateurs de l'effort cardiovasculaire et de la fatigue
• Analyse des expressions faciales pour détecter les réactions émotionnelles et comportementales observables
• Suivi de la respiration et des mouvements pour fournir davantage d'informations sur le contexte comportemental et physiologique

Ces signaux ne sont généralement pas interprétés isolément. Ils sont plutôt intégrés dans des modèles multimodaux capables d’estimer des variables d’état de niveau supérieur telles que la charge cognitive, la fatigue, la conscience situationnelle, la distraction, le stress ou la régulation émotionnelle.

Cette distinction est importante car l’objectif d’un jumeau avec intervention humaine n’est généralement pas de mesurer les paramètres physiologiques pour eux-mêmes, mais de construire une représentation actualisée en permanence de l’état de l’opérateur, qui puisse être intégrée au modèle global du système.

Environnements de tâches synchronisées

Une deuxième caractéristique déterminante réside dans la synchronisation temporelle étroite entre la surveillance physiologique et l’environnement de la tâche active. L’opérateur effectue des tâches au sein d’un simulateur de conduite, d’un simulateur de vol, d’un environnement de réalité virtuelle, d’un simulateur chirurgical ou d’un poste de travail opérationnel, tandis que les signaux physiologiques et la télémétrie environnementale évoluent simultanément sur une chronologie commune.

Cette exigence de synchronisation n’est pas anodine. Les flux de biocapteurs fonctionnent souvent à des fréquences d’échantillonnage très différentes et proviennent de systèmes matériels hétérogènes dotés d’horloges et de protocoles de communication indépendants. L’EEG peut être échantillonné à des centaines de hertz, l’oculométrie à 120 Hz, la télémétrie du simulateur à 60 Hz, et les capteurs physiologiques tels que la GSR ou l’ECG à des fréquences encore totalement différentes.

Pour que le jumeau numérique fonctionne de manière cohérente, ces flux doivent rester synchronisés avec une précision temporelle suffisante pour permettre une analyse causale pertinente et une estimation de l’état en temps réel. C’est l’une des raisons pour lesquelles les cadres de synchronisation tels que Lab Streaming Layer (LSL) sont devenus des infrastructures fondamentales dans la recherche sur la simulation multimodale.

L’importance de la synchronisation apparaît particulièrement clairement lorsqu’on étudie les événements cognitifs transitoires. Un pic de charge de travail suite à une demande de prise de contrôle automatique, une réaction visuelle retardée face à un danger ou une réaction physiologique au stress lors d’une manœuvre exigeante peuvent se dérouler en l’espace de quelques centaines de millisecondes seulement. Sans un alignement temporel précis, ces interactions deviennent difficiles à interpréter de manière fiable.

Systèmes adaptatifs en boucle fermée

La troisième caractéristique déterminante est la capacité à boucler la boucle entre l’estimation de l’état de l’opérateur et le comportement du système.

Dans les études de simulation classiques, les données physiologiques sont souvent enregistrées de manière passive en vue d’une analyse ultérieure. Les jumeaux numériques avec intervention humaine permettent en revanche aux estimations d’état d’influencer le simulateur ou l’environnement opérationnel pendant que la tâche est en cours d’exécution.

Par exemple, un modèle d’estimation de la charge de travail pourrait ajuster dynamiquement le niveau de difficulté du simulateur si l’effort cognitif dépasse un certain seuil. Un système de conduite automatisée pourrait modifier le moment du transfert de contrôle en fonction de la vigilance détectée chez le conducteur. Un simulateur de formation pourrait intervenir dès l’apparition de signes de fatigue ou adapter la complexité des tâches en fonction des performances en temps réel et des indicateurs physiologiques.

Cela transforme le jumeau numérique, qui passe d’un modèle d’observation passif à un système adaptatif actif.

Il est important de noter que l’objectif n’est pas nécessairement l’automatisation totale. Dans de nombreux contextes de recherche, l’objectif est de mieux comprendre comment les systèmes adaptatifs doivent réagir aux fluctuations de l’état de l’opérateur dans des conditions opérationnelles variables. Les jumeaux « human-in-the-loop » offrent donc un cadre expérimental contrôlé pour étudier l’automatisation adaptative, les systèmes d’assistance à l’opérateur, les stratégies de gestion de la charge de travail et, plus largement, la collaboration homme-machine.

La combinaison de la modélisation physiologique en continu, de l’acquisition multimodale synchronisée et de l’adaptation en boucle fermée ouvre la voie à des paradigmes de recherche difficiles, voire impossibles à explorer en recourant uniquement à l’analyse hors ligne classique. Les chercheurs peuvent ainsi étudier l’évolution de la charge de travail lors des transitions en conduite autonome, déterminer si des marqueurs physiologiques de fatigue apparaissent avant une dégradation du comportement, ou encore analyser l’influence des protocoles d’entraînement adaptatifs sur l’acquisition et la conservation des compétences au fil du temps.

Si bon nombre des technologies individuelles concernées sont déjà bien établies, leur convergence au sein d’architectures cohérentes en temps réel marque un tournant méthodologique majeur pour la science de la simulation et la recherche sur les facteurs humains.

Bibliographie et lectures complémentaires

• Kothe, C., et al. (2025). La couche de diffusion en continu de laboratoire pour l'enregistrement multimodal synchronisé. Imaging Neuroscience, 3, IMAG.a.136.
• Wascher, E., et al. (2023). Suivi de l'état d'esprit des conducteurs : évaluation continue de la charge mentale et du traitement cognitif dans un scénario réaliste de simulation de conduite à l'aide de l'EEG. Heliyon, 9(7), e17904.
• Wang, Z., et al. (2022). Jumeau numérique de la mobilité : concept, architecture, étude de cas et défis futurs. IEEE Internet of Things Journal.
• Ju, S., et al. (2023). Jumeau numérique d'une simulation de voiture de course avec intervention du pilote et apprentissage par renforcement contextuel. IEEE Robotics and Automation Letters.
• Klingner, J., Kumar, R. et Hanrahan, P. (2008). Mesure de la réponse pupillaire provoquée par une tâche à l'aide d'un oculomètre à distance. Actes de l'ETRA.
• Marshall, S. P. (2002). L'indice d'activité cognitive : mesure de la charge cognitive. Actes de la conférence de l'IEEE sur les facteurs humains et les centrales électriques.