「ヒューマン・イン・ザ・ループ」型デジタルツイン：リアルタイムの生体センサーデータがシミュレータ研究に与える変革

ヒューマン・イン・ザ・ループ型デジタルツインは、生体センサーから得られるリアルタイムデータを、オペレーターとその環境の仮想モデルに統合するものである。本稿では、ドライビングシミュレータをはじめとする様々な分野における生理学的デジタルツインの研究的基盤、技術的アーキテクチャ、および実用的な実装について考察する。

シミュレーションシステムへの人間の状態のリアルタイム反映

デジタルツインのアーキテクチャは、輸送、航空宇宙、医療、製造、産業オートメーションの各分野で急速に進歩しています。自動車開発や航空訓練など、シミュレーションを多用する分野では、仮想モデルがリアルタイムのテレメトリ、環境変数、交通状況、そしてますます複雑化する予測モデルを取り入れることで、物理システムを驚くほど忠実に再現できるようになりました。

しかし、こうした進歩にもかかわらず、多くのデジタルツインの実装では、人間のオペレーターをシステム自体の能動的にモデル化された構成要素としてではなく、依然として外部変数として扱っている。 運転シミュレータは、車両のダイナミクス、路面状況、交通状況を正確に再現できる一方で、ドライバーの刻々と変化する認知状態にはほとんど反応しない。同様に、フライトシミュレータは空力挙動を高精度で再現できるものの、パイロットの作業負荷、疲労、ストレス、注意の配分、あるいはリアルタイムで進行する意思決定プロセスについては、限られた情報しか提供できない。

システム変数としての人間パフォーマンス

ヒューマンファクター、ニューロエルゴノミクス、認知工学、シミュレーション科学の分野で研究を行う研究者にとって、この制約はますます重要な問題となりつつある。 多くの運用環境において、人間のパフォーマンスは単なる出力変数の一つではなく、実際にはシステムの挙動や安全性を左右する主要な決定要因の一つとなっています。課題はもはや、オペレーターを取り巻く環境をシミュレートすることだけではなく、その環境の中にいるオペレーターを継続的にモデル化することにあるのです。

ヒューマン・イン・ザ・ループ型デジタルツインは、リアルタイムの生理データや行動データをシミュレーションアーキテクチャに直接統合することで、この課題の解決を図っています。 これらのシステムは、人間を静的な存在や一般化された存在として扱うのではなく、アイトラッキング、EEG、皮膚電気活動（EDA/GSR）、心電図（ECG）、呼吸、表情分析などのマルチモーダルな生体センサーデータストリームを用いて、オペレーターの状態を継続的に推定します。

受動的な観察から適応型シミュレーションへ

これにより、シミュレータの役割は根本的に変化する。シミュレータは、単に制御されたタスク環境として機能するのではなく、オペレータの内部状態が継続的に測定・解釈され、場合によってはシステム自体の挙動に影響を与えるために利用される、動的なフィードバックシステムの一部となる。

その結果、外部システムの挙動と、それとの相互作用を行う人間の変化する生理的・認知的状態の両方を捉えることができる、同期化された実験環境が実現した。研究者たちは、操作者がタスクに成功したか失敗したかだけでなく、相互作用の過程において、注意力、作業負荷、疲労、ストレス、感情の制御がどのように変動するかを、多くの場合1秒未満の時間分解能で調査することができる。

適応型システムに人間のモデリングが必要な理由

この機能は、適応型システムや人間と機械の協働が主要な研究課題となっている分野において、ますます重要性を増しています。 自動運転、航空交通管制、手術用ロボット、産業用制御室、軍事訓練、遠隔操作システムなどはすべて、多様な認知的・生理的負荷下における人間の行動を理解することに依存している。自動化が高度化するにつれ、人間の限界や能力にインテリジェントに適応できるシステムを設計するためには、オペレーターの状態を正確にモデル化することが不可欠となっている。

本稿では、ヒューマン・イン・ザ・ループ型デジタルツインの研究的基盤、その構築に必要な技術的インフラ、およびiMotionsのようなマルチモーダル生体センサープラットフォームが、学術研究や応用研究におけるデジタルツインの実用化において果たす役割について考察する。

人間が関与するデジタルツイン

ヒューマン・イン・ザ・ループ型デジタルツインは、周囲のシステム環境に加え、オペレーターの生理的および認知的状態の連続モデルを取り入れることで、従来のシミュレーションアーキテクチャを拡張するものである。具体的な実装方法は適用分野によって異なるが、こうしたシステムには一般的に、いくつかの共通する特徴が見られる。

生理状態の連続推定

「ヒューマン・イン・ザ・ループ型デジタルツイン」の最大の特徴は、作業の実行中にオペレーターの状態が継続的に計測・モデル化される点にある。このシステムは、ドライバーやパイロットの行動に関する一般的な仮定に頼るのではなく、リアルタイムの生理的・行動的信号を取り込み、それらを用いて潜在的な認知的・情動的な状態変数をほぼリアルタイムで推定する。

代表的なバイオセンサーの方式には、次のようなものがある：

• 視線行動、注視パターン、まばたき行動、および瞳孔測定のためのアイトラッキング
• 作業負荷、覚醒度、および注意の動態に関する脳波（EEG）
• 自律神経の覚醒およびストレス反応に関するEDA/GSR
• 心血管系への負荷および疲労の指標としての心電図と心拍変動
• 観察可能な感情的・行動的反応に関する表情分析
• 行動および生理学的背景情報を補完するための呼吸および動作の追跡

これらの信号は、通常、単独で解釈されることはありません。その代わりに、これらは統合され、認知的負荷、疲労、状況認識、注意散漫、ストレス、あるいは感情の制御といった、より高次な状態変数を推定できるマルチモーダルモデルに組み込まれます。

この区別が重要なのは、ヒューマン・イン・ザ・ループ・ツインの目的は、一般的に生理学的データを単に測定すること自体にあるのではなく、より広範なシステムモデルに統合可能な、オペレーターの状態を継続的に更新する表現を構築することにあるためである。

同期化されたタスク環境

2つ目の特徴は、生理学的モニタリングとアクティブなタスク環境との間の時間的な同期が極めて緊密であるという点です。オペレーターは、ドライビングシミュレータ、フライトシミュレータ、VR環境、外科手術トレーナー、あるいは運用ワークステーション内でタスクを実行する一方で、生理学的信号と環境テレメトリは、共有されたタイムライン上で同時に変化していきます。

この同期要件は決して容易なものではありません。 バイオセンサーのストリームは、サンプリングレートが著しく異なることが多く、独立したクロックや通信プロトコルを持つ異種ハードウェアシステムから生成される。例えば、EEGは数百ヘルツ、アイトラッキングは120 Hz、シミュレータのテレメトリは60 Hzでサンプリングされる一方、GSRやECGなどの生理学的センサーは、これらとは全く異なるレートでサンプリングされることがある。

デジタルツインが整合性を持って機能するためには、有意義な因果分析やリアルタイムの状態推定を可能にするため、これらのデータストリームが十分な時間的精度で同期された状態を維持しなければならない。これが、Lab Streaming Layer（LSL）などの同期フレームワークが、マルチモーダルシミュレーション研究における基盤インフラとなった理由の一つである。

一過性の認知現象を研究する際、同期の重要性が特に顕著になる。自動制御への切り替え要求に伴う作業負荷の急増、危険に対する視線の反応の遅れ、あるいは負荷の高い操縦中の生理的ストレス反応などは、わずか数百ミリ秒の間に生じることがある。正確な時間的整合性がなければ、こうした相互作用を確実に解釈することは困難となる。

閉ループ適応システム

3つ目の特徴は、観測者の状態推定とシステムの挙動との間のループを閉じる能力である。

従来のシミュレーション研究では、生理学的データは後日の分析のために受動的に記録されることが多くあります。一方、「ヒューマン・イン・ザ・ループ」型デジタルツインでは、タスクが進行している最中でも、状態推定値がシミュレータや運用環境に影響を与えることが可能になります。

例えば、作業負荷推定モデルは、認知的負荷が閾値を超えた場合に、シミュレータの難易度を動的に調整することがある。自動運転システムは、検知された運転者の注意力に基づいて、運転の引き継ぎタイミングを変更することがある。また、トレーニング用シミュレータは、疲労の兆候が見られた際に介入を行ったり、リアルタイムのパフォーマンスや生理的指標に応じてタスクの難易度を調整したりすることがある。

これにより、デジタルツインは受動的な観測モデルから、能動的な適応システムへと変貌を遂げる。

重要なのは、必ずしも完全な自動化が目標ではないという点だ。多くの研究環境において、目的は、様々な運用条件下で人間の状態が変動する際に、適応型システムがどのように対応すべきかをより深く理解することにある。したがって、「ヒューマン・イン・ザ・ループ・ツイン」は、適応型自動化、オペレーター支援システム、作業負荷管理戦略、そしてより広義の人間と機械の協働を研究するための、制御された実験的枠組みを提供する。

継続的な生理学的モデリング、同期化されたマルチモーダルデータ取得、および閉ループ適応を組み合わせることで、従来のオフライン解析のみでは調査が困難、あるいは不可能な研究手法が可能になります。研究者は、自動運転への移行中に作業負荷がどのように変化するか、行動の低下に先立って生理的な疲労の兆候が現れるかどうか、あるいは適応型トレーニングプロトコルが時間の経過に伴う技能の習得や維持にどのような影響を与えるかを検証することができます。

関連する個々の技術の多くはすでに確立されているものの、それらを統合して一貫性のあるリアルタイムアーキテクチャを構築することは、シミュレーション科学および人間工学研究にとって、方法論上の大きな転換を意味する。

参考文献および関連文献

• Kothe, C. ほか (2025). 同期型マルチモーダル記録のためのLab Streaming Layer. Imaging Neuroscience, 3, IMAG.a.136.
• Wascher, E. 他（2023）。「ドライバーの心の動きを追跡する：EEGを用いた現実的な運転シミュレータシナリオにおける精神的負荷と認知処理の継続的評価」。Heliyon, 9(7), e17904.
• Wang, Z. 他（2022）．「モビリティ・デジタルツイン：概念、アーキテクチャ、事例研究、および今後の課題」．IEEE Internet of Things Journal．
• Ju, S. 他 (2023). コンテキスト強化学習を用いたドライバー・イン・ザ・ループ方式のレーシングカーシミュレーションのデジタルツイン. IEEE Robotics and Automation Letters.
• Klingner, J., Kumar, R., & Hanrahan, P. (2008). 遠隔アイトラッカーを用いた課題誘発性瞳孔反応の測定. ETRA 会議録.
• Marshall, S. P. (2002). 「認知活動指数：認知的負荷の測定」。IEEE人間工学・発電所会議論文集。