バーチャルリアリティ（VR）はバイオセンサーの研究に応用できるのでしょうか？本記事では、バイオセンサー研究におけるVR技術の活用可能性とメリットについて探ります。VRがバイオセンサー研究分野におけるデータ収集と分析にどのような変革をもたらすか、その可能性をご覧ください。画期的な進歩をもたらすVRとバイオセンサーの融合が切り拓く、有望な未来について探求しましょう。
Table of Contents
バーチャルリアリティ（VR）の人気が高まり、FacebookがMetaへと社名を変更したことを受け、多くの人が次のように考え始めています。「VRが定着していくとしたら、その生理的、認知的、感情的な影響をどのように測定すればよいのだろうか？」もしあなたが、仮想環境下で被験者を対象とした研究を行っており、その研究に生体計測を取り入れることを検討しているのであれば、その投資を行う準備が整っているかどうかを判断するお手伝いをいたします。 結論から言えば、「導入する」と決断する前に考慮すべき注意点がたくさんあります。このブログ記事を通じて、ウェアラブル生体センサーを用いた仮想環境の構築に必要な要件を理解してください。
VRにおけるウェアラブル端末の主な活用事例
VRは環境を完全に再現できるため、環境を完全に制御し、シナリオを操作し、安全パラメータを導入することが可能になります。そのため、生理学的センサーを用いて生体信号を評価するVRアプリケーションは、医療から航空、ゲームに至るまで多岐にわたっています。 例えば、外科医はバーチャルリアリティ環境で訓練を受ける際、視覚的注意、心拍数、認知負荷、ストレスがモニタリングおよび／または評価されるため、後に実生活で外科手術を行う際、より的確な判断に基づく訓練とパフォーマンスの成果が期待できます。ゲーム環境では、ドライバーの注意散漫、ゲームにおける没入感やフロー状態、あるいは自動運転車からの運転引き継ぎ介入のような人間と機械の相互作用を研究する場合でも、パフォーマンスを解析するためにアイトラッキングや心拍数モニターを導入することが可能です。 第三に、VRを用いた暴露療法が、不安障害やPTSDの臨床治療として注目を集めています。ここでは、アイトラッキング、心拍変動、皮膚電気反応をモニタリングすることで、ストレス反応に関するリアルタイムのバイオフィードバックを提供できます。例えば、iMotionsのクライアントであるマサチューセッツ総合病院は、VRを活用して身体醜形障害の研究を行っています。
とはいえ、こうした調査手法は人間行動の研究者にとって極めて貴重な知見をもたらす一方で、これらすべてのウェアラブルデバイスからのデータストリームを設定し、iMotionsに同期させるのは容易なことではありません。私たちは、皆様の意欲を完全に削ぐつもりはありません。むしろ、透明性を保ちつつ、この取り組みに投資する準備が整っているかを確認するために、皆様が自問すべき点についてご案内したいと考えています。
VRではどのセンサーを使うのが適切でしょうか？
はい：アイトラッキング
アイトラッキング機能を内蔵したVRヘッドセットを製造しているメーカーはいくつかあります。VarjoやHTC Vive Pro Eyeは、仮想空間内での眼球の動きを捕捉できるVRヘッドセットを製造しています。これらはいずれもiMotionsと連携可能です。 視覚的注意は人間の行動について多くのことを教えてくれるため、データ収集の出発点として、アイトラッキングから始めるのが最適かもしれません。さらに、以下に挙げる追加センサーは、取り込むデータストリームが複雑であるため、コンピュータだけでなく分析作業にも大きな負荷をかけるリスクがあります。そのため、まずはアイトラッキングのみから始めるのが無難な選択と言えます。
同様に、VRヘッドセットが絶対に必要ではないシナリオを実行する場合、アイトラッキンググラスが有効な解決策となり得ます。 自問してみてください：この研究課題は、本当にバーチャルリアリティ環境で解決する必要があるのでしょうか、それとも単にその技術に魅了されているだけなのでしょうか？シミュレーションの方が手軽な代替手段となり得ます。仮説によっては、シンプルなシミュレーターを使用し、VRアイトラッキングの代わりにアイトラッキングメガネを導入するだけで、目的を達成できる場合もあります。幸いなことに、この種の研究に関するブログ記事がこちらに詳しく掲載されています！
はい：心拍数 – 心電図（ECG）
心拍数と心拍変動は、心電図（ECG）機器によって測定された心臓の活動から導き出されるもので、心拍の頻度やパターンに基づいてストレスや覚醒の状態を示すことができます。iMotionsはこれらに関する信頼性の高い測定値を提供しており、嬉しいことに、参加者に与える負担はそれほど大きくありません。これはバーチャル環境においても同様です（もちろん、適切なコンピュータが必要ですが、これについては後ほど詳しく説明します）。
はい：皮膚伝導度（別名：ガルバニック皮膚反応、または皮膚電気活動）
皮膚伝導度は皮膚の汗量を測定するもので、これはストレスや興奮による感情的な覚醒と相関関係にあります。これにより、その覚醒の強度を数値化することができ、多くの場合、いわゆるGSRピークによって検出されます。なお、皮膚伝導度のデータは動きによるアーチファクトの影響を受けやすいため、研究設定においては、ノイズの多いデータの検出と除去を考慮したプロトコルを必ず設けておく必要があります。
おそらく：筋電図（EMG）と呼吸
信号を理解する能力があれば、筋肉の動きを検出することは有用かもしれません。例えば、顔面筋の測定のためにfEMG研究を行う方法を知っている場合などが該当します。VRでは、ヘッドセットによって顔が遮られてしまうため、fEMGは表情分析に代わる手段となります。 EMGを用いて首や肩の筋肉からストレスを調査することも可能ですが、これは明確な仮説を持ち、ある程度の技術的な実践経験がある人に限られます。 なお、動作データにはノイズが多く不正確な場合があるため、文脈を豊かに分析するには他の生体信号と組み合わせるのが最適です。ただし、これによりコンピュータへの負荷が高まり、堅牢なデータクリーニングおよび分析スキルが必要となります。これらのセンサーが最も適切か、あるいはアイトラッキング、GSR、および/またはECGで目的を達成できるかを検討してください。
呼吸は、動きによるアーチファクトが生じるものの、VR向けの有望なセンサーとなり得ます。参加者の胸にベルトを装着して測定するため、研究データに過度なノイズが混入する前であれば、参加者は多少の動きを許容できる可能性があります。
To see how these concepts are applied in practice, explore our Talk to a Research Expert page.
番号：表情分析
VR環境ではヘッドセットが顔の半分を覆ってしまうため、カメラを用いた表情分析を行うのが非常に困難であることは、皆さんにとって驚くことではないかもしれません。iMotionsでサポートしている研究分野においては、これは不可能です。なぜなら、表情分析（FEA）は顔のランドマークを基に、顔面動作単位（FAU）を用いて表現された感情を三角測量することで行われますが、VRハードウェアによってそれらのランドマークが隠れてしまうと、この処理が実行できなくなるからです。 一部のヘッドセットには顔トラッカーが搭載されていますが、その信頼性についてはコメントできませんし、当社ではこの手法を直接扱っていません。ただし、研究の進捗状況によっては、fEMGが代替手段となり得るでしょう。
番号：EEG – 脳波検査
端的に言えば、VR環境でのEEG研究は非常に困難です。ヘッドセットがEEG用ヘッドキャップの装着を妨げるだけでなく、EEGデータには膨大なノイズ（動きによるアーチファクトや信号ノイズなど）が含まれており、データの収集や分析が極めて煩雑になるか、あるいは不可能になるケースさえあります。ただし、VarjoとOpenBCIの提携など、近い将来にいくつかの進展が見込まれています。VR環境でのEEG研究をご検討中の方は、ぜひ弊社チームまでご連絡いただき、具体的な選択肢についてご相談ください。
どのVR環境で作業すべきでしょうか？
関連データを収集するために最低限必要なセンサーがどれかについて専門家と相談し、チームにデータ分析を行い、正確な結論を導き出すスキルがあることが確認できたなら、次のステップは、どのような環境で作業を行うかを検討することです。
アイトラッキング機能を備えたVR環境において、iMotionsはUnityに対応しています。当社はUnityをメインに開発を行っており、Unrealなどの他のエンジンは使用していません。これは、UnityプラグインにiMotionsとよく連携する動作サンプルシーンが付属しているためです。そこから先のカスタマイズは、生体計測データの追加がかなり複雑になる可能性があるため、経験豊富なVR環境開発者が行う必要があります。UnityやVRが初めての方は、次のように自問してみてください： 「チーム内に、Unity環境の構築に直接的な経験を持つメンバーはいますか？」プラグイン内のサンプルシーンを超えた、360度コンテンツの作成、デバッグ、またはカスタムUnity環境の変更といった作業は、その人物のスキルセットに含まれている必要があります。答えが「はい」であり、その経験に自信がある場合、あるいはそのような技術的バックグラウンドを持つ人材を採用する予定がある場合は、読み進めてください。そうでない場合は、別の調査手法が妥当な代替案となり得るかどうかを検討してください。
実際には、VR環境をゼロから構築しなくても答えられる研究課題は数多くあります。例えば、HTC Viveを使えば360度動画を撮影し、それを環境として活用することができます。つまり、参加者を配置してアイトラッキングをモニタリングするためのVR環境をゼロから構築する代わりに、実在の場所から撮影した360度空間を利用できるのです。
さらに、研究においてアイトラッキングが必須でない場合は、GSRなどの他のセンサーを用いて覚醒度を測定することも可能です。こうした研究は、UnrealやSteamVR、その他のエンジンを使用して画面録画を行う形で実施できます！これにより、VarjoやHTC Vive以外のヘッドセットを使用する可能性も広がります。
最後に、その他のシミュレーション環境については、iMotions API を使用することで、サードパーティ製のイベントやトリガーと連携し、iMotionsとの間でデータをやり取りすることが可能です。ヘッドセットベースのVR環境以外で実験を行う場合、ヘッドセットによって顔が隠されないという利点を活かし、シミュレーターとiMotions APIを組み合わせることで、アイトラッキング用メガネや表情分析などの生体計測データと併せて、研究に活用できる可能性があります。
まとめ：iMotionsでMicrosoft HoloLensを活用する10の方法
コンピュータのシステム要件はどうなっていますか？
お使いのコンピュータが、最低動作要件を満たすだけの十分な性能を備えていることが不可欠です。すべてのコンピュータが同じ性能を持っているわけではありません。特に、VR環境やアイトラッキング、さらに追加のセンサーデータ収集をサポートするために必要なCPUの性能に関しては、その差が顕著です。
経験則として、ノートパソコンでは不十分です。Windows 10を搭載した高性能なデスクトップPCが必要であり、理想的には2台のモニターと2枚のグラフィックカード、データを処理するのに十分なメモリ、そして予算内で入手可能な最高のGPUを備えていることが望ましいでしょう。 最高クラスのVR環境に投資するのであれば、中級クラスのPCで妥協することは長期的には得策ではありません。特にセンサーを追加するにつれてCPU負荷が増加するため、PCがデータの負荷に耐えられなくなった場合、研究室全体の時間とリソースの投資を無駄にするリスクさえあります。VR向けの具体的なPCの推奨モデルについては、当社のコンサルタントチームまでお問い合わせください。最適な選択肢についてアドバイスいたします。
スケジュールと期待値の設定
最後に、VRではトラブルが頻繁に発生するものだということを念頭に置いておきましょう。プロジェクトの納期が厳しい場合、特に新しいPCや実験室にすべての機器をインストール・セットアップする必要がある場合は、次の2点を自問する必要があります。1）データ収集を開始する前に、部屋の設営、環境へのプラグインのインストール、センサーの設置とテストを行うのに十分な時間があるか、2）すべてが順調に進んだとしても、データ分析を行う時間があるか、ということです。 過大な約束をして期待外れの結果を出さないよう、最良のシナリオだけでなく最悪のシナリオでも、これにかかるであろう時間をステークホルダーに正直に伝えておくことが重要です。iMotionsでは、納品、インストール、オンボーディングの所要時間について、お客様が当社に何を期待できるかを理解していただけるよう、早い段階でこうした話し合いを行っています。
結論
VR環境における人間の行動研究を検討されている方にとって、重要な検討事項についてご説明できたと思います。もし、このブログの冒頭で触れた「はい」という段階にあるとお考えでしたら、ぜひこちらから当社のVRソリューションについて詳しくご覧ください！