研究におけるバーチャルリアリティの活用入門

研究におけるバーチャルリアリティ（VR）の活用について、主要なハードウェアの選択肢、コンテンツ作成ツール、セットアップ上の留意点などを網羅した実践的な入門ガイドをご紹介します。また、没入型VR環境内で行動反応や生理的反応を計測するために、バイオセンサーやアイトラッキングを統合する方法についても解説します。

VRを初めて利用される方で、研究にこの種のインタラクティブな刺激提示を取り入れたいとお考えなら、このガイドでは、適切な判断を下すのに役立つ関連情報や確認事項をいくつかご紹介します。

ここでVRについて述べる際、具体的にはVarjo VR-3などのヘッドマウントディスプレイ（HMD）や類似のプラットフォームを用いたバーチャルリアリティを指しています。

すでにお気づきかもしれませんが、VRは少なくともここ数十年、研究ツールとして活用されてきました。Google Scholarでの検索によると、「Virtual Reality」に言及した論文の総数は、過去10年間だけで実に20万件にも上ります。 この数字には、VRの技術そのものに関する研究と、その応用に関する研究の両方が含まれています。実際、VRは、治療、トラウマ回復（Gamito et al. 2015）、トレーニング（Sanz, Multon & Lécuyer, 2015）、人間のパフォーマンスなど、人間の行動研究において多くの分野で応用されています。

したがって、自身の研究にVRを取り入れる際に活用できる情報は豊富に存在します。

最近の動向 – ハードウェア

多くの大手テクノロジー企業が、何らかのVR/AR関連の取り組みを行っています。この分野において、HTCは「Vive」および「Vive Pro」というハードウェアプラットフォームにより、高解像度、ライトハウスを用いた高精度なトラッキング、そして高度な操作機能（コンテンツのレンダリングを行う高性能コンピュータに有線または無線で接続されるシステム）により、高精細な体験を実現し、業界をリードする地位を維持しています。

Facebookは最近、わずか数百ドルという低価格のスタンドアロン型HMD「Oculus Go」を発売しました。また、Oculusは、3Dコンテンツのレンダリングにコンピュータを必要とする先駆的な[fusion_builder_container hundred_percent=” target=”_blank” rel=”noopener noreferrer” type=”1_1″>Riftプラットフォームも提供しています。 他にも多くのハードウェアプラットフォームが存在しますが、前述のものは最も人気があり、活発なコミュニティフォーラムを含む豊富なリソースが揃っています。

コンテンツ生成用ソフトウェア

VRで実験を行うには、3Dコンテンツを作成・レンダリングするためのソフトウェアプラットフォームが必要です。Unity3Dエンジンは、非常に人気のある選択肢の一つです。Unityのライセンスモデルはフリーミアム型であり、高度なレンダリング環境を無料で利用して始めることができます。VRコンテンツ制作に用いられるその他の3Dエンジンとしては、UnrealやWorldvizなどが人気があります。

では、「3Dエンジン」を使って何ができるのでしょうか？

• 幾何学的プリミティブを使用して3Dコンテンツを作成するか、他のプログラムから高度なメッシュ（モデル）を読み込みます。
• オブジェクトの動作。
• コントローラーからのユーザー入力を処理する。
• オブジェクトや光源の材質プロパティを調整します。
• 物理学を応用する。
• その他にもたくさんあります。

学習用リソース

Unity、Unreal、Worldvizは、もともとゲーム開発を支援するために構築された、機能豊富なプログラミング環境です。

3D世界の構築は専門的な技術が求められるため、経験豊富な人の助けが必要になる可能性が高いでしょう。Unityプラットフォームには何千人もの開発者がおり、オンラインフォーラムやミートアップを通じて連絡を取ることができます（例えば、ボストンVRミートアップには現在5000人以上のメンバーがいます）。

3Dワールドを一から構築する基礎を学びたいと考えているなら、ネット上には豊富なリソースがあります。例えば、Brackey’sのようなYouTubeチャンネルは主にゲーム開発者を対象としていますが、Unityを始めてみたい人にとっても非常に役立つ情報源となっています。こうしたツールを活用すれば、独自のワールドをデザインしたり、プレイヤーとワールド内のオブジェクトとの相互作用をプログラミングしたりできるレベルまで、短期間で到達することができるでしょう。

バイオセンサーの応用

Motionsでは、コンピュータのモニター、現実世界、あるいは仮想世界のいずれを通じて提供される体験であっても、バイオセンサーを用いて人間の体験を定量化できるツールを開発しています。iMotionsを使えば、バイオセンサーのデータストリームと同期したVR体験の記録を、比較的短時間で開始することができます。

この画像はiMotionsのスクリーンショットで、以下を示しています：

• 画面録画機能を使用してVRコンテンツ（Oculus向け『The Climb』）をキャプチャする
• 被験者の行動を記録するためのカメラ映像。
• GSR（皮膚電気反応）を用いて感情的な反応を測定する。
• タイムライン上のイベントへの注釈（「上昇」および「下降」としてコード化）

これらのシンプルなツールを使えば、VRコンテンツに対する行動的・生理的反応の分析を始めることができます。iMotionsですべてを記録することで、以下のことが可能になります：

• 動画から定性的な観察を行ってください。
• 興味深い出来事の動画クリップをエクスポートします。
• タイムラインに注釈を追加して、特定のイベントをコード化します。この注釈を使用してGSRデータをセグメント化し、回答者全体にわたる特定のイベントの要約スコアを作成したり、あるいは単に「タスク遂行時間」などのタスク遂行スコアを算出したりすることができます。

VR研究を支援するための高度なオプション：

• VRにアイトラッキング機能を追加する――これにより、没入型体験における視覚的注意の動向を把握できるようになります。
• APIを使用して、3D環境からのイベントをiMotionsにストリーミングします。例えば、3D空間内の位置情報や特定のイベント・動作に関する情報をiMotionsに送信し、生体センサーのデータストリームとリアルタイムで同期させることができます。

VRや生体センサーを活用した治療の将来についてご興味をお持ちの方は、先日、まさにそのテーマについて取り上げたブログ記事を公開しました。こちらからご覧いただけます。また、研究においてヘッドマウント型VRディスプレイを活用する方法について、この記事をお読みいただき、お役に立てたなら幸いです。さらに詳しくお知りになりたい場合は、お気軽にお問い合わせください。

バイオセンサーの有用性をさらに広げるものとして、VR研究において特に示唆に富む応用例が、ユーザーの視線を通じてその注意や認知プロセスを把握することです。こうした先進的な手法をさらに深く探求するには、「アイトラッキング・バーチャルリアリティ」の可能性に注目してみてください。

 

参考文献

[1] Gamito, P., Oliveira, J., Coelho, C., Morais, D., Lopes, P., Pacheco, J., … & Barata, A. F. (2015). バーチャルリアリティを活用したシリアスゲームを用いた脳卒中患者への認知トレーニング. Disability and rehabilitation, 39 (4), 385-388.

[2] Argelaguet Sanz, F., Multon, F., & Lécuyer, A. (2015). VRスポーツトレーニングにおける競技不安とプレッシャーを導入するための方法論. Frontiers in Robotics and AI, 2, 10.