クイーンズランド大学のアリンダム・デイ氏は、生理学的信号を用いてVR体験を最適化している
バーチャルリアリティにおける「そこにいる」という臨場感は、その瞬間には非常にリアルに感じられる一方で、後になってそれを正確に思い起こしたり説明したりするのはなかなか難しいものです。研究者やVR開発者にとって、参加者が仮想環境をどのように体験しているかを理解することは、没入感のある世界を構築するための重要な手がかりとなります。そしてそれは、ゲームデザイン、トレーニングシミュレーション、VRストーリーテリング、さらには医療分野に至るまで、多方面に実効的な影響をもたらしています。
しかし、その「没入感」をリアルタイムでどのように測定すればよいのでしょうか？クイーンズランド大学のアーリダム・デイ博士と、同氏が率いる「Empathic XR and Pervasive Computing Laboratory」の研究者たちは、バイオセンサーとiMotionsを活用して、この課題に取り組んでいます。彼らの目標は、参加者がVRやARを体験している最中に、生理信号からのリアルタイムなフィードバックと没入感を関連づけることであり、事後のアンケート調査に頼るのではなく、体験中の状態を直接把握することにあります。 私たちは先日、この重要な研究や、デイ博士がiMotionsをどのように活用しているかについて、博士に話を伺いました。
アンケート調査の問題点
デイ博士は、拡張現実（AR）分野の世界的権威である南オーストラリア大学エンパシック・コンピューティング・ラボのマーク・ビリングハースト教授と緊密に共同研究を行った後、クイーンズランド大学に着任しました。その際、彼は拡張現実（XR）の分野において、エンパシック・コンピューティングに関するこの研究を継続したいと考えていました。彼とビリングハースト教授は、EEG、ECG、GSR、瞳孔データやアイトラッキングなどのセンサーを用いて認知や感情を調査してきましたが、その研究の文脈は異なっていました。 デイ博士は、これらのセンサーをVRにも応用したいと考え、センサーデータの収集と同期を行うためにiMotionsプラットフォームを導入した。
バーチャルリアリティにおいて、没入感は極めて重要です。しかし、アンケート調査には限界があるため、没入感を効果的に測定することは重要である一方、困難でもあります。過去30年ほどの間に、没入感を把握するために検証されてきた13～14種類の確立されたアンケートが存在するにもかかわらず、VR体験を振り返る際には、依然としてバイアスや不誠実さ、疲労感が入り込んでしまうのです。彼は次のように述べています：
「通常、没入感は次のように測定されます。VRでシステムを体験した後、いくつかの質問に答えるというものです。 しかし、没入感はあくまでその場での感覚であり、環境の中でどれほど没入しているかは、まさにリアルタイムで変化するものです。ですから、1分前に感じたことを思い出して回答しなければならない場合、それは必ずしもその瞬間に感じたこととは一致しません。おそらく、過大評価したり過小評価したりしてしまうでしょう。そこで私たちは考えました。生理データのようなセンサーを使って、人々がVRを体験している最中に何が起きているのかを測定できないだろうか、と。」
そこで、クイーンズランド大学の博士課程および修士課程の学生たちと共に、参加者を「プレゼンスの高い環境」と「プレゼンスの低い環境」という2つの環境にさらす実験シナリオを設計し、プレゼンスが高い環境と低い環境で、生理的または神経学的反応に何らかの違いが見られるかどうかを検証した。
データの同期によるストーリーの特定
この種の研究において、アンケート調査が完全に排除されているわけではない点に留意することが重要です。デイ博士の研究室では、参加者はVR環境を体験した後、依然として質問に回答しています。 しかし、その違いは、皮膚電気伝導度、心拍数、脳波、視覚的注意（バイオセンサーのページへのリンク）といった生理学的データと、アンケートへの回答とを関連付けることで、参加者が「没入感」を強調する際に反応している、その環境下でいつ、何が起こっていたのかを正確に特定することにあります。
生体センサーデータを個別に収集し、信号ごとに異なるソフトウェア（例えば、アイトラッキング用、GSR用など）を使用している場合、VRのような没入型環境下で何が起きているかを捉えるためには、画面録画と合わせてデータをすべて同期させる必要があるため、これは困難で、時間もかかる作業となります。iMotionsの同期機能とリアルタイム表示により、より迅速かつ容易な分析が可能になります。 Dey博士は次のように述べています。「VR環境では、周囲で非常に多くのことが同時に起こっています。画面を録画しながら、特定の時点での状況をリアルタイムで確認できるため、GSR信号の急激な上昇を即座に把握できます。その原因を特定するために、iMotionsでその時点まで遡って確認できるのです。これは非常に役立ちます。」
全体として、研究チームは、没入感が高まるにつれて、心拍数が上昇し、視覚的ストレスが軽減され、前頭葉領域におけるシータ波およびベータ波の活動が増加し、頭頂葉領域におけるアルファ波の活動が増加することを明らかにした。彼らは、これらの知見が、没入感を測定する新たな客観的指標の開発に役立つことを期待している。
適応性があり、ユーザー中心のVR体験の創出
現在、デイ博士は、VR体験からのリアルタイムな生体センサーのフィードバックを利用して体験内容をリアルタイムで調整する、共感型コンピューティングのモデルやアルゴリズムを開発できるかどうかを検証しています。 例えば、VRやAR環境下にあるユーザーの認知負荷や感情状態を、システムの適応に活用することは可能でしょうか？体験やVRタスク中に恐怖を感じすぎたり、圧倒されたりした場合、システムが恐怖の度合いやタスクの難易度を調整し、ユーザーをより落ち着かせたり、成功に導いたりすることはできるのでしょうか？このため、研究チームは適応型インターフェースの学習用データ収集にiMotionsを活用しており、現在は表情データを用いた検証を行っています。
また、同チームはVRストーリーテリングにおける視点にも関心を持っており、デイ博士はこれを次のように説明している。すなわち、登場人物（または複数の登場人物）が、ストーリーテラーが設計した物語を仮想現実の中で伝えるが、VRの複雑さゆえに、その物語が意図した通りに受け取られない可能性があるという考え方である。 主人公、敵役、あるいは脇役など、どのキャラクターと一緒にいるかによって、少し道に迷ったり、あまりにも多くのものとインタラクションしてしまったり、物語の展開についていくのに苦労したりする可能性があります。これを測定するために、同研究室はSFとファンタジーの2つの物語を作成しました。参加者は異なるキャラクターとして物語を進めながら、iMotionsを用いて視線データを記録されます。 その後、参加者は体験したばかりの物語を語り直すよう求められ、その際の表情データが収集されます。研究チームは、この分析を通じて、物語を語り直す際に参加者の感情状態が変化したかどうか、またどのキャラクターに「なりきっている」かによって感情や注意の向け方に違いがあるかどうかを明らかにしたいと考えています。そして、様々なキャラクターを通じてユーザーを物語の中心に据え、VR内で一貫性がありダイナミックな物語体験を創出するためのガイドラインを策定することを目指しています。
実験室を超えた意義
アリンダム・デイ博士は、「社会貢献のための」研究を強く信奉しており、VRに対する自身のユーザー中心のアプローチが社会に良い影響をもたらすよう尽力しています。彼は数多くのプロジェクトに携わる中で、VRを活用してインドの自閉症スペクトラム障害を持つ子供たちに社会的スキルを教える支援を行ってきました。また、オーストラリアに新しく移住してきた難民に対し、没入型VRを用いて、新しい生活や言語、文化への適応を支援する取り組みも行っています。
そして、これらすべてにおいて鍵となるのが「没入感」であり、これは用途を問わずVRにとって最も重要な要素です。デイ博士は、これをリアルタイムで捉えることができれば、「没入感を調整することで、アプリケーションの効果を高めることができる」と考えています。「VRを利用するすべての人にとって、これは非常に魅力的なものになるでしょう」
略歴：
アリンダム・デイ博士は、クイーンズランド大学「エンパシックXR・パーベイシブ・コンピューティング研究所」の共同所長を務めており、その研究分野は主にヒューマン・コンピュータ・インタラクション、複合現実（MR）、およびエンパシック・コンピューティングに焦点を当てています。以前は、南オーストラリア大学にて、拡張現実（AR）分野の世界的権威であるマーク・ビリングハースト教授のもとで研究に従事していました。 タスマニア大学、ウースター工科大学（米国）、ジェームズ・クック大学にてポスドク研究員を務めた。南オーストラリア大学にて博士号を取得し、その学位論文の題目は『ハンドヘルド型拡張現実における遮蔽された物体の可視化に関する知覚特性』であった。
デイ博士の研究について詳しく知りたい方は、LinkedInで彼とつながることができます。
