マルチモーダル研究が、単一のプラットフォーム上で生体センサーを連携させることで、「フランケンシュタイン・ラボ」のような状況を解消する仕組みをご紹介します。実証データによると、アイトラッキング、FEA、GSRを組み合わせることで、人間の行動を包括的に把握することが可能となり、人が何を見ているか、どのような感情を抱いているか、そしてその感情の強さを同時に追跡できるようになります。
Table of Contents
現在、ソフトウェアおよびハードウェアメーカーは、アイトラッキングと表情分析や脳波測定（EEG）を組み合わせるなど、複数の測定手法を同時に活用して人間の行動を研究できるツールを次々と開発しています。その結果、研究はより便利になるだけでなく、効率的かつ精密なものとなっています。
バイオセンサー研究の市場が拡大するにつれ、2つ以上のバイオセンサーを用いた研究を表す最も一般的な用語の一つが「マルチモーダル研究」となっています。しかし、この用語には実際にはいくつかの異なる意味があり、本記事では当社のiMotionsソフトウェアに関連する点について解説します。
かつて、研究者が複数の異なるバイオセンサーから同時にデータを収集しようとした場合、バイオセンサーや測定方式ごとに1つの実験ステーションを用意する必要がありました。この「1センサー1ステーション」というアプローチは、親しみを込めて「フランケンシュタイン・ラボ」と呼ばれています。 映画の同名作品と同様に、このシステムは（！）データ収集時およびその後のデータ解析において、不必要な労力と不便さを伴って初めて機能するものです。タイムスタンプやアノテーションの整合、さらにはデータ処理の多くは手作業で行わなければならず、研究の精度と効率を損なうことになりがちです。マルチモーダル研究用ソフトウェアはこうした不便さの多くを解消しますが、iMotionsではそれらをほぼ完全に排除しています。
iMotionsを使用すれば、複数のバイオセンサー（またはモジュール）を用いたマルチモーダル研究が可能となり、個々のハードウェアは1台のコンピュータまたは実験ステーションに接続されます。iMotionsにおいて「マルチモーダル研究ソフトウェア」とは、専用のソフトウェアを通じて複数のバイオセンサーを1台のコンピュータに統合できるプログラムのことを指します。
研究において、マルチモーダリティの価値はどこにあるのでしょうか？
専用のソフトウェア環境下で作業できる利便性や、研究効率の大幅な向上に加え、この手法にはもう一つ、かけがえのない価値がある。それは、真に深層的な人間中心の行動研究を行うための唯一の方法であるという点だ。
研究の初期段階から完全なマルチモーダルラボを導入するお客様もいれば、まずは小規模から始めるお客様もいらっしゃいます。単一のモジュールから始める理由は様々ですが、その主な要因は予算面です。しかし、完全なマルチモーダル環境で得られるような微妙なニュアンスを捉えるという点では、得られる成果は限定的となります。
アイトラッキングを使って回答者の視線を追跡したいと仮定しましょう。これは簡単にできますが、ここで知りたいのは、彼らが何を見ているかだけでなく、視覚刺激のどの部分が感情的な反応を引き起こしているかということかもしれません。そのためには、回答者がどのような感情の兆候を示しているかを把握できる「表情分析」が必要となります。 これで、視覚刺激を見た際に人々がどのような感情を抱いているかは分かりましたが、その感情の強度はどの程度なのでしょうか？感情の強度の全体像を把握するには、皮膚電気反応（GSR）を測定する必要があります。回答者の汗腺を通じて皮膚電気活動を測定することで、刺激を受けた際に回答者が感じている感情の強度を測ることが可能になります。
要するに、調査に用いる手法が多ければ多いほど、回答者に対する理解は深まるということです。
1つの研究課題に対して複数のバイオセンサーを組み合わせて活用することで、収集されるデータはより詳細で有益なものとなり、ひいてはより価値の高いものとなるでしょう。
iMotionsにおけるマルチモーダル生体センサーの研究
最近の業界の動向を見ると、マルチモーダル研究が標準となりつつあります。 iMotionsにおいて、マルチモーダリティは当社のDNAに深く根付いています。創業当初から、マルチモーダル研究は単なる流行語ではなく、現在および将来の研究者向けにソフトウェアを開発する上での哲学の根幹を成すものでした。このアプローチにより、トレンドがその方向へと向かい始める何年も前から、当社はマルチモーダルバイオセンサーの統合や多層的なデータ分析の開発・実装において最先端を走り続けてきました。
iMotionsソフトウェアプラットフォームにおいて、マルチモーダル設定は、当社の基本モジュールであるCOREを通じて標準的に提供される設定です。これは、当社が提供するすべての計測モードとシームレスに連携し、研究環境にかかわらず、1つ、2つ、あるいはすべてのバイオセンサー入力と通信できるように開発されています。
認知症患者の行動変化に関する私の博士論文の一環として、iMotionsプラットフォームを活用することで、アイトラッキング、皮膚電気反応、および自動顔面表情分析を同時に統合することが可能となり、各患者について同一時点の独自かつ包括的な生体データを取得することができました。 さらに、当施設の記憶クリニック内における複数の場所で臨床試験を容易に実施できる環境が整ったため、異なる患者グループを幅広く対象に含めることが可能となりました。加えて、iMotionsのサクセスマネージャーからの支援により、体系的かつ理論に基づいたデータ分析を行うための適切なサポートを得ることができました。総じて、iMotionsは、我々の研究目標の達成に向けて、独自のデータだけでなく、実践的かつ理論的な解決策も提供してくれました。」
– エレン・シングルトン（アムステルダム・アルツハイマーセンター博士課程学生）
このソフトウェアは、主に手作業による処理が大部分を占める単一モダリティの研究環境において必要となる、労力を要する作業のほとんどを代行し、科学者や研究者の負担を軽減するよう特別に設計されています。これは、多モダリティ研究用ソフトウェアの根底にある哲学が、概して利便性と効率性にあるためです。複数のハードウェアを一度に統合する機能は、ユーザーインターフェースの複雑化やワークフローの混乱を招くリスクを伴う可能性があります。 したがって、データソースの数が多いほど、直感的なユーザーインターフェースが求められます。iMotionsソフトウェアスイートでは、データ収集と分析を容易にする可視化および分析ツールを開発しました。使いやすさの向上はワークフローの初期段階から始まっており、下図に示すように、入力されるデータを容易に解釈できるリアルタイムのデータ表示が提供されます。
上の写真では、スカイダイバーが飛行機から飛び降りる瞬間を捉えるために、VRアイトラッキングとGSRという2つの測定手法が用いられています。写真からもわかるように、刺激の提示、マルチモーダルなデータ入力、そしてリアルタイムのデータ可視化により、この研究の仕組みは、訓練を受けた人間行動の研究者だけでなく、一般の人々にとっても理解しやすいものとなっています。 使いやすさはスキルレベルに関わらず常に望ましいものですが、私たちはこれを、マルチモーダル研究を行いたいものの経験が限られている顧客が研究を開始し、最終的にはUXを複雑にすることなく規模を拡大できる理想的な方法とも捉えています。研究の複雑さは、使用するツールからではなく、研究のセットアップや規模から生じるべきものです。
信号処理やその後のデータ分析を行う際の手動コーディングの必要性は、当社が独自にスクリプト化したR Notebooksの導入により、ほぼ解消されました。 これらは、信号処理に使用されるアルゴリズムの完全な透明性を確保したドキュメントを提供し、利用可能なすべてのモダリティについてUI上で視覚的なメトリクスを生成するだけでなく、上級研究者がRでコードを編集することも可能にします。Rノートブックを活用して、データ処理と分析をどのように改善し、マルチモーダルデータ分析をシームレスな体験にしているかについてさらに詳しく知りたい場合は、こちらをご覧ください。