iMotionsにおけるRノートブックとは何ですか?

iMotionsソフトウェアスイートの中心的な機能は、お客様が研究で採用する多種多様なハードウェアコンポーネントから得られるデータを可視化できる点にあります。R Notebooksの助けがなければ、ハードウェアから送られてくる信号を解読し分析することは、非常に困難で時間のかかる作業となってしまいます。 「R Notebook」という名称は、これほど重要な構成要素としてはやや曖昧な呼び名であるため、本ブログでは、それが何であり、どのような役割を果たすのかについて解説します:

R Notebooks を使ってデータを可視化する方法

Rノートブックの基本的なコンセプトは、生体計測研究を行うために使用するハードウェアから送信される信号を処理し、それを解釈可能なデータ表現に変換できる、カスタムプログラムされたスクリプトであるということです。そのデータこそが、iMotionsソフトウェアプラットフォーム上で目にする、発表や公開に適した可視化データなのです。 R Notebooksを利用すれば、センサーからの生データを表す膨大なデータセットの文字列を見る代わりに、研究パラメータに基づいてグラフや解読可能な指標を確認、調整、エクスポートすることができます。

iMotionsのUI。飛行機から飛び降りる人を見た際の生理的反応を表示しています
この画像では、VRヘッドセットを装着した人物が、スカイダイバーが飛行機から飛び降りる様子を一人称視点で撮影した映像にどう反応しているかがわかります。画面の下半分には、一目でわかる視覚化データが表示されており、スカイダイバーが飛行機から飛び降りた瞬間に生体データが変化していることがはっきりと確認できます。

「R」(R Notebook内)は、プログラミング言語「S」を実装したものです。Sが統計計算言語であるのに対し、「R」は可視化やデータモデリングを可能にするために開発されました。当社のR Notebookは、当社の特定プラットフォーム向けに特別にプログラムされているため、お客様やクライアントは、市場では他に手に入らないレポートや可視化データにアクセスすることができます。

iMotionsのユーザーインターフェース。有毒なキノコを食べているふりをしている人物の刺激が表示されている
ここでは、ある人物が、土や毒キノコ(もちろん実際にはそうではない)を食べているように見える別の人物を見て反応している様子が映っています。被験者は心電図センサーを装着しており、iMotionsはR Notebooksを用いて信号処理を行い、動画内の人物が何かを食べるたびに被験者の心拍数がどのように上昇するかを示しています。

iMotions Software v.8.0のリリース以来、当社は信号処理アルゴリズムにR Notebooksを採用しています。R Notebooksをソフトウェアの不可欠な要素とする前は、すべての信号処理がハードコーディングされていたため、現在よりもはるかに柔軟性に欠けていました。

当社のソフトウェアにR-Notebooksを導入する目的は、主に2つあります。第一に、iMotionsでは一貫して、多様な顧客のニーズに柔軟に対応しつつ、データ収集と分析を可能な限りスムーズに行えるようにすることを基本理念としてきました。

第二に、お客様は、データ収集プロセスに関与していない人々に調査結果や結論を提示する必要が頻繁にあることを、私たちは理解しています。そのため、お客様は調査結果を伝えるにあたり、正確な視覚的表現や分かりやすい指標に頼っています。

iMotionsソフトウェアプラットフォームでは、どのような生体認証データを可視化できますか

当社のRノートブックは、提供中のすべてのモジュールを網羅しており、ユーザーが日々の研究で頻繁に利用する主要な指標を可視化しています。Rノートブックは随時更新されており、2022年にはいくつかの新規コンテンツの公開を予定しています。以下に注目のRノートブックをいくつかご紹介します。全リストについては、iMotionsヘルプセンターをご覧ください。

皮膚電気反応(GSR):

GSR電極の位置(右手)

詳細はこちら:EDAピーク検出とは何か、その仕組みは?

皮膚電気反応 (GSR)の解析 :ピーク検出、ピークのビンニング集計、信号品質、およびエポチング。

注目機能:
GSRのビニング(エポチング) – 研究者は、イベント単位または時間単位でGSRを分析するかどうかを選択できるようになりました。このノートブックを使用すれば、信号処理の経験がなくても、生信号から検証可能かつ論文掲載可能なデータへと変換できます。「ピーク検出にはどの閾値が必要か?」という難しい問題を解消します。

表情分析(FEA):

表情分析(FEA)のための解析:AFFDEXの閾値設定と集計、AFFDEXのまばたき検出、RealEyesの閾値設定と集計。

主な機能:iMotionsの表情モジュール機能により、分析用に複数の顔を記録・後処理することができます。新たに追加されたリモートでのデータ収集機能により、より多くの回答者を対象とした調査が可能になります。

詳細はこちら:iMotionsの「表情分析(FEA)」モジュールでできることすべて

脳波検査(EEG):

詳細はこちら:EEG(脳波検査)とは何か、その仕組みは?

脳波(EEG)の解析:パワースペクトル密度、前頭葉の非対称性、前頭葉の非対称性の集積。

主な機能:Frontal Alpha Asymmetry (FAA) Rノートブックは、FAAスコアを算出するための完全な信号処理プロトコルを実行します。これは、EEGに基づく「接近・回避に関連する動機付け」、あるいは言い換えれば「好悪」を測定する指標です。また、このFAAノートブックには、精神的負荷を算出する機能も追加されています。

心電図検査(ECG):

心電図(ECG)の解析:心拍数および心拍変動。

注目機能:HRVの算出方法は、時に複雑になりがちです。手法によって計算の仕組みが異なり、各手法の結果を直接比較できない場合もあります。そのため、業務や研究において正確な算出を行うことは極めて重要です。「HR & HRV Notebook」は、各刺激に対する被験者ごとのピーク検出および心拍数(HR)と心拍変動(HRV)の算出を行い、感情の調節、社会的スキル、認知プロセスに関連するデータポイントを提供します。

詳細はこちら:心拍変動(HRV) – ECGデータの分析方法

筋電図検査(EMG):

筋電図(EMG)の解析:平滑化と正規化。

主な機能:R Notebookでは、平滑化された信号を最大随意収縮刺激に対して正規化することができ、被験者間や条件間のEMG活動を比較することが可能です。

詳細はこちら:EMG(筋電図検査)とは何か、その仕組みは?

アイトラッキング:

アイトラッキングの分析:まばたきの検出

主な機能:Rノートブック内のまばたき検出アルゴリズムは、まずアイトラッキングデータが存在しない「欠損値」のすべての箇所をまばたきとしてタグ付けします。次に、このアルゴリズムは、左右の眼の両方で一貫して「欠損値」が見られる箇所のみを対象とします。その後、アルゴリズムはタグ付けされたまばたきを再評価し、実際のまばたきである可能性が高いタグのみを残します。

この画像では、被験者の表情分析と視線追跡が行われています。当社のRノートブックは、動画の再生中に被験者が何回まばたきをしたかを検出し、可視化します。

「まばたき検知」が自動運転車の車線変更性能にどのように役立つかについてご覧ください

すでにiMotionsをご利用のお客様で、当社のR-Notebookシリーズの機能についてさらに詳しく知りたい場合は、ヘルプセンターをご覧ください(ログインが必要です)。

最後に、前述の通り、iMotionsソフトウェアで使用するために、すべてのRノートブックを独自にコーディングしていることをお伝えしておきます。各ノートブックは特定のタスクを実行し、特定の指標を処理するように設計されています。ただし、異なる指標を処理する必要がある場合でも、ご自身の研究や調査の範囲に合わせて、当社のRノートブックを編集することは十分に可能です。 ただし、Rでのコーディングにすでに精通していない限り、当社のRノートブックを編集することは強くお勧めしません。iMotionsプラットフォームでの操作体験が損なわれる恐れがあるためです。

iMotionsのRノートブックを活用して作成できる可視化機能が、ご自身の研究に役立つとお考えでしたら、ぜひ弊社までご連絡くださいRノートブックおよびiMotionsソフトウェアプラットフォームの機能について無料の相談やオンラインデモをご提供いたします