マルチモーダル生体センサーが、人間の記憶と意思決定の背後にある真実をいかに解明するのかを探ります。ローマ・トレ大学の研究者たちは、アイトラッキングと瞳孔測定を用いて、参加者が「見た」と主張したものと実際に視線を向けていたものを区別し、不気味なBGMによって引き起こされた虚偽の記憶を解明しました。
Table of Contents
2月のゲストブログでは、iMotionsを活用して発表された最新の2つの論文[1] [2]に共同執筆として名を連ねた、2名の名誉研究員をご紹介します。
アレッサンドロ・アンサニとマルコ・マリーニは、ともにローマ・ラ・サピエンツァ大学の博士課程の学生ですが、両者とも複数の所属先を持っています。アレッサンドロはローマ・トレ大学（哲学・コミュニケーション・舞台芸術学部）で研究奨学金を受けており、マルコは認知科学技術研究所（ISTC、CNR）に所属しています。 以下では、彼らが、特に視聴覚情報の解釈や意思決定プロセスに関して、自身の研究がいかに認知心理学の深層へと踏み込んでいるかについて論じている。
ご自身が所属している研究機関について教えてください。
ISTCとローマ・トレ大学の協力により、前述の2つの研究については、ローマ・トレ大学哲学・コミュニケーション・舞台芸術学科内の「認知・社会的マルチモーダル相互作用・コミュニケーション研究所（CoSMIC Lab）」で研究を行いました。その名称が示す通り、同研究所は複数の研究グループが多様なテーマに取り組む学際的な研究拠点です。 具体的には、マルコはニューロエコノミクスに関心を持っています。彼は意思決定の過程で生じる認知バイアスを研究しています。一方、アレッサンドロの研究は、サウンドトラックと物語的な視覚刺激との間の複雑な関係性を掘り下げています。
アレッサンドロ・アンサニ：
コズミック・ラボには2つの研究グループがあります。私は、イザベラ・ポッジ教授が率いる「認知・社会心理学グループ」に所属しており、このグループは主に、指揮者（ジェスチャーや視線）や観光ガイドなど、複数の主体によるマルチモーダルなコミュニケーションの分析に取り組んでいます。 より広く言えば、音楽や感情・意思決定に関する研究に加え、当グループでは、社会的影響の認知的・情動的側面、社会的感情、政治コミュニケーション、フェイクニュースの拡散メカニズムといったテーマについても深く掘り下げています。
マルコ・マリーニ：
私がコズミック・ラボに関わることになったきっかけは、私が現在勤務している認知科学技術研究所（ISTC）との共同研究にあります。同研究所では、認知、コミュニケーション、言語のプロセス（習得、処理、障害、マルチモーダリティ、コミュニケーション技術など）に関する研究、技術開発、技術移転、および人材育成活動を行っています。
革新的な研究手法による探求
iMotionsを用いて実施された2つの研究（Marini, Ansani, & Paglieri, 2020; Ansani et al., 2020）において、我々はアイトラッキング（画面ベース）を採用し、視線追跡データ（注視、再注視、および複数の静止・動的関心領域における滞在時間）と瞳孔測定指標の両方を測定した。
コズミック・ラボには、皮膚電気反応（GSR）センサー（Shimmer3 GSR+ユニット）や脳波測定システムも備えています。さらに、バーチャルリアリティ（Oculus）を活用した新たなプロジェクトも開始しています。
あなたの研究において、バイオセンサーの利用はなぜ重要なのでしょうか？
アレッサンドロ：私の研究分野において、さまざまなサウンドトラックに対するアイトラッキング指標や瞳孔測定の評価は、まだあまり研究が進んでいない手法です。今回議論しているような研究では、参加者が「見た」と主張する内容と、実際に視線を向けていた対象とを区別することが極めて重要です。
最初の指標は、被験者が最も強く記憶に残した点、注目した点、あるいは刺激の中で最も際立った部分について示唆を与えてくれます。一方、2つ目の指標は、より間接的であり、それゆえに興味深い尺度を示しています。例えば、不穏なサウンドトラックを聴いた被験者は、リラックスできるサウンドトラックを聴いた被験者と比べて、隠されたキャラクターをより多く認識したと報告しました。
さて、その特定のBGMが、隠れた人物に対する被験者の注意を高めたと結論付けたくなるのは無理もない。しかし、これは単なる推測に過ぎない。なぜなら、その不気味なBGMが虚偽の記憶や事後的な推測を助長した可能性があり、実際には見ていないにもかかわらず、見たと主張しただけかもしれないからだ。 言い換えれば、もし私に「隠れている人物を見たか」と尋ねられ、たまたま不気味なサウンドトラックを聴いていたとしたら、たとえ実際に見ていなくても、そこに誰かがいると推測してしまうだろう。この点を明確にするためには、視線の方向を測定することが不可欠である。
マルコ：意思決定の研究において、アイトラッキングは、その根底にある認知メカニズムに関するさらなる知見を提供することで、研究者が意思決定プロセスを評価する一助となります。私たちの研究では、アイトラッキングを活用することで、無関係な選択肢が追加されることが、一見非合理的な形で注意にどのような影響を与えるかを解明することができました。さらに、意思決定者が意思決定プロセスにおいて、選択肢の知覚的特徴（すなわち、顕著性や類似性）に左右されがちであることを実証しました。
なぜiMotionsを選んだのですか？また、それは研究にどのように役立っていますか？
私たちの研究グループは、関心分野は多岐にわたるものの、資金は共有しているため、複数の指標を同時に評価できるプラットフォームを探していました。数年前、誰かがiMotionsを提案してくれたのですが、一見しただけでも非常に有望なツールだと感じました。この選択を後悔したことは一度もありません！それどころか、iMotionsのようなソフトウェアを使えば、構築可能な実験の幅は無限大であると、今でも確信しています。
何よりも重要なのは、複数のセンサーを組み合わせて使用することを推奨することで、研究における多角的なアプローチを促進する点であり、これこそがまさに私たちが常に関心を持ってきたことなのです。
我々は、2つの機能が極めて重要であると考えています。1つ目は、複数の測定データを統合・同期させる機能です（例えば、GSRとアイトラッキング、あるいはEEGとGSRなど）。単一のソフトウェアがなければ、これは非常に困難な作業となるでしょう。
2つ目の特徴は、プログラミング言語に関する深い知識がなくても、非常に複雑な実験を構想し、実行できる点です。残念ながら、一部の研究室ではエンジニアやコンピュータ科学者の十分な支援が得られないため、証拠の質、実験の精度、そして科学的厳密性を損なうことなく、可能な限り「ポイント＆クリック」に近い操作で作業を行う必要があります。
以前と比べて、ご自身の研究はどのように変化したと思いますか？
私たち二人とも若手研究者としてキャリアをスタートさせたばかりなので、「以前」という時代を想像するのは実のところ難しいです。とはいえ、過去数年間に行われた私たちのような実験は、多くの熟練した研究者にとっても手の届かないものだっただろうということは、十分に理解しています。 それどころか、今日では技術の進歩のおかげで、私たちのような若く、したがって経験の浅い研究者であっても、大きな可能性と数多くの素晴らしいツールを手にし、かつて想像もできなかった技術システムを用いて、いかなる合理的な疑いも残さない形で理論を強力に立証する具体的な機会を得ているのです。
マルコ・マリーニ氏とアレッサンドロ・アンサーニ氏が、ご自身の研究プロジェクトとエピソードについてお時間を割いてご紹介くださったことに感謝申し上げます。今後、科学界におけるお二人の活躍を心より楽しみにしております。
アレッサンドロ・アサーニとマルコ・マリーニの略歴
アレッサンドロ・アンサニ（ローマ・ラ・サピエンツァ大学 心理学・認知科学専攻 博士課程学生、ローマ・トレ大学 コズミック・ラボ 研究助手）
現在は、ローマ・トレ大学のCoSMIC Labで研究助手として勤務しながら、ローマ・ラ・サピエンツァ大学の心理学・認知科学博士課程に在籍しています。博士課程では、サウンドトラックが、共感、感情の帰属、性格の印象、ストーリー展開の予測、環境の知覚といった様々な心理学的概念の観点から、視聴覚コンテンツの解釈に与える影響について研究しています。 私は常に多岐にわたるトピックに関心を持っています。その他の研究分野としては、音楽心理学、道徳心理学、そして語用論的視点からのボディランゲージなどが挙げられます。
マルコ・マリーニ（博士課程学生） * ローマ・サピエンツァ大学 心理学・認知科学専攻
私はローマ・ラ・サピエンツァ大学の博士課程の学生であり、CNR（イタリア国立研究評議会）の認知科学・技術研究所およびローマ市ナッジ・ユニットと共同で研究を行っています。 主に、複数の選択肢や複数の属性に基づく意思決定における認知バイアスの解明に関心を持っていますが、現在は、人間の意思決定の根底にある神経認知プロセス、対応戦略、および体系的なバイアスについても研究しています。また、時間軸を超えた意思決定や確率的決定にも関心があり、ローマ市行動経済学部門と共同で、ナッジ理論と脱税に関するプロジェクトに取り組んでいます。
参考文献
[1] アレッサンドロ・アンサニ、マルコ・マリーニ、フランチェスカ・デ・エリコ、イザベラ・ポッジ（2020）。 「サウンドトラックが視覚的知覚をどのように形成するか：自己評価、アイトラッキング、および瞳孔測定を通じた音楽の視覚的シーンへの影響の分析」。Frontiers in Psychology 11:2242. doi: 10.3389/fpsyg.2020.02242
[2] Marco Marini、Alessandro Ansani、Fabio Paglieri（2020）。『魅力は多様な要因に由来する：デコイ効果における注意プロセスと比較プロセス』。『Judgment and Decision Making』第15巻第5号、2020年9月、704-726頁。