GSRを用いた音声による感情の誘発

研究者たちが、皮膚電気反応（GSR/EDA）と音声・音響信号を組み合わせて、感情の高まりをリアルタイムで検出する手法をご紹介します。生理的な変化と発話による反応を関連付けることで、社会的相互作用や行動研究において、より正確で文脈に応じた感情認識を実現しています。

皮膚電気反応（GSR／EDA）センサーは、研究者がさまざまな手法を組み合わせて感情反応を検出する上で役立ってきた[1]。通常、GSRデータは、生理的信号が反応し始めるため、事象の発生や刺激への曝露直後に解析される。事象関連皮膚電気反応（ER-SCR）は、fEMG、表情分析、心拍数などの他のモジュールと組み合わせることで、高い精度を示している。

しかし、音声に反応するER-SCR法は、リアルタイムの感情検出手法としてまだ十分に検討されていない。ミシガン州立大学の人間拡張技術研究所（HATラボ）では、最近、音声と皮膚電気反応（GSR）を組み合わせたリアルタイム処理について研究が進められている。

今回、私たちはこの手法の著者の一人である博士課程の学生、シルマリー・ダビラ・モンテロ氏に、皮膚電気反応（GSR）と発話が、人間の感情に対する理解をいかに深めることができるかについて、インタビューを行う光栄に浴しました。

シルマリー・ダヴィラ＝モンテロの紹介

私の名前はシルマリー・ダビラ＝モンテロです。ミシガン州立大学の電気工学博士課程に在籍しており、アンドルー・J・メイソン博士の指導のもと、ヒューマン・オーグメンテーション・テクノロジーズ（HAT）ラボで研究を行っています。

ヒューマン・オーグメンテーション・テクノロジー・ラボはどのような活動を行っているのでしょうか？

ミシガン州立大学工学部・ヒューマン・オーグメンテーション・テクノロジーズ・ラボ（Human Augmentation Technologies Lab）の全体的な使命は、センサー技術と、大きな影響力を持つ生物医学研究および環境応用との間の橋渡しを行うことです。 当研究グループは従来、ナノ構造化された生物学的・化学的インターフェースを特徴とするセンサーシステムの設計・製造、およびセンサーやセンサーアレイの応答に対するハードウェア効率の高いリアルタイム信号処理の分野に貢献してきました。近年では、生物医学および社会応用に向けたブレイン・マシン・インターフェース（BMI）およびヒューマン・コンピュータ・インターフェース（HCI）を改善するための手法の開発に注力しています。

お仕事の内容はどのようなものですか？

私の研究の中心的な課題は、人間の行動やそれが社会的相互作用に与える影響をより深く理解するために、センサー信号をリアルタイムでどのように最適に処理すべきかという点にあります。そこで、私の研究では、リアルタイムの社会的信号処理と機械学習の手法を用いて、収集されたセンサー信号と対象とする人間の行動との関連性を明らかにしています。この研究では、音声信号や生理信号など、多様なセンサー信号の収集と処理を行っています。 その目的は、実生活における人間の行動をリアルタイムで理解できるシステムを開発し、人間の行動に対する認識を高め、社会的相互作用の質を向上させることにあります。社会的相互作用の質が向上すれば、私たちの心身の健康も改善され、生活に良い影響をもたらすことになります。

iMotionsをどのように活用されていますか？また、研究ではどのようなバイオセンサーを使用されていますか？

私の研究では、人間の感情や、社会的相互作用の過程で感情がどのように変化するかをより深く理解するために、バイオセンサーを活用しています。 具体的には、皮膚電気反応（GSR）、光電脈波計（PPG）、脳波計（EEG）といった生体センサーをマイクと組み合わせて使用し、感情の生理学的指標に関するデータを収集しています。これらの生体センサーはすべて、感情状態の変化によって影響を受けるとされる生理的プロセスからの信号を収集します。したがって、これらの信号の特性の変化は、感情状態と関連付けることができます。

iMotionsのおかげで、センサーデータ収集のインフラ設計に頭を悩ませる必要がなく、アルゴリズムの設計を始めるために必要なデータの収集をすぐに開始できたため、研究をスムーズにスタートさせることができました。さらに、導入トレーニングやコンサルティングサービスのおかげで、人間の行動に関する研究を行うための準備をより万全に整えることができました。

あなたの研究において、生体認証センサーの利用はなぜ重要なのでしょうか？

社会的相互作用を改善する方法を探る上で、個人の感情状態を理解することは重要です。社会的相互作用は非常に複雑であり、2人以上の個人の社会的行動に基づいて成り立っています。同時に、私たちの社会的行動は、内的および外的刺激によって左右されます。内的刺激は私たちの心の中から生じるもので、感情、気分、態度、性格などが含まれます。一方、外的刺激には、環境や相互のコミュニケーション方法に関連する要素が含まれます。 私たちは、感情状態の変化に関連する生理的信号を捉えるためにバイオセンサーを活用し、社会的行動に影響を与える内的刺激の一部を理解するための手がかりを得ています。

我々の最近の論文の一つでは、音声信号と皮膚電気活動（EDA）反応との関連性を検討し、音声信号を誘発事象として用いて、感情的興奮によって引き起こされる皮膚伝導反応を分類する新たな手法を分析した。EDA反応はGSRセンサーを用いて捕捉された信号から得られるものであり、その測定値は汗腺の分泌変化によって調節される皮膚の性質の変化を反映している。 交感神経系によって制御される汗の分泌は、感情的興奮が高まるにつれて増加します。EDA信号は感情的興奮の優れた指標と見なされており、感情状態を予測するために多くの研究で利用されてきました。

これらのツールは、研究課題への答えを見つける上でどのように役立ちますか？

バイオセンサーを活用することで、社会的相互作用の過程における感情状態の変化を捉え、それを特定の出来事と関連付けることが可能になります。この関連付けは、外部刺激、すなわち社会的相互作用中に観察されるコミュニケーションの動態に関する情報を提供するマイクロフォンの助けを借りて行われます。バイオセンサーとマイクロフォンを組み合わせることで、社会的相互作用の要素をモニタリングするための有益な情報を抽出することができます。

人間の行動や、それが社会的相互作用に与える影響をより深く理解するために、センサー信号をリアルタイムでどのように処理するのが最適かを検討するため、我々はまず、事前に記録されたデータを用いてアルゴリズムの設計を開始した。最近の論文では、iMotionsソフトウェアを用いて、音声信号とEDA信号を同時に記録した。EDA信号は、利き手ではない方の手の人差し指と中指の中節骨に装着したShimmer3 GSR+センサーデバイスから取得した。

被験者がさまざまな画像を見ながら、その画像を見て感じたことを声に出して表現している間、音声と皮膚電気活動（EDA）の信号を記録した。収集したデータの分析結果から、感情認識を行う際にどのEDA反応を考慮すべきかを判断する上で、発話が役立つ可能性が示唆され、これがリアルタイムの感情認識アルゴリズムの改善につながる可能性がある。

GSRおよびリアルタイムモニタリングを用いたSylmarieの研究発表については、以下の動画をご覧ください：

あなたの専門分野における今後の研究の展望について、どのようにお考えですか？

自然環境下における人間の行動を理解したいというニーズが高まるにつれ、私たちの身体や環境に関する研究情報を収集するためのウェアラブルセンサーは、ますます普及していくと私は考えています。感情の状態をリアルタイムかつ正確に検知できるウェアラブルセンサーがあれば、医療や職場での対人関係など、さまざまな分野での有用性が大幅に向上するでしょう。 商業レベルでは、すでにFitbitやAmazon Halo [2] といったウェアラブルデバイスが、自然環境下において、それぞれ生理信号を用いてストレスレベルを測定したり、マイクを用いて感情を検知したりしているのが見られます。しかし、この情報をどのように活用すれば、他者との社会的交流を改善できるのでしょうか？この問いに答えるためには、今後、多大な研究が必要となるでしょう。

なぜiMotionsを選んだのですか？

研究で使用するセンサーデバイスを探していた際、また、関心のあるデータをすべて同期させて収集する方法を模索していた際に、iMotionsの存在を知りました。その過程で、iMotionsソフトウェアが、使いやすい環境下で映像、音声、生体センサー信号を同期させる機能を備えていることを知りました。

さらに、iMotionsのソフトウェアには、Advance APIモジュールを通じて、標準のバイオセンサー以外のあらゆるデバイスを接続できる機能があります。これは私にとって非常に魅力的でした。というのも、研究に役立つあらゆる種類のセンサー、例えば私たちの研究室で設計したカスタムセンサーも含めて、自由に使用したいと考えていたからです。このように、iMotionsは私の研究を始めるために必要なツールを提供してくれました。

彼女の論文「リアルタイムの覚醒モニタリングに向けた発話と皮膚伝導度の関係に関する研究」をご覧ください

音声や音響が刺激の一部として、また感情的反応を理解する手段として検討される中、音声によって引き起こされる事象をコード化するこの手法は、人間の行動研究に新たな可能性を切り開くものである。

iMotionsでは、さまざまな用途において音声テストを行う機能の必要性を認識しています。iMotions 8.1.6以降では、音声ファイルを刺激としてインポートする際、画像を併せて設定するオプションが利用可能になりました。音声の再生中に表示する画像を選択することも、音声のみを唯一の刺激として使用することも可能です。

ミシガン州立大学・ヒューマン・オーグメンテーション・テクノロジーズ・ラボ（Human Augmentation Technologies Lab）のクライアントによる今後の研究を、ウェアラブル技術や生物医学研究のさらなる進展に向けて楽しみにしています。彼らの研究成果は、機械学習や人間と機械の相互作用における将来のイノベーションにつながるでしょう。

参考文献：

[1] GSRと感情：私たちの肌は、私たちの感情について何を教えてくれるのか

[2] https://www.bloomberg.com/news/newsletters/2020-08-31/amazon-s-halo-wearable-can-read-emotions-is-that-too-weird