感情認識技術とは何か？

感情認識技術は、顔の表情を分析して人間の感情を識別するものです。本記事では、この革新的な技術の機能、応用例、およびその意義について解説します。さまざまな業界における感情認識技術の進歩、メリット、そして潜在的な課題についてご紹介します。

感情認識技術の概要

笑顔になると何が起こるのでしょうか？外から見れば、口角の筋肉が引き上げられ、頬が持ち上がるのは明らかですが、目に見える変化以上に多くのことが起こっています。 瞳孔が拡大したり、心拍数が一時的に低下したり、皮膚表面の汗腺が活発に働き始めたりすることもあります[1,2,3]。感情を学び、解読する上で、こうした情報は極めて貴重ですが、専門的な技術がなければ、その多くは隠されたままになってしまいます。そこで登場するのが、感情認識技術です。

感情認識技術とは、人間が示す感情――その複雑さすべて――を検知し、それをデータに変換するために開発されたハードウェアとソフトウェアの総称です。このデータは分析が可能であり、コンピュータがそれに基づいて行動を起こすことさえできます。SFのような話に聞こえるかもしれませんが、これはすでに日常の現実となりつつあります。

前述の笑顔の場合、その感情は、表情分析（カメラと専用ソフトウェアさえあれば可能）、fEMG（顔面筋電図）、ECG（心電図）、およびEDA（皮膚電気活動）によって認識することができます。ただし、必ずしもこれらすべてを同時に必要とするわけではありませんが、それぞれが人間の感情を解読する上で新たな側面を加えてくれるのです。

なぜこの技術が重要なのでしょうか？多くの人にとって、感情を読み取ることは些細なことのように思えるかもしれません。しかし、私たちの生活の多くがテクノロジーに囲まれるようになるにつれ、この技術そのものがその役割を果たせるようになることが重要になってきています。以下では、その理由を示すいくつかの事例を紹介するとともに、この技術が今後どのような方向へ向かうのかについて予測を立てていきます。

自動車業界における感情認識技術

感情認識技術を最も積極的に導入している業界の一つが自動車産業です。米国には2億8700万台以上の自動車があり、1人あたりの平均車内滞在時間は週に8時間強に達するため、運転体験の向上には明確な需要があります。自動車メーカーは、安全性を高め、運転をより楽しいものにする体験を提供することで、他社との差別化を図ることができます。

感情認識技術の明確な応用先の一つが、ドライバーの居眠りです。これは厳密には感情ではありませんが、各生体センサーは居眠りの兆候を検知するのに最適な性能を備えています。米国だけでも、こうした居眠りによる注意力低下が原因で年間10万件以上の事故が発生しており、その大部分は、運転中に居眠りし始めた際にドライバーに警告を発する組み込みシステムによって防ぐことが可能です。 感情認識技術は、アイトラッキングや表情分析を行うダッシュボードカメラ、内蔵の皮膚電気活動センサー[4,5]、さらには脳波（EEG）センサー[6]など、様々な手法を通じてこれを検知することができます。

各センサーは、眠気の増大を正確に検知することができ、これによりドライバーに路肩への停車を求める警報システムが作動する可能性があります。さらに一歩進めて、これらのシステムは運転中の感情の変化も検知でき、例えば「ロードレイジ（道路上の怒り）」の発症に対応することも可能です。こうしたシステムは、道路上のすべての人にとってより安全な運転環境を実現するのに最適なものです。

自動運転車の普及に伴い、車内で実際に運転に費やす時間が減っていくことは容易に想像できます。ハンドルを握らなければならないという制約がなくなれば、車はこれまでとは異なる空間へと生まれ変わるでしょう。将来的には、感情認識技術によって、こうした空間がより反応良く、ひいてはより人間味あふれるものへと進化していく可能性があります。

医療分野における感情認識技術

感情認識技術は、患者の診断と治療の両方を改善するため、医療分野でも広く活用されています。その代表的な例が、自閉症の早期発見への活用です。自閉症は、子どもの1％弱にみられる神経発達障害であり、主に社会的コミュニケーションの困難（言語的・非言語的コミュニケーションの両方）や、反復的な行動をとることが特徴とされています。

iMotionsが提供する「ヤンセン自閉症ナレッジエンジン」は、マルチセンサーアプローチを用いて、小児において自閉症が検出可能となる最も早期の段階を特定することを目的としている [7]。

自閉症に対する早期介入が、その後の社会的スキルに最も大きな影響を与えることが分かっているため、早期診断を行うことで、自閉症の子供たちが可能な限り最善のケアを受けられるようにすることができます[8]。さらに、感情認識技術も、表情分析を用いたゲーム形式のトレーニング[9]や、感情的な反応に対するその場でのガイダンス[10]などを通じて、自閉症の人が人生の後半において社会的スキルを向上させるのに役立っています。

感情認識技術は、社会不安障害に悩む人々を支援するため、治療の現場でも活用されています。iMotionsを用いた最近の研究プロジェクトでは、心電図（ECG）、皮膚電気活動（EDA）、アイトラッキングを組み合わせて、患者が社会的ストレスを伴う仮想環境にどのように反応するかをモニタリングしています。

患者にはストレスへの対処法について指導が行われており、長期的な目標として「不安を抱える患者がVR機器を自宅に持ち帰れるようにすることで、治療をより個人に合わせた、柔軟で、費用対効果の高いものにできる」（南デンマーク遠隔精神医学センター長兼プロジェクト責任者、ミア・ベック・リヒテンシュタイン氏）ことが挙げられている。

To see how these concepts are applied in practice, explore our Behavioral Research Resources page.

トレーニング、シミュレーション、およびゲーム向けの感情認識技術

医療現場以外でも、感情認識技術は、困難な状況下における個人の感情的反応を訓練するために活用されています。例えば、フライトシミュレーターでは、運転時の応用と同様に、眠気や不適切な感情状態を検知するために感情認識技術が利用されています。パイロットが飛行中にどのような感情的反応を示すかを理解することで、より効果的な訓練手法を導入することが可能になります [11]。

また、仮想医療シミュレーションにおける共感的な対応を向上させるため、感情反応の評価も行われてきた[12, 13]。患者ケアに関する詳細かつ客観的なフィードバックを提供することで、医療従事者は、患者にとってより安全で快適な環境をいかに作り出すべきかをより深く理解することができる。 仮想環境では、ゲーム分野においても感情認識技術が活用されており、プレイヤーの感情に応じてゲームプレイを変更することが可能となっている。研究者らは、筋電図（EMG）や皮膚電気活動（EDA）データを追跡することで、リアルタイムの感情を把握し、それを基に体験する環境を調整することに成功している[14, 15]。将来的には、ゲームプレイがプレイヤーの感情により適応するようになり、真に反応的で没入感のある体験が創出される可能性がある。

結論

感情認識技術は成熟期を迎えつつある。これには、過去10年間にわたり、生体センサーのハードウェアだけでなく、ソフトウェアや感情評価を導くアルゴリズムにおいても進歩が求められてきた。また、生体センサーを組み合わせることで、いかに有益な感情データが得られるかをより深く理解したことも、この技術の進歩に寄与している。

現在実用化されている感情認識技術の事例をいくつか紹介しましたが、この技術が活用されている分野は他にも数多くあり、近い将来に導入される分野もさらに増えるでしょう。未来の技術は常に賢くなってきましたが、今ではより人間らしくなりつつあります。

関連資料

感情認識技術が研究の質をどのように向上させられるかについて詳しく知りたい方は、以下の「人間行動に関する完全ポケットガイド」をダウンロードしてください：

参考文献

[1] Chołoniewski, J., Chmiel, A., Sienkiewicz, J., Hołyst, J., Küster, D., & Kappas, A. (2016). 感情的刺激の過程における顔面筋電図および皮膚電気活動の時間的テイラー・スケーリング.
Chaos, Solitons & Fractals, 90, 91–100. https://doi.org/10.1016/j.chaos.2016.04.023.

[2] Alghowinem, S., AlShehri, M., Goecke, R., & Wagner, M. (2014). アイトラッキングセンサーを用いた感情状態の指標としての眼球運動の検討。 L. Chen, S. Kapoor, & R. Bhatia (編), 『科学と情報のためのインテリジェントシステム』（pp. 261–276）所収。スイス、シャム：Springer International. https://dx.doi.org/10.1007/978-3-319-04702-7_15

[3] Anttonen, J. および Surakka, V. (2005). 「椅子に座っている際の感情と心拍数」。『ACM Conference on Human Factors in Computing Systems 論文集』所収。ACM、ニューヨーク、
491–499

[4] Ooi, J.S.K. Ahmad, S.A. Chong, Y.Z. Ali, S.H.M. Ai, G., Wagatsuma, H. (2016). シミュレーション運転条件下における皮膚電気活動測定に基づく運転者の感情認識フレームワーク．2016年IEEE EMBS生物医学工学・科学会議（IECBES）論文集，pp. 365–369．

[5] 梶原 聡（2014）. 模擬運転条件下における顔面温度および皮膚電気活動による運転者の精神的負荷の評価. Int. J. Automot. Technol. 15, 65–70.

[6] Zander, T. O., Andreessen, L. M., Berg, A., Bleuel, M., Pawlitzki, J., Zawallich, L., et al. (2017). 自動運転における受動型脳-コンピュータ・インターフェースへの応用に向けたドライEEGシステムの評価. Front. Hum. Neurosci. 11:78. doi: 10.3389/fnhum.2017.00078

[7] Ness SL、Bangerter A、Manyakov NV、Lewin D、Boice M、Skalkin A、他（2019）。自閉症スペクトラム障害を有する個人を対象としたJanssen Autism Knowledge Engine（JAKE®）を用いた観察研究。Front Neurosci, 13:111.

[8] McEachin, S. J., Smith, T., & Lovaas, O. I. (1993). 早期集中行動療法を受けた自閉症児の長期的な転帰. American Journal of Mental Retardation, 97, 359–372 (および討論, pp. 373–391).

[9] Garcia-Garcia, J. M., Penichet, V. M. R., Lozano, M. D. & Fernando, A. (2021). 感情認識技術を用いた自閉症スペクトラム障害児への感情の識別および表現の指導. Universal Access in the Information Society, https://doi.org/10.1007/s10209-021-00818-y

[10] M. Alharbi および S. Huang. (2020). 自閉症スペクトラム障害児の社会的スキルを向上させるための顔および感情認識機能を備えた支援システム. 2020 IEEE International Systems Conference (SysCon), pp. 1-6, doi: 10.1109/SysCon47679.2020.9275659.

[11] César Cavalcanti Roza, V., & Adrian Postolache, O. (2019). シミュレーション飛行実験に基づく感情認識のためのマルチモーダルアプローチ. Sensors, 19(24), 5516. https://doi.org/10.3390/s19245516

[12] Mano, Leandro, Mazzo, Alessandra, Torres Neto, José, Meska, Mateus, Giancristofaro, Gabriel, Ueyama, Jó, Pereira Junior, Gerson. (2019). シミュレーション学習の評価における感情認識の活用. Nurse Education in Practice. 36. 10.1016/j.nepr.2019.02.017.

[13] Schreckenbach, T., Ochsendorf, F., Sterz, J. et al. 医学生の感情認識能力と外向性は相互作用し、シミュレーション患者が感じる彼らの共感的なコミュニケーションを予測する。BMC Med Educ, 18, 237 (2018). https://doi.org/10.1186/s12909-018-1342-8

[14] A. Nakasone, H. Prendinger, & M. Ishizuka. (2005). 筋電図および皮膚電気伝導度に基づく感情認識. Proc. Int. Workshop on Biosignal Interpretation, pp. 219–222.

[15] Garner, T., & Grimshaw, M. N. (2013). 「恐怖と音の生理学：適応型ゲームシステムにおける自動感情認識に向けた生体認証技術の活用」. IADIS International Journal 論文集, 第11巻第2号, 77-91頁. ISSN: 1645-7641

[16] H. Yong、J. Lee、J. Choi. (2019). ヘッドマウントディスプレイを装着したゲーマーの感情認識. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp. 1251-1252, doi: 10.1109/VR.2019.8797736.