表情分析が、感情を文脈の中で捉えることで、単なる「笑顔＝幸せ」といった単純な解釈を超えたものとなる仕組みをご覧ください。機械による検出と人間の判断、さらにはその他の生体信号を組み合わせることで、研究者は感情がどのように表現され、解釈されるかという、その複雑で状況に左右される性質をより深く理解できるようになります。
Table of Contents
最後に笑った時のことを思い出してみてください。友人のジョークに笑ったのでしょうか、それとも写真撮影のためにポーズをとっていたのでしょうか。あるいは、礼儀正しく見せようとしたり、初めて会う人に挨拶したりした際だったかもしれません。これらの状況はどれも、見た目はほぼ同じ表情になりますが、その背景にある感情はそれぞれ異なります。では、同じ表情が異なる意味を持つことがあるとしたら、顔は私たちの感情について何を教えてくれるのでしょうか？それは複雑な話です。
機械にとって、これらの表情はどれも同じように見える――人の唇が微笑みに伸び、頬が持ち上がる――それは喜びの表情のように見える。機械はこうした表情を見て、「この人は幸せを感じているに違いない」と結論づけるかもしれない。機械に任せきりにすれば、表情について有用な情報を得られるのはごく一部のケースに限られるだろう。しかし、ここには決定的な要素がある。機械の中には、常に人間が存在しているのだ。
表情分析は、人間の実験者が手にした一つのツールに過ぎない。そして、他のあらゆるツールと同様に、それをうまく使うこともあれば、誤った使い方をすることもある。幸いなことに、行動研究の分野においては、人間の実験者は常にこのツールを用いて人間らしい判断を下さざるを得ない。
例えば、観客が短編映画を気に入るかどうかを判断するための実験を設計するとしましょう。仮説を立て、参加者を募集し、彼らの表情を記録し、データを分析します。最初と最後のステップには人間の介入が不可欠であり、データに関して有意義な仮定と結論を導き出すための知見が求められます。研究者は、感情を判断するための適切な枠組みを設定し、それに基づいてデータを精査する必要があります。
以下では、感情とは一体何なのか、表情分析によってどのように感情表現を捉えることができるのか、そして文脈を考慮してデータを評価する方法について解説します。
結局のところ、機械知能の賢さは、それを活用する人間の賢さに左右されるものです。文脈や人間の判断、そして人工知能の力を組み合わせることで、人間の感情を大規模かつ正確に判断することに、これまで以上に近づくことができるでしょう。
感情とは何でしょうか？
感情がどのように生じるか、また経験される感情の普遍性についてはさまざまな学説がありますが、今日最も主流となっている考え方のひとつは、リサ・フェルドマン・バレットの研究に基づいています。ブログ記事の範囲内で彼女の研究を十分に解説することはできませんが、ここでさらに掘り下げて議論する価値のある2つの重要なポイントがあります。 これらを要約すると、1. 感情は文脈に依存するものであり、2. 脳内に感情が存在する特定の場所はない、という2点に集約されます（フェルドマン・バレットの研究については、以下の記事や著書を通じてさらに詳しく読むことをお勧めします：[1, 2, 3]）。
まず第一に、感情は状況に左右されるものです。これには、感情そのものだけでなく、その感情がどのように表れるかも含まれます。例えば、難しい試験を受けている場面を想像してみてください。 この状況を取り巻く文脈は多岐にわたります。試験を恐れていたのに、実はすべての答えが分かっていた、あるいは恐れていた通り難しかった、あるいは挑戦を好むタイプだった、あるいは特に何も感じなかった、といった具合です。内面では、ネガティブなものからポジティブなものまで、あらゆる感情を経験する可能性があります。そして、これはあくまで内面での出来事に過ぎません。
外から見ると、単に集中しているだけなのに怒って眉をひそめているように見えたり、情報を把握しようと目を大きく見開いていたり、あるいは不安から思わず笑ってしまうタイプの人かもしれません。重要なのは、私たちの内面の感情も外見上の表情も、過去や現在の経験、そして未来への期待――つまり予測――によって、それぞれ異なる形で形作られているということです。内面も外面も、すべては状況次第なのです。
第二に、脳内のどこに感情は位置しているのか？その答えは、往々にして「どこにでも」という特定の場所を指し示すことになる。メタ分析（すなわち、多数の科学的研究の結果を統合した分析）によると、人が特定の感情を経験していると述べた際に活性化する脳の領域には、ほとんど一貫性が見られないことが示されている。
例えば、扁桃体は恐怖という感情の中枢として繰り返し指摘されてきた[4]。しかし、研究によれば、人が感情的に「衝撃的」である、価値がある、あるいは「主観的に興奮を誘う」とみなされる何らかの体験をした際にも、扁桃体の活動が増加することが示されている[5]。 感情を脳の特定の領域に（あるいはその逆に）結びつけようとすると、様々な結果が導き出される。このことから、フェルドマン・バレットは、100年以上前にウィリアム・ジェームズが示唆したのと同様の結論に達している[6]。すなわち、感情の体験は脳によって一対一で生成されるのではなく、状況における生理的体験から脳が推論して導き出されるものである、という結論である。
次のような状況を想像してみてください。あなたは病院の待合室にいて、アドレナリンが全身に満ち溢れています（ここで言及している研究の場合、文字通りその通りで、参加者は研究開始時にエピネフリンを注射されていました[7]）。そこに、動揺し、怒っているように見える別の患者が入ってきます。 間もなく、あなたの気分について尋ねるアンケートが配られます。その結果、アドレナリンの作用を受けていない人々と比べて、あなたも自分の気分を「怒っている」と評価する可能性が高くなるでしょう。興奮状態にある別の「患者」（実際にはどちらの場合も俳優です）が楽しそうに振る舞っているのを目撃した場合でも、同じことが言えます。感情は、私たちの内的状態に容易に帰属させられるのです。
表情分析からわかる感情について
では、最初の問いをさらに掘り下げてみましょう。感情の生成、体験、表現の仕方にこれほど大きな個人差があるとしたら、顔から私たちの感情をどうやって読み取ることができるのでしょうか？その鍵となるのは「文脈」です。
刺激に対する感情的反応を探求するには、実験が綿密に計画され、適切に実施されることが不可欠である（これはすべての実験に言えることだが）。感情の生成や形成は文脈に大きく左右されるため、実験が行われる文脈を定義し、理解するのは研究者の責務となる。
短編映画を検証する実験について、もう一度考えてみましょう。 検証対象に関連して仮説を立てる必要があります。その映画が人々を幸せにするかどうかを確認したい場合、中立的なコンテンツを視聴する対照群と比較して、笑顔の増加を検証することになるでしょう。また、そのコンテンツが合理的に笑顔や幸福感を引き出せるものであることも把握しておく必要があります。そうしなければ、表出された感情を誤って解釈してしまう恐れがあります。そうすれば、人々の反応の違いを定量化できますが、実験はまだ終わっていません。
分析段階には、そこならではの課題が伴います（いつもそうですが）。データにさらなる分類誤りが含まれていないかを確認し、グループレベルでの有意な差があるかどうかを検証する必要があります。前者の点については、データの中に予期せぬ現象がないかを探ると良いでしょう。 例えば、映画の特定の場面で、参加者が強い苛立ちを示しているように見えるでしょうか？ それは苛立ちかもしれませんが、集中力が高まっていることなど、別の要因の表れである可能性もあります。ここで、表情の基本的な要素が刺激とどのように関連しているかを判断するために、人間の判断が不可欠となります。
データをさらに深く掘り下げる
データが何を示しているのかを注意深く観察する必要があります。これは、感情の生成における変動要因の2つ目、すなわち、感情は脳の特定の場所に存在するのではなく、周囲の環境に対する反応として生じる生理的活動を通じて知覚されるという点にも当てはまります。表情分析に加え、複数の生体センサーを活用することで、感情を生み出す内的・外的メカニズムの両方について、より明確な全体像を把握することができるのです。
生理的覚醒の状態を理解することは、データを評価するためのもう一つの文脈的手がかりとなり、何が起きているのかを真に理解することに一歩近づくことになる。
参考文献
[1] Barrett L. F. (2006). 感情のパラドックスを解く：分類と感情の体験. Personality and social psychology review, 10(1), 20–46. https://doi.org/10.1207/s15327957pspr1001_2
[2] Lisa Feldman Barrett, James Gross, Tamlin Conner Christensen & Michael Benvenuto (2001) 「自分の感情を認識し、それに対してどう対処すべきかを知る：感情の区別と感情の調節の関係の解明」、『Cognition and Emotion』、15巻6号、713-724頁、DOI: 10.1080/02699930143000239
[3] Le Mau, T., Hoemann, K., Lyons, S.H. et al. プロの俳優は、写真の中で感情状態を表現する際、定型的な表情ではなく多様性を示す。Nat Commun 12, 5037 (2021). https://doi.org/10.1038/s41467-021-25352-6
[4] Adolphs, R., Tranel, D., Damasio, H., & Damasio, A. R. (1995). Fear and the human amygdala. The Journal of neuroscience, 15(9), 5879–5891. https://doi.org/10.1523/JNEUROSCI.15-09-05879.1995
[5] Lindquist, K. A., Wager, T. D., Kober, H., Bliss-Moreau, E., & Barrett, L. F. (2012). 感情の脳基盤：メタ分析による総説. The Behavioral and brain sciences, 35(3), 121–143. https://doi.org/10.1017/S0140525X11000446
[6] ジェームズ・W. 『心理学原理』. シカゴ大学出版局; 1890/1998.
[7] Schacter, S., & Singer, J. E. (1962). 感情状態の認知的、社会的、および生理的決定要因. Psychological Review, 69, 379–399. https://doi.org/10.1037/h0046234