本稿では、引用数の多い研究を厳選して顔の表情分析（FEA）の発展を解説し、ダーウィンやエックマンによる主要な理論的基礎に加え、自動検出やバイオセンサーを用いた測定における近年の進歩に焦点を当てる。また、この分野が初期の観察研究から、心理学、神経科学、コンピュータビジョンを融合した学際的なアプローチへとどのように進化してきたかを明らかにする。
Table of Contents
表情分析（FEA）の分野は100年以上の歴史を持ち、今や成熟期を迎えています。自動分析による感情表現の検出技術は、信頼性の高い手法として確立され、様々な研究分野で広く活用されています。もちろん、こうした先進的な手法は、これまでの研究成果の上に築き上げられたものです。
表情分析に関する最新の科学を理解し、この分野の今後の展望を把握するためには、その歴史を振り返ることが役立ちます。そこで、被引用数に基づいて選定し、iMotionsの専門知識も踏まえて、表情分析に関する最も評価の高い論文をいくつかまとめました。
知識をブラッシュアップしたい、最新情報をキャッチアップしたい、あるいは自分の理解度を確認したいという方は、ぜひ当サイトの「研究論文トップ10」をご覧ください。これらの記事はすべて、表情分析の分野においてこれまで重要とされてきたこと、そして今後も重要であり続けるであろうことを理解する上で役立つはずです。
自律神経系の活動は感情を区別する
Ekman、Levenson、およびFriesen、1983年（引用数2683件）
表情分析の父とも呼ばれるエックマンは、当然ながらこのリストの筆頭となる人物だ。ポール・エックマンとウォレス・フリーゼンは、『Facial Action Coding System（FACS）』という書籍を著し、顔の「アクション・ユニット」――個別の動きが組み合わさって一つの表情を形成する――に関する包括的な分類体系を提唱した。
その研究の重要性はいくら強調してもしすぎることはない。なぜなら、それは表情分析という分野全体を形作ってきたからである。その一連の研究は極めて重要ではあるが、エックマンによる唯一の科学的業績というわけではない。そして、上記の論文は、彼が残した数多くの他の貢献の一例として挙げられる。
エクマン、レベンソン、フライゼンは、特定の表情を浮かべることが自律神経活動の変化につながることを示した。研究チームは、被験者に特定の表情を正確に作らせるよう指示した上で、皮膚温度、皮膚電気反応（GSR）、心電図（ECG）を測定した結果、特定の表情が著しい生理的変化を引き起こすことを発見した。
例えば、怒りの表情を作ると、指先などの四肢の温度が上昇することがわかった。最終的に、研究者たちは怒り、悲しみ、恐怖、嫌悪といった感情の表現に伴う生理的反応を区別することに成功した。これは、私たちが他者が示す感情だけでなく、自分自身が見せる感情に対しても反応していることを示している。
FEAとiMotionsのご協力により実現した、当社の最新刊をご覧ください
『人間と動物の感情の表現』
チャールズ・ダーウィン、1872年（引用数14,206件）
表情分析に関する文献のリストにおいて、ダーウィンの人間の表情に関する研究に触れずに済むことはないだろう。当時の心理学者たちとの継続的な議論を通じて、ダーウィンは、表情に関連する特定の形質の形成は遺伝的継承によってもたらされると主張している。
ダーウィンの研究は、表情が普遍的であるという彼の調査（および最終的な結論）において特に重要であった（このテーマはその後数多くの研究によって裏付けられてきたが、依然として議論の的となっている）。
ダーウィンは、人間同士の共通点を見出すことで、その後間もなく行われることになる表情の体系的な評価の基礎を築いた。
表情のカテゴリー的知覚
Etcoff and Magee, 1992（引用数554件）
EtcoffとMagee（1992）による本論文は、表情の認識が「離散的な分類」（例えば、その顔が「幸せそう」か「そうでないか」といった二分法）によって行われる可能性が高いという発見において、極めて重要な役割を果たした。これは、表情の知覚が、色の濃淡の認識とほぼ同様の仕組みで機能していることを示唆している。すなわち、識別可能な境界によって、明確な分類が引き起こされるのである。
これは重要な点である。なぜなら、表情の定義は、連続体上の印象として捉えられることもあれば、離散的な変数として捉えられることもあるからだ。もし私たちの知覚が具体的な分類を行う傾向が強いのであれば、他者の感情を理解する上で、表情に伴う不確実性は有益ではないということになる。
本研究はコンピュータ生成画像を用いて実施されたが、その後、現実の状況をより忠実に再現した、歪んだ写真を用いた研究によって裏付けられた。
表情の神経心理学：表情を生み出す神経学的・心理学的メカニズムに関する総説
Rinn, 1984（引用数723件）
表情の研究分野についてわかりやすく解説し、FACSが導入される前の同分野の概況をまとめたものとして、リンの総説は有益な読み物となっている。30年以上前に発表された論文ではあるが、表情の構成要素とその分析について包括的な概説を提供している。
平易な言葉で書かれたこの記事は、表情の形成に関与する顔の筋肉や神経、さらには骨について理解するための、特に有用な入門書となっている。また、この文章は、この分野がいかに進歩したかを改めて思い起こさせるものでもある。現在では表情の評価や定量化がほぼ自動化されていることを考えると、「上顔面の動きを確認するために一度、下顔面の動きを確認するために一度、計2回ビデオを再生して確認していた」という当時の作業にどれほどの時間がかかっていたかと思うと、感慨深いものがある。
この記事では、顔面神経に関する有益な解説や、神経学的損傷が顔面神経にどのような影響を及ぼすかについても紹介されています。顔面神経の麻痺は、損傷の発生部位によって異なる症状が現れます。その例が写真付きで示されており（例えば、61歳の女性が感情とは無関係に不随意に笑ってしまう症状など）、具体的に解説されています。
リンは、表情に関する科学的説明を平易かつ分かりやすく解説することで、表情分析という分野の本質的な特徴を包括的に理解できるようにしている。
DEAP：感情分析用データベース；生理信号を用いた
Koelstra、Soleymani、Lee、Yazdani、Ebrahimi、Pun、Nijholt、およびPatras、2011年（引用数540件）
Koelstraら（2011）による本論文は、この分野の現状だけでなく、表情分析の分野が今後どのような方向へ向かっているかについても示唆を与えている。参加者の感情状態を把握するために様々な生体センサー（生理学的）信号を用いるという手法は、参加者に関するより詳細な情報を提供し、データの信頼性を高めるために、ますます広く採用されるようになっている。
また、本論文では、さらなる研究や既存のデータセットの検証に活用できるよう、このデータを自由にアクセス可能なデータベースとして公開している。このデータは、ミュージックビデオのレコメンデーションシステムを設計するための手段として考案されたものであるが、そこには、マルチモーダル研究が感情的反応を信頼性が高く柔軟な方法で理解するのに役立つという、より深い洞察が込められている。
研究者らは、心電図（ECG）、皮膚電気反応（GSR）、筋電図（EMG）を用いて、各被験者の感情的反応を多角的に把握し、複数のセンサーを使用することで、被験者に関する裏付けのある包括的な見解が得られることを明らかにした。これは、表情分析の分野において、今後さらに普及していくであろう手法である。
自動顔表情解析：総説
Fasel & Luettin, 2003（引用数2207件）
2003年、ビート・ファゼルとユルゲン・リュッティンは、過去10年間に顔表情分析の分野で成し遂げられた進展について概説した。本論文はコンピュータビジョン／工学の観点からこのテーマを扱っているが、著者らは、将来の分析フレームワークの基盤となる、重要かつ網羅的な入門書を作成した。
この記事は、顔の表情の感情的・認知的要素のみに興味がある読者にとっては、その適用範囲が限定的であるかもしれない。しかし、最新のソフトウェアベースの表情分析手法の多くを支えるアルゴリズムやアプローチについて理解を深める上では、有益な参考資料となる。
感情的な表情に対する無意識の顔の反応
Dimberg、Thunberg、およびElmehed、2003年（引用数2022件）
スウェーデンのウプサラ大学の研究者らは、たとえ特定の表情を認識していなくても、人は他人の表情を無意識に模倣することを明らかにした。参加者は表情の画像（Ekman and Friesenの『Pictures of Facial Affect』（1976年）より）を観察させられ、その間、fEMG装置を用いて微細な顔面筋の動き（具体的には大頬骨筋と眉間筋）を記録した。 感情表現（怒り、喜びなど）の画像は、意識的な知覚の閾値を下回る30ミリ秒間だけ提示された。その直後に、無表情の画像が提示された。
無意識のうちに提示された表情に対応する顔面筋の活動が増加することが確認されたが、参加者はいずれも、事前に提示された表情の感情を正確に報告することができなかった。このことは、感情が、少なくとも別の無意識のシステムによって処理されている、あるいは処理され得ることを示唆している。
この記事は、感情表現に対する反応が自動的であり、意識的な自覚がなくても引き起こされる可能性があることを示す上で極めて重要な役割を果たした。この知見は、感情がどのようにして対人関係や個人が置かれている環境によって形作られるかを理解する上で不可欠である。
嫌悪の表情を認識するための特異的な神経基盤
フィリップス、ヤング、シニア、ブラマー、アンドルー、カルダー、ブルモア、ペレット、ローランド、ウィリアムズ、グレイ＆デイヴィッド、1997年（引用数1948件）
表情を理解するには、それがどのように、あるいはなぜ生じるのかだけでなく、それが他者にどのような影響を与えるのかを理解することも重要です。研究者らは、被験者に「嫌悪」の表情の画像を見てもらう際にfMRIを用いて脳活動を調べた結果、嫌悪の表情は、他の表情の画像とは異なる脳の領域を活性化させることを明らかにしました。
この活性化は、特に前島皮質（脳のほぼ中央、前方に位置する）および辺縁系・皮質-線条体-視床回路に関連する領域で確認された。 味覚的な嫌悪反応（例えば、腐った食べ物を見たときなど）でもこの領域の活動が増加することが知られているため、島皮質の活性化は特に興味深い。これは、私たちの嫌悪反応と、他者の嫌悪反応に対する反応との間に重なりがあることを示している。著者らは、私たちの嫌悪反応の一部は、他者の反応から学ぶことによって形成される可能性があると示唆している。つまり、私たちの嫌悪感は社会的に形成される可能性があるということだ。
表情は伝染する
Lundqvist & Dimberg, 1995（引用数411件）
「感情の伝染仮説」によれば、感情は人々の相互作用によって形作られるとされる。つまり、私が幸せな表情を見せれば、あなたはその表情を真似て同じ感情を抱く可能性が高く、それがさらに他の人々へと広がっていくというものである。 この仮説を検証するため、研究者らはfEMGを用いて、被験者が様々な表情の画像を閲覧している間、いくつかの顔面筋（大頬筋、口角挙筋、外側前頭筋、眉間筋）の活動を追跡した。
結果によると、筋肉の動きは参加者が目にした表情と概ね相関していた（ただし、恐怖の表情に対する反応は統計的有意性を示さなかったという興味深い例外はあった）。また、参加者は自身の内面の感情的反応を測定することを目的としたアンケートにも回答したが、その結果から、参加者は画像と一致する感情の高まりも経験していたことが示唆された。
この実験では、反応を引き起こすメカニズム（つまり、その反応が単なる模倣なのか、それとも実際の感情的反応なのか）を解明することはできなかったものの、表情が他者にどのような影響を与えるかについての理解を深める一助となった。
自発的な笑顔は脳の局所的な活動を変化させる
Ekman & Davidson, 1993（引用数396件）
表情と感情に関する研究において広く議論されている問題の一つは、前者の変化が後者の変化をもたらすかどうか、つまり、たとえ自発的な笑顔であっても、人が笑うと感情も変化するのかどうかという点である。エクマンとデビッドソンは、EEGを用いてこの疑問に答えようとした（なお、これは依然として議論の分かれるテーマであり、本研究は重要ではあるものの、決定的な結論を示すものではないことに留意すべきである）。 研究者らは、被験者が「デュシェンヌの笑顔」（本物の笑顔）を見せたときと、「唇を少し開いて口角を上げるように」と指示された後（不自然な笑顔）とで、誘発される脳活動のレベルを比較した。
研究者らは、これらの笑顔における脳活動の違いを報告し、これは個人の笑顔の仕方によって感情体験に違いが生じ得ることを示す証拠であると指摘した。こうした知見（およびその後数年間に発表された他の研究）の意義については議論が続いているものの、この研究は、複数のデータストリームを用いたアプローチが、表情の生成に関わるプロセスをより深く理解する手助けとなり得ることを示唆している。
「表情に関する研究論文トップ10」のリストをお楽しみいただけたでしょうか。表情分析についてさらに詳しく知りたい方、この分野のその他の研究成果を知りたい方は、以下の無料ガイドをダウンロードしてください。
