「表情分析とは何か」という問いに答えるには、まず自分自身を見つめ直す必要があります。人間は感情的な生き物です。私たちの感情の状態は、最も基本的なプロセスから複雑な行動や難しい決断に至るまで、あらゆる行動の在り方を左右します[1, 2]。私たちの生活は多くの点で感情に導かれているため、感情について深く理解することは、人間の行動全般をより深く理解することにつながります。
人々の感情状態を理解することは、人間の心理をより深く理解することから、ユーザー体験の向上に向けた行動分析、効果的な広告キャンペーンの展開に至るまで、幅広い分野で有用であることは明らかです。
しかし、感情を理解することの重要性は明らかであるものの、個人の感情状態に関する客観的でリアルタイムなデータを取得するのは難しい場合がある。
個人の感情状態を測定するために作成されたアンケートは存在するものの、誤解を招くようなバイアスが容易に混入してしまう可能性がある（他のアンケートと同様である；[3]）。さらに、こうしたアンケートでは特定の時点における情報の「スナップショット」しか得られないため、そのデータからは、その人がどのように感じているかについて、あくまで大まかな概要しか把握できない。
一方、表情分析は、私たちの顔が感情をどのように表現しているかについて、客観的でリアルタイムなデータを提供することができる。表情が示す感情の内容については議論があるものの[4, 5]、表情分析は、相手の感情をある程度把握できる数少ない手段の一つであり[6]、この機会を逃す手はない。
しかし、分析について詳しく話す前に、まずは基本から始めましょう：
Table of Contents
表情とは何でしょうか？
顔は、私たちの体の中でも特に精巧で、高度に多様化した部位であり、実のところ、私たちが持つ最も複雑なシグナル伝達システムの一つです。顔には、構造的にも機能的にも独立した43の筋肉があり、それらは互いに独立して動員されることができます [7]。
顔面筋系は、体の中で唯一、筋肉が骨と顔面組織のいずれか一方に付着している部位であり（人体の他の筋肉は2つの骨に付着している）、あるいは目や唇を取り囲む筋肉のように、顔面組織のみに付着している部位でもあります。
私たちの体のすべての筋肉は神経によって支配されており、その神経はもともと脊髄や脳からの入力を受けています。神経のつながりは双方向であり、つまり神経は脳からの信号に基づいて筋肉の収縮を引き起こす一方で、情報を脳へと逆方向に伝達することもできるのです。
顔の筋肉のほとんどは、顔面神経という単一の神経によって支配されています。この神経は、脳神経第7対としても知られています。顔面神経は脳幹（橋）の深部から出て、耳の少し下（顔面神経管）で頭蓋骨を抜け、そこから分岐して顔のすべての筋肉へと伸びています [8]。 顔面神経は、身体のすべての筋肉の動きを制御する大脳新皮質の一次運動野とも接続している（その構成を示す代表的な図を以下に示す；[9]）。
したがって、私たちの表情は、視床からの信号を受け取る一次運動野および補足運動野にその起源を持つことが多い[10, 11]。この経路についてはさらに解明の余地があるが、基本的には、さまざまな段階で表情を活性化させることのできる脳領域のネットワークへと広がっていく。
顔面神経が筋肉に信号を送ると、その筋肉は収縮（または弛緩）し、顔の筋肉に変化が生じます。この信号が必ずしも外見上の表情の変化につながるわけではありませんが、その点については後ほど詳しく説明します。
表情分析はどのように機能するのでしょうか？
表情分析には主に3つの方法があり、それぞれに長所と短所があります。これら3つの方法の中で最も歴史のある「顔面筋電図（fEMG）」は、顔面筋からの電気的活動を記録するものです。
この分野の多様な応用例や知見など、より深く知りたい方は、当社の「表情分析」に関する包括的なリソースをご覧ください。
fEMG
fEMGによる記録から、表情に外見上の変化が見られない場合でも、脳波活動が検出されることが示されている。この活動は、その個人の感情状態と関連していると考えられている（例えば、笑顔に関連する大頬筋の活動亢進は、喜びの感情と関連していると考えられている；[12]）。
fEMGは、目視では捉えられない顔面筋の動きに関するデータを提供できる一方で、記録は顔に配置できる電極の数に限界があります。また、電極の装着には、顔面筋の構造に関する知識に加え、電極を正しく装着する方法についての知識も必要です。
顔面動作コーディングシステム（FACS）
fEMGを用いた表情の変化の検出が始まって間もなく、ポール・エクマンとウォレス・フリーゼンによって「顔面動作コーディングシステム（FACS）」が提唱された[13]。FACSは、顔を個別の筋肉の動きに分類したカール＝ヘルマン・ヨルツヨーの研究[14]を基盤として構築されたものである。
FACSは、表情の研究における基礎的な情報源となり、その誕生以来、表情分析の分野を形作ってきた。顔の筋肉の動きに関連する一連の顔の動きを体系化することで、研究者たちは顔の動作を定量化し、さらにそれを感情表現と関連付けることが可能になった。
表情分析の分野においてFACSの重要性はいくら強調してもしすぎることはないが、その手法の実用化には困難が伴う。FACS法に従って表情を適切に定量化するには、公認の訓練を受けたFACSコーダーが、どの筋肉が動いているか、そしてその動きの強度を判定する必要がある。つまり実際には、対話の映像をほぼ1フレームずつ確認し、処理しなければならないことになり、これには明らかに多大な時間がかかる。
表情分析ソフトウェア
その後、FACS法の原則に従い、あるいはそれを基に、表情を正確に解析するために必要な処理要件に対応しようとするソフトウェアが登場した。その一つが「Emotient」と呼ばれるソフトウェアで、ポール・エクマンがアドバイザーを務めていた。Emotientはその後、2016年にAppleに買収された。
他にも、表情分析の自動化ソリューションを提供している企業があります。例えば、700万枚以上の顔データ（表情分析ソフトウェア企業としては最大規模のデータセット）を用いてアルゴリズムを学習させたAffectiva社があり、同社の技術はiMotionsプラットフォームに統合されています。
このソフトウェアはまず顔を認識し、コンピュータビジョンアルゴリズムを用いて主要なランドマーク（FACSによる顔の区分に類似）を特定します。画像の処理方法についてはソフトウェアによって異なる場合がありますが、Affectivaはディープラーニングで学習させたアルゴリズムを用いてこれらのランドマークを分析し、それに基づいて表情を予測します。
表情分析のために開発されたソフトウェアは、必要な時間やリソースの面で明らかに有利です。必要なハードウェアは、シンプルなウェブカメラだけで済むからです。しかし、精度に関しては、fEMGや手動によるFACS法の方が優れていると一般に考えられています。結局のところ、表情分析に携わる人々は、自身のニーズや要件に最も適した手法を自ら選択する必要があります。
表情分析データ
データの種類は、当然ながら、その収集方法（すなわち、fEMG、手動によるFACSコーディング、あるいはソフトウェアを用いた自動表情分析など）によって異なります。以下では、それぞれのデータの種類について解説します。
fEMG
筋電図（EMG）と同様、このデータは、基準値が決定された後に筋肉によって生成される電気的活動のレベルを示すものである。基準値は、最大随意収縮（MVC）と呼ばれる、その個人が発揮しうる筋肉収縮の最大強度を記録したデータに基づいて決定される。
その後、皮膚から2つの電極間の電圧差を測定し、それを最大活動量に対する相対値として分析する。
顔面動作コーディングシステム（FACS）
FACSシステムは、それぞれの異なる筋肉の動きに対応する番号で構成されており、さらに顔の左右（すなわち左または右）や、動作の強さによって詳細に分類することができます。強さは「A」（ごくわずかな活動）から「E」（最大の活動）まで評価されます。 このように、強く目を開く動作は、R5C + L5C（左右の上眼瞼挙筋の運動、強度「C」）と表記されます。
自動表情分析
具体的なデータ型は、自動表情分析に使用するソフトウェアの種類によって異なります。例えば、Affectivaは「検出器（detectors）」と呼ばれる値を提供しており、その値は0（無表情）から100（表情が完全に表れている状態）までの範囲です。これらの値は、他のデータと同様に分析することができます。
「高品質な表情分析データを得るためのヒント」をご覧ください
結論
ジェームズ・ラッセルとホセ・フェルナンデス＝ドルスは1997年に次のように述べている。「表情と感情を結びつけることは常識かもしれないが、それは感情心理学において最も重要な概念であることが判明した」[15]。感情との関連性の詳細については依然として議論の余地があるものの、感情表現に関連する客観的なデータを提供できる数少ない手法の一つであることに変わりはない。
表情分析にはさまざまな手法がありますが、どの手法がご自身の研究に最適かは、利用可能なリソースとその優先順位に大きく左右されます。十分な情報を得た上で下す判断こそが、最善の選択となります。表情分析についてさらに学びたい方は、以下の無料ガイドをダウンロードしてください。
参考文献
[1] Sanfey, A.G., Rilling, J.K., Aronson, J.A., Nystrom, L.E., & Cohen, J.D. (2003). 「最終提案ゲームにおける経済的意思決定の神経基盤」. Science, 300, 1755–1758.
[2] Angie, A. D., Connelly, S., Waples, E. P., Kligyte, V. (2011). 個別の感情が判断と意思決定に及ぼす影響：メタ分析による検討. Cogn. Emotion, 25 (2011), 1393-1422.
[3] Choi, B. C. K., & Pak, A. W. P. (2005). アンケート調査におけるバイアスの一覧. Preventing Chronic Disease, 2, 1-13.
[4] Carroll, J. M. & Russell, J. A. (1996) 顔の表情は特定の感情を伝えているのか？文脈における顔からの感情の判断。『Journal of Personality and Social Psychology』, 70:205–18.
[5] Aviezer H, Trope Y, Todorov A (2012) 強い肯定的感情と否定的感情を区別するのは、表情ではなく身体のサインである。Science, 338: 1225–1229.
[6] Sebe, N., Lew, M.S., Cohen, I., Sun, Y., Gevers, T., Huang, T.S. (2004). 「本物の表情の分析」. 『顔およびジェスチャー認識国際会議論文集』, 517-522.
[7] ムーア, キース・L.; ダリー, アーサー・F.; アガー, アン・M・R. (2010). 『ムーアの臨床解剖学』. アメリカ合衆国: リッピンコット・ウィリアムズ・アンド・ウィルキンス.
[8] Gupta, S., Mends, F., Hagiwara, M., Fatterpekar, G., Roehm, P. C. (2013). 顔面神経の画像診断：最新の総説. Radiol Res Pract, 248039:1–14.
[9] OpenStax College、CC BY 3.0。2018年9月24日に以下から取得：https://commons.wikimedia.org/wiki/File:1421_Sensory_Homunculus.jpg
[10] Behrens, T., Johansen-Berg, H., Woolrich, M., Smith, S., Wheeler-Kingshott, C., Boulby, P., Barker, G., Sillery, E., Sheehan, K., Ciccarelli, O., Thompson, A., Brady, J., Matthews, P. (2003). 拡散画像法を用いたヒト視床と皮質間の接続の非侵襲的マッピング. Nat. Neurosci. 6 (7), 750 – 757.
[11] Oliveri, M., Babiloni, C., Filippi, M. M., Caltagirone, C., Babiloni, F., Cicinelli, P., Traversa, R., Palmieri, M. G. & Rossini, P. M. (2003). 中立的または感情的に不快な視覚的刺激によって誘発される運動中の一次運動野の興奮性に対する補足運動野の影響. Exp Brain Res, 149, 214–221.
[12] Schmidt, K. L., Ambadar, Z., Cohn, J. F., Reed, L. I. 「意図的な表情と自発的な表情における動きの違い：笑顔における大頬筋の働き」『Journal of Nonverbal Behavior』2006年;30:37–52.
[13] Ekman, P., and Friesen, W. V. (1978). 『Facial Action Coding System: 顔面運動の測定法』. カリフォルニア州パロアルト：Consulting Psychologists Press.
[14] Hjortsjo, C. H. (1970). 『人間の顔と表情言語』. スウェーデン、マルメ：Nordens Boktryckeri.
[15] ラッセル, J. A., フェルナンデス＝ドルス, J. M. (1997). 『表情の心理学』. マサチューセッツ州ケンブリッジ：ケンブリッジ大学出版局。[/fusion_builder_column][/fusion_builder_row][/fusion_builder_container]