顔面コーディングとfEMGは、生体認証研究において表情を分析するための代表的な2つの手法です。本記事では、分析の範囲、深さ、応用分野、出力結果といった観点から両者の長所を比較し、研究者が自身のニーズに合った適切なツールを選択できるよう支援します。今すぐ顔面コーディングとfEMGの違いを確認しましょう！
Table of Contents
皆様！本日のiMotionsブログでは、2つの人気センサーを直接対決（それとも「顔と顔」の対決？）させてみます！
その前に、少し背景を説明しておきます。
「感情表現」といえば、まず誰もが顔を思い浮かべる。なぜだろうか。人間の顔は、頭蓋骨の前面に付着した43の筋肉で構成されており、これらの筋肉には、他者に感情情報を伝えること以外に、明確な目的は見当たらない。
私たちは、能動的に（お気に入りの映画の俳優のように）表情を変えることもあれば、受動的に（お気に入りの映画の俳優を見て笑うように）表情を変えることもあります。表情は、外部の要因（好きな食べ物を味わうときなど）によって引き起こされることもあれば、内部の要因（ダイエット中に好きな食べ物のことを考えるときなど）によって引き起こされることもあります。
表情は私たちにとって感情の重要なバロメーターであり、ペットの表情さえも読み取ろうとしているほどです。
さて、率直に言って（はっ！）、表情は生体認証研究において欠かせない要素なのです。
さて、私たちの脳は、すでに「体重比」で言えば、表情分析の分野において最高の「ヘビー級」です。ほんの一瞬で、部屋の雰囲気を読み取り、子供の顔に浮かぶ喜びを捉え、あるいは相手が嘘をついているかどうかを見抜くことができます。スピードと能力の両面で、私たちの脳は他を圧倒しています。残念ながら、脳が提供する情報は、Excelで加工できるような実用的なデータではありません。そこで、私たちの出番となります。
この記事では、ウェブカメラを用いた表情分析（FEA）と顔面筋電図（fEMG）について、以下の4つの観点から比較・対照を行います：
- 幅
- 深さ
- 用途
- 出力
さて、この対決で勝つのはどちらのセンサーでしょうか？さあ、調査を始めましょう！
第1ラウンド：幅
表情分析とは何ですか？
FEAでは、AffectivaやEmotientが提供するような自動顔面コーディングアルゴリズムが使用されます。このアルゴリズムは、ノートパソコン、タブレット、スマートフォン、GoPro、あるいは単体のウェブカメラなど、あらゆるデバイスからのシンプルな映像データを活用します。
これらのアルゴリズムの具体的な仕組みについては、こちらをご覧ください。しかし、重要なのは、顔全体が検出され、目、眉、鼻、口の位置にある顔の特徴点によって、顔の個々の動きが記録されるという点です。
これらのランドマークの相対的な動きから、「眉間のしわ」「目の見開き」「口角の下がり」といったアクションユニットを導き出すことができます。これらのアクションユニットは、中核感情が表現される可能性に関する情報を提供します。例えば、「鼻のしわ」と「上唇の上げ」の加重スコアは、「嫌悪」の総合スコアに寄与することになります。
AffectivaのFEAアルゴリズムは、シンプルなウェブカメラの映像だけで、21種類の行動単位と7つの基本感情のスコアを算出できるだけでなく、さらにエンゲージメントとヴァレンスのスコアも提供します。その分析範囲の広さは驚異的です！
一方、fEMGは、個々の筋肉の活動状態を測定することで表情を解析します。この方法では、皮膚に電極を装着し、その下の筋肉の電気的活動を測定します。
FEAで説明されている各動作単位は、fEMGを用いても識別可能です。ただし、使用するfEMG機器によって、記録できる筋肉の数が制限されます。例えば、Shimmer EXG 1台では2つの筋肉しか記録できませんし、BIOPACの有線EMGアンプでは1つしか記録できません。
理論上は、すべての筋肉からfEMGを記録してすべてのアクションユニットを捉えることも可能ですが、そうなると顔中にセンサーを貼り付けなければならず、どう考えても不快な体験になるでしょう。
受賞作品：表情分析
第2ラウンド：深み
先ほどお話ししたように、FEAは単純なカメラ映像を用いて、特定の顔の動きが現れる可能性を算出します。この可能性は確率として表されます。しかし、これには一つだけ小さな問題があります：
つまり、FEAの検出能力は、視認可能な表情に限定されるということだ。
では、マイクロエクスプレッション、つまり50分の1秒しか続かないようなごくわずかな表情についてはどうでしょうか？あるいは、顔の筋肉は動いているものの、皮膚が実際に動くほどには動いていない、非常に微妙な表情についてはどうでしょうか？
こここそが、fEMGの真価が発揮される場面です。
fEMGでは、皮膚の表面に電極を配置し、その下にある筋肉の電気的活動を測定します。この活動は通常ミリボルト単位で表されますが、筋肉によってはマイクロボルトという極めて微小な値になることもあります！
つまり、fEMGの出力は顔面の活動を示す確かな指標であり、FEAによって生成されるような確率値ではないということである。
また、fEMGはFEAよりもはるかに高い時間分解能を持つという点も注目に値します。質の高いEMGデータは、FEAの30Hzに対し、なんと512Hzという高頻度で収集されます。つまり、ほんの一瞬の微表情であっても、fEMGなら容易に検出できますが、FEAではそれほど簡単ではありません。
そのため、fEMGは、ごく微細な、あるいは一瞬の表情を捉えたい場合に最適なセンサーとなります。
つまり、fEMGは人間の表情の全範囲にわたる測定の幅には欠けるかもしれませんが、特定の1つや2つの筋肉（例えば、眉をひそめる筋肉や笑う筋肉など）に関心がある場合、fEMGはタイミングと振幅の両面において、卓越した感度と測定の深さを発揮します。
受賞：顔面筋電図検査
第3ラウンド：応募
なんという対決だ！データの深さと広さという点では、双方に勝る点がある。しかし、FEAにはどのようなユースケースが最適で、fEMGにはどのようなユースケースが最適なのだろうか？
さて、画像、動画、ウェブサイト、アンケート、画面録画といった画面ベースの刺激素材の場合、FEAはウェブカメラさえあれば簡単に導入できます。個人的にはLogitech C920がお気に入りですが、実際にはどのウェブカメラでも問題ありません。回答者の画面の上に設置するだけで、準備完了です！
FEAを利用する際、見過ごされがちな利点として、ライブ収録中に被写体を撮影しなくても表情データを取得できるという点が挙げられます。iMotionsには、動画を後からインポートして事後的にFEA分析を行うことができる便利な機能があります。これは、複数のカメラ映像から表情を分析したい場合に最適な選択肢です。また、1つの映像に複数の人物が映っている場合でも、分析対象となる顔を指定することができます！
つまり、FEAは汎用性が高く、簡単で、最小限の労力で大量のデータが得られるようです。しかし、FEAを成功させるには限界もあります。それは、調査対象者がウェブカメラに完全に映っている必要があるという点です。そして、人間の行動研究には無数の選択肢がありますが、状況によってはウェブカメラを使用できない場合もあります。
VRを用いた研究では、ヘッドセットによって顔が遮られてしまうため、FEAを行うことは不可能です。これはモバイル端末を用いた研究にも当てはまります。その理由は、被験者が空間内を移動するためカメラでの撮影が困難であるだけでなく、アイトラッキング用メガネを装着している場合があり、それによって眉が遮られ、FEAの妨げとなる可能性があるからです。いずれの場合も、fEMGの測定セットアップは、こうした特殊な環境下で感情価値データを取得するための最適な代替手段となります。
EMGを利用するもう一つのあまり知られていない利点は、その用途が顔の筋肉に限定されないことです。研究課題に応じて、体のあらゆる部位の筋活動を測定することができます。例えば、首や肩のEMG測定は、ストレスや驚愕反応の評価に活用できます。また、腕や手のEMG測定は、把持行動を定量的に把握するのに役立ちます。運動学、人間工学、および運動科学の研究室において、EMGは不可欠なツールです。
要するに、どちらがより適しているかを一概に言うことはできません。実際、FEAとfEMGは互いに完璧に補完し合うものであり、人間行動研究のあらゆる分野において、多岐にわたる用途に活用することができます。
勝者：引き分け
第4ラウンド：出力
最終ラウンドを迎え、両者の勝負はまさに接戦です！FEAとfEMGのどちらも、応用面において同等の汎用性を持つことが示されました。しかし、研究が完了し、データを収集した後は、そのデータをどのように活用すればよいのでしょうか？
iMotions内でFEAデータの後処理を行った後、当社の解析ツールには「シグナル・スレッショルド」と呼ばれるアルゴリズムが組み込まれています。これにより、基本的に、連続的なFEAデータを、被験者ごと、刺激ごとに、時間経過に伴う「1（はい）」または「0（いいえ）」の二値データに変換することが可能になります。
シグナルの閾値設定が有用な理由は2つあります。a) データの定量化が容易になること（0と1で扱うようになるため）、そしてb) 集団の指標を簡単に集計できることです。これにより、特定の刺激に対して、特定の時間に何人の人が特定の感情を示し、それがどのくらいの時間続いたかを確認することができます。 これにより、データの要約や可視化が容易になります。これらはいずれも、iMotionsなら簡単かつ迅速に行うことができます！
fEMGは、理論的にはエクスポート機能においてより強力ですが、データ収集後はもう少し手間がかかります。生データはミリボルト単位で記録されるため、定量的な結果を得るには、信号のノイズ除去と平滑化を行う必要があります。つまり、fEMGを使用するには、以下のものが必要になります：
- データ処理用の補助ソフトウェア（Matlab、BIOPACのAcknowledge、Python、Rなど）
- コーディングおよび信号処理に関する専門知識
しかし、fEMGが利用可能な形式になれば、筋肉の活性化レベルやタイミングといった有益な指標を導き出すことができます。また、整理されたEMGデータをiMotionsに再インポートして、視覚化を容易に行うことも可能です。
しかし……最終段階において、測定結果の分析となると、FEAはデータから洞察に満ちた結論を容易に導き出せるという点で、決定的な強みを発揮します。
受賞作品：表情分析
さあ、皆さん！先ほど目撃した素晴らしい試合のスコアカードはこちらです：
範囲：表情分析
深度：顔面筋電図
用途：DRAW
出力：表情分析
これら2つの表情分析ツールの違いを簡単に把握したい場合は、以下の表をご覧ください。
しかし、FEAの方がfEMGよりも多くの利点があるとしても、果たしてどちらの手法が本当に優れていると言えるのでしょうか？
そうとも限りません……というのも、すべては研究課題次第だからです。FEAもfEMGも、適切な用途であれば強力なツールとなり得ます。しかし、技術的な専門知識の不足が研究の妨げになってはいけません。何と言っても、私たちがここにいるのは、皆様の研究をよりスムーズに進められるようお手伝いするためなのですから。 さらに詳しい情報をお求めの方は、ぜひ当社の『表情分析ポケットガイド』をご覧いただくか、お近くのiMotions担当者に連絡して、表情分析がどのように研究を向上させるかをご確認ください！