概要

iMotionsの表情分析（FEA）は、コンピュータビジョン技術に基づいて顔の筋肉の動きを自動的に測定し、感情状態を推定する機能です。 iMotionsのFEAモジュールは、自動顔面コーディングのトップシステムとして広く認知されているAffectiva社のAFFDEXエンジンを統合しており、ライブのウェブカメラ映像や録画された動画から、7つの主要な感情、最大20のアクションユニット（AU）、感情の極性（ヴァレンス）、エンゲージメント、頭の姿勢、まばたきの指標を検出します。

このモジュールは、iMotionsの広範なマルチモーダル研究プラットフォーム内で動作し、アイトラッキング、EEG、GSR／EDA、ECG、EMG、音声分析、および統合されたアンケートデータと連動した時間同期分析を可能にします。表情分析機能は、iMotions Lab（デスクトップ版、制御された環境向け）とiMotions Online（ブラウザベース、リモート調査向け）の両方で利用可能です。

この手法は、ポール・エクマンとウォレス・V・フリーゼンによって開発された「顔面動作コーディングシステム（FACS）」に基づいています。すべての処理は、インターネット接続を必要とせず、iMotionsソフトウェア環境内でローカルに実行されます。

1. iMotionsにおける表情分析とは何ですか？

表情分析（FEA）とは、表情や感情状態を定量化するために、顔の筋肉の動きを自動的かつ客観的に測定・分類する手法を指します。iMotionsソフトウェアにおいて、表情分析とは、特にAffectiva社のAFFDEX人工知能エンジンをiMotionsプラットフォームに直接統合し、調査研究中に被験者の顔の挙動をリアルタイムまたは事後的に分析することを指します。

訓練を受けた人間がフレームごとに個々の顔の筋肉の動きにラベルを付ける必要がある手動の「顔面動作コーディングシステム（FACS）」とは異なり、iMotionsの自動表情分析機能は、入力された動画を連続的に処理し、検出された各顔の動きや感情について、タイムスタンプ付きの定量化された指標を出力します。このアプローチにより、手動コーディングが採用しているのと同じ科学的枠組み（FACS）との整合性を維持しつつ、手動コーディングに伴う主観性や時間的コストを排除することができます。

iMotionsの「表情分析」モジュールは、生体認証研究用モジュールに分類されます。このモジュールは、iMotionsプラットフォームのアーキテクチャ内で、EEG、GSR/EDA、アイトラッキング、音声分析などの他のセンサーモジュールと連携して動作します。表情分析の出力を含むすべてのデータストリームは、共有タイムラインに対して時刻同期されます。

時刻同期とは、複数のデータストリームを共通の時間基準に整合させることを指します。時刻同期により、表情データと視線行動、生理的覚醒度、あるいは神経活動を秒単位で直接関連付けられるような、マルチモーダルな研究デザインが可能になります。

iMotionsは現在、研究用途向けのAffectiva社製AFFDEXラボ用SDKの独占提供元です。AFFDEXエンジンは7,000件以上の学術論文で引用されており、行動科学分野の文献において、最も信頼性の高い自動顔面コーディングシステムの一つとしての地位を確立しています。

2. 理論的基礎：顔面動作コーディングシステム（FACS）

顔面動作コーディングシステム（FACS）とは、視覚的に区別可能なあらゆる顔の動きを、「アクションユニット（AU）」と呼ばれる個別の解剖学的単位を用いて記述するための分類体系と定義される。FACSは1970年代に心理学者ポール・エクマン博士とウォレス・フリーゼンによって開発され、現在も科学研究における表情のコーディングにおいて主流の客観的システムとして用いられている。

各アクションユニット（AU）は、1つまたは複数の特定の顔面筋の収縮に対応しています。例えば、AU 4は眉を下げる動作（皺眉筋の活動）を表し、AU 12は口角を引き上げる動作（大頬筋の活動――笑顔の主要な指標）を表します。FACSは感情を直接分類するものではなく、感情を推論するための根拠となる身体的な筋肉の動きを符号化するものです。

特定のAUの組み合わせと個別の感情カテゴリーとの関連性は、エックマンとフリーゼンによる「感情的顔面動作コーディングシステム（EMFACS）」に由来しています。このシステムでは、喜び、怒り、恐怖、驚き、悲しみ、軽蔑、嫌悪という、普遍的に認識されている7つの基本感情に関連するAUパターンが特定されました。iMotionsのAFFDEXエンジンは、大規模な自然環境データセットを用いて学習させた機械学習モデルを適用し、これらのAUパターンを自動的に検出し、感情分類に紐付けます。

この理論的根拠は、研究の妥当性にとって重要です。iMotionsのFEA出力は、不透明な「ブラックボックス」分類器によって生成されるものではありません。AFFDEXによって生成される感情指標は、特定のAU（活動単位）の活性化に直接追跡可能であり、それらはさらに特定の顔面筋の収縮に追跡可能です。そして、FACSはこれらの収縮が感情状態と相関することを実証しています。この追跡可能性により、研究者は自身の感情データのメカニズム的基盤を検証し、報告することが可能になります。

3. AFFDEXエンジン：中核技術

AFFDEXとは、多様な人口統計学的グループを代表する参加者から収集された大規模かつ自然な表情データセットを用いて学習させたディープラーニングモデルを基盤とし、リアルタイムの表情分析を行うためにAffectivaが独自に開発した人工知能ツールキットである。

iMotionsを通じて提供されている現行バージョン「AFFDEX 2.0」は、前バージョンに比べて大幅な進歩を遂げています：

感情検出機能の拡張：AFFDEX 2.0は、7つの基本感情に加え、「感傷」と「混乱」という2つの感情状態を検出可能であり、広告調査、ゲーム、臨床評価における本システムの活用範囲を広げています。
困難な条件下での精度向上：AFFDEX 2.0のディープラーニングモデルは、多様な照明条件、顔の一部が隠れている状況、様々な人種・民族構成、および正面以外の方向を向いた頭の姿勢に対しても、以前のバージョンよりも高い精度で処理できるよう学習されています。
3D頭部姿勢推定：AFFDEX 2.0は頭部の姿勢を3次元（ピッチ、ヨー、ロール）で推定し、単純な感情分類にとどまらない、注意度や関与度のスコアリングを可能にします。
複数顔追跡：AFFDEX 2.0は、単一のカメラ映像内で複数の顔を同時に追跡・分析することができ、集団研究のデザインを可能にします。
ローカル処理：AFFDEXのすべての計算は、インターネット接続やクラウドへのデータ転送を必要とせず、WindowsおよびLinuxのハードウェア上でローカルに実行されます。これは、参加者のデータプライバシーおよびGDPRへの準拠という観点から重要な要素です。

AFFDEXエンジンは、複数の人口統計学的グループに属する数千人の参加者を対象に学習が行われており、自然で実生活に近い条件下において、競合システムよりも優れた性能を発揮することが実証されています。独立した査読付き検証研究（Lewinski et al., 2014; Beringer et al., 2019 参照）により、AFFDEXの分類精度が評価され、明確に表現された感情（特に喜びと怒り）に対するその出力は、顔面筋電図（EMG）測定値と同等の精度を持つことが確認されています。

4. iMotionsにおける表情分析の仕組み：ステップバイステップの処理フロー

iMotionsのFEAデータパイプラインは、リアルタイム（ライブキャプチャ）モードでも、後処理（ビデオインポート）モードでも、以下の段階を経て処理されます。

ステップ1 — 映像入力の取得

顔映像の入力には、標準的なウェブカメラ、専用の研究用カメラ、または事前に録画された動画ファイルを使用します。iMotions Labでは、プラットフォーム内で直接ウェブカメラを設定します。iMotions Onlineでは、参加者がブラウザからアクセス可能なウェブカメラを使用します。信頼性の高いAU検出を行うためには、推奨される最低解像度は720p、30フレーム/秒です。

ステップ2 — 顔検出と追跡

AFFDEXエンジンは、各動画フレームに顔検出アルゴリズムを適用し、顔領域を特定して境界を定義します。顔が検出されると、顔のランドマーク（眉、目、鼻、口の主要な解剖学的ポイント）がフレーム間で追跡され、わずかな頭部の動きがあっても連続性が維持されます。

ステップ3 — アクションユニットの検出

AFFDEXは、各フレームごとに、基準（ニュートラル）の顔の形状に対する顔ランドマークの変位と変形を分析します。このエンジンは、最大20個の個別のアクションユニット（AU）に対する強度スコアを出力します。各AUの強度スコアは、対応する顔面筋群の活性化の度合いを示す連続値です。

ステップ4 — 感情の分類と指標の導出

FACSラベル付きデータセットを用いて学習させた機械学習分類器は、AUの活性化パターンを解析し、検出された各感情状態に対する確率スコアを算出します。これらのスコアから、価値（valence）や関与度（engagement）などの複合指標が算出されます。まばたきの検出と頭部の姿勢推定は、ランドマーク追跡データから並行して行われます。

ステップ 5 — タイムスタンプの同期

すべてのFEA出力には、iMotionsの統合タイムライン内でタイムスタンプが記録されます。このタイムラインは、他のすべてのアクティブなセンサーモジュールと共有されるため、顔データの各フレームは、同じミリ秒単位の時間基準に基づく同時刻の視線、EEG、EDA/GSR、または音声データと同期されます。また、刺激イベントマーカー（画像、動画クリップ、またはインタラクティブタスクの開始および終了）もタイムラインに埋め込まれており、刺激に同期した分析が可能になります。

ステップ6 — 視覚化とエクスポート

処理済みのFEAデータは、iMotionsのシグナルビューアにおいて、研究タイムライン上に重ね合わせた波形として表示されます。研究者は、刺激イベントと並行して、AU強度、感情確率、感情の極性、およびエンゲージメントの推移を確認できます。データはCSVまたはJSON形式でエクスポートでき、R、Python、SPSS、またはMATLABでの外部分析に利用可能です。また、iMotionsには、一般的なFEA分析タスク向けの組み込みRノートブックワークフローも用意されています。

5. 主な機能と性能

リアルタイム感情検出

iMotions FEAは、ライブデータ収集セッション中にリアルタイムで動作し、参加者の感情状態に関する視覚的なフィードバックを研究者に即座に提供します。このリアルタイムデータにより、検知された感情的反応に基づいて刺激の提示や課題のパラメータを適応させることができる研究デザインが可能になります。

動画のインポートと後処理

すでにフィールド調査、臨床セッション、または第三者による録画などから顔の動画データを収集済みの研究者は、それらの動画をiMotionsに直接インポートしてAFFDEX処理を行うことができます。この機能により、動画の撮影と分析が分離されるため、リアルタイム処理が現実的でない遡及的研究や自然主義的なフィールド調査を支援します。

多面追跡

AFFDEX 2.0は、1つのカメラフレーム内における複数の顔の同時追跡に対応しています。iMotionsでは、これにより、二者間の相互作用、共有された刺激に対する集団の反応、あるいは自然な社会的環境を扱う研究デザインが可能になります。追跡された各顔について、AU、感情、およびメトリクスの出力が個別に得られます。

この高度な機能は、複雑な社会的ダイナミクスや集団行動を研究する上で不可欠です。これらの高度な手法の活用方法について詳しく知りたい方は、当社の専用ガイド『Multiface Analysis in Action』をご覧ください。

品質スコア

AFFDEXは、顔の可視性、照明の適切さ、被写体の遮蔽などの要素を反映した、フレームごとのデータ品質スコアを算出します。iMotionsはこのスコアを用いて、解析中に品質の低いフレームにフラグを立てたり除外したりします。これにより、研究者はデータを解析に含める前に、最低限の品質基準（通常は参加者1人あたりの平均品質スコアが75%以上）を設定することが可能になります。

刺激同期解析

FEAデータはiMotionsのタイムラインを共有しているため、刺激マーカーはFEA出力と自動的に位置合わせされます。これにより、研究者は手動でタイムスタンプを調整することなく、あらかじめ定義された刺激間隔（例：30秒間の広告クリップ中の平均感情価値）に関するFEA指標を抽出することができます。

組み込みの可視化機能

iMotionsでは、刺激映像へのFEAシグナルオーバーレイ、グループレベルのデータに対する集計ヒートマップ、感情サーカムプレックスプロット（価値×覚醒度）、およびエクスポート可能な可視化レポートを提供しています。iMotions Onlineでは、これらの可視化機能を、刺激素材に対する動的または静的なシグナルオーバーレイとして利用できます。

インターネット接続は不要です

AFFDEXのすべての処理は、研究者の端末上でローカルに実行されます。iMotions Labの通常運用中、参加者の顔データは外部サーバーに送信されることはありません。これは、IRB（倫理委員会）の要件およびデータ保護規制の遵守に関連する点です。

6. 指標と成果

iMotionsのFEAモジュールは、以下のカテゴリに分類される定量的な出力結果を生成します：

アクション・ユニット（AU）

アクションユニット（AU）とは、FACSフレームワークで定義されているように、特定の顔面筋群の活性化の強度を表すスコアのことです。iMotionsは、最大20種類のAUについて強度スコアを提供します。主なAUには、AU 1（眉の内側上げ）、AU 2（眉の外側上げ）、AU 4（眉を下げる）、AU 6（頬を上げる）、AU 12（口角を引き上げる — 笑顔）、AU 17（顎を上げる）、およびAU 43（目を閉じる）が含まれます。各AUは、フレームごとに連続値としてスコア化されます。

基本的な感情スコア

1フレームごとに、喜び、怒り、恐怖、驚き、悲しみ、軽蔑、嫌悪の7つの感情確率スコアが出力されます。AFFDEX 2.0では、これに感傷と困惑が追加の分類状態として加わっています。各スコアは、検出されたAUパターンが特定の感情表現と一致する確率に対するモデルの信頼度（出力形式に応じて0～100または0～1のスケールで表されます）を表しています。

原子価

「ヴァレンス」とは、感情状態の肯定的または否定的な性質を表す、感情体験の次元として定義される。iMotions FEAにおいて、ヴァレンスは派生的な複合指標であり、通常は「否定的」から「肯定的」までの尺度で報告され、肯定的（喜び）と否定的（怒り、悲しみ、嫌悪、恐怖、軽蔑）な感情スコアのバランスから算出される。ヴァレンスは感情の強度を直接測定するものではなく、その快・不快の方向性を測定するものである。

エンゲージメント

iMotions FEAの文脈において、「エンゲージメント」とは、顔の表情活動から導き出された複合指標であり、参加者の顔が、肯定的であれ否定的であれ、どのような感情的反応を積極的に表しているかを示す度合いを指します。エンゲージメントが高い場合は顔が活発に反応していることを示し、低い場合は無表情または表情のない顔に対応します。エンゲージメントは、広告やメディア調査において、注意度や情報処理の深さを示す指標として用いられています。

性的興奮

覚醒とは、反応の強度や活性化レベルを表す感情体験の次元であり、その価値（ヴァレンス）とは独立したものである。FEA（顔面表情解析）から導出される覚醒には既知の限界がある（顔面表情は目に見える表情のみを捉えるものであり、内部の生理的覚醒は捉えられない）が、iMotionsは、FEAから導出された価値と、EDA（皮膚電気反応）やGSR（皮膚抵抗）から導出された覚醒を組み合わせることで、二次元的な情動状態の推定を行うことを可能にする。この二次元（価性×覚醒）モデルは、ラッセル（1980）によって確立された感情のサーカムプレックスモデルと一致している。

ヘッドポーズの測定指標

AFFDEX 2.0は、フレームごとに3D頭部姿勢推定値（ピッチ、ヨー、ロール）を出力し、刺激に対する頭部の向き（向いているか、背を向いているか）に基づいた注意度の評価を可能にします。

まばたきの検出

まばたきの回数と頻度は、まぶたのランドマークの動きから検出され、FEAの出力信号として利用可能です。まばたきの指標は、認知負荷や注意力の補助的な指標として活用できます。

7. 対応する構成と環境

実験環境（iMotions Lab）

iMotions Labは、管理された実験室環境での研究向けに設計されたデスクトップベースのプラットフォームです。実験室環境では、専用の研究用ウェブカメラ、または目線の高さに設置され、照明条件が一定に保たれたノートパソコンの内蔵カメラを使用してFEA（顔表情分析）が行われます。被験者は固定されたワークステーションに着席します。刺激（画像、動画、ウェブコンテンツ、課題）の提示は、iMotions Lab内で管理されます。実験室ベースのFEAでは、照明の制御、カメラ距離の固定、頭部の動きの最小化により、最高品質のデータが得られます。iMotions LabにおけるFEAは、他のすべての生体センサーモダリティ（EEG、GSR、EMG、ECG、アイトラッキング、音声）と完全に同期可能です。

オンラインおよびリモート調査（iMotions Online、リモートデータ収集、iMotions Education & Media Analytics）

iMotions Onlineは、参加者が直接会場に足を運ぶ必要のない、ブラウザベースのリモートFEAプラットフォームです。参加者はWebリンクを通じて研究に参加し、ブラウザ上でウェブカメラへのアクセスを許可した後、ブラウザ環境内のAFFDEXを介してFEAが実行される間に刺激課題を完了します。

iMotions Online では、刺激画像に表情データをオーバーレイ表示することができ、レポート作成用に可視化データをエクスポートするオプションも用意されています。実験室での顔表情分析（FEA）と比較した場合、オンライン FEA のトレードオフとなるのは、被験者の照明、カメラの画質、頭部の位置に対する制御が制限される点です。これにより、サンプル内のノイズが増加し、データ品質スコアが低下する可能性があります。そのため、被験者への適切な指示と、品質フィルタリングの実施が推奨されます。

これらの要素を適切に考慮することで、iMotionsは従来の実験室の枠を超えた包括的な研究を支援します。この手法についてさらに詳しく知りたい方は、**遠隔での表情分析**がどのように効果的に活用できるかをご覧ください。

現地調査と自然環境

iMotions Labは、研究課題が自然環境（小売、自動車、臨床など）を必要とする場合、ポータブルカメラとノートパソコンを用いた実地でのFEA（行動眼動解析）をサポートします。AFFDEXは、照明や姿勢条件の変化に対する耐性が高く（バージョン2.0でさらに改善）、管理された実験室以外の環境でも実用的な有用性を発揮します。実地でのFEAは、iMotions Labがサポートするモバイル型アイトラッキング機器と組み合わせて使用されることが一般的です。

シミュレータ研究

iMotions Labは、運転、飛行、セーリングのシミュレーター研究をはじめとする各種シミュレーション環境において活用されており、FEA（感情分析）によってドライバーの感情状態（疲労、ストレス、注意散漫）を測定すると同時に、アイトラッキングや生理センサーを用いて注意力や覚醒度を計測しています。

8. 他の治療法との連携

iMotionsにおける表情分析の最大の特徴は、単体の表情コーディングツールと比較して、他の生体計測データや行動データと深く統合されている点にあります。iMotions内のすべてのデータストリームは、統一されたミリ秒単位のタイムスタンプを共有しているため、表情分析（FEA）の出力は、他のすべてのセンサーデータと本質的に位置合わせされています。

アイトラッキング + 有限要素解析

アイトラッキングデータは、被験者がどこをどのくらいの時間見つめているかを記録します。FEAデータは、その瞬間にどのような感情的反応が生じているかを記録します。これらを組み合わせることで、研究者は被験者が刺激要素を見たかどうかだけでなく、注視中にどのような感情的反応が生じたかを特定できるようになります。この組み合わせは、注意（注視）と肯定的または否定的な反応（価値）を区別する必要がある広告調査において、標準的な手法となっています。

EDA/GSR + FEA

皮膚電気活動（EDA）は、ガルバニック皮膚反応（GSR）とも呼ばれ、交感神経系の興奮度を示す指標として皮膚の導電率を測定するものである。FEAの「価値（valence）」が感情反応の方向性を捉え、EDAがその強度を捉えるため、FEAの価値とEDAの興奮度を組み合わせることで、感情のサーカムプレックス・モデルと整合する二次元の感情状態表現を構築することができる。この組み合わせは、メディアテストやUXリサーチにおいて頻繁に用いられている。

EEG + FEA

脳波検査（EEG）は脳の電気的活動を測定し、認知的・情動的処理の指標を提供する（例：接近・回避の動機付けと相関する前頭葉のアルファ波非対称性）。EEGとFEAを組み合わせることで、研究者は（神経活動に反映される）内的に経験される感情状態と、（顔の表情に表れる）外的に表現される感情状態とを区別することができる。これら2つの測定値は必ずしも相関するわけではなく、その乖離自体が有益な情報となる場合がある。

EMG + FEA

顔面筋電図（EMG）は、表面電極を用いて特定の顔面筋（一般的には大頬筋および眉間筋）の電気的活動を測定するものです。査読付き研究により、喜びや怒りの検出におけるAFFDEXの出力が、同じ筋肉の同時EMG測定値と有意な相関関係にあることが確認されています（Frontiers in Psychology, 2020）。 EMGは、カメラによる検出の閾値を下回る可能性のある微細な表情をより高感度で測定できる一方、FEAは、十分な強度の表情に対して、非侵襲的で電極を必要としない代替手段を提供します。

音声解析 + 有限要素解析

iMotionsは、音声プロソディ（音高、声の調子、リズム、エネルギー）から行動的・心理的指標を導き出す独立したモジュールとして、音声分析機能をサポートしています。音声分析をFEAと組み合わせることで、研究者はマルチモーダルな感情表現を研究することが可能になります。例えば、顔と声の感情信号の整合性や不整合性を検出することができ、これはコミュニケーション研究、臨床心理学、および人間とコンピュータの相互作用（HCI）デザインにおいて重要な意味を持ちます。

調査データおよび行動データ + 有限要素解析（FEA）

iMotions を使用すると、タイムスタンプ付きのアンケート回答や行動インタラクションログ（マウスクリック、キーボード入力）を、FEA データと同じタイムラインに埋め込むことができます。これにより、被験者が自ら報告した明示的な感情評価と、暗黙的に測定された顔の感情反応とを直接比較することが可能になります。

9. 業界別ユースケース

市場調査と広告

広告およびコンテンツのテストは、iMotionsのフェイシャルコーディング技術にとって最大の応用分野の一つです。研究者たちはFEA（感情分析）を用いて、広告視聴中の感情的関与度や感情の価値を秒単位で測定し、CMのどの場面が肯定的な反応を引き出し、どの場面が関心の低下や否定的な感情を招くかを特定しています。FEAにより、複数の広告バージョンを客観的な感情比較指標を用いてテストすることが可能となり、従来のダイアルテストに取って代わる、あるいはそれを補完する役割を果たしています。

ユーザーエクスペリエンス（UX）調査

UXリサーチャーは、製品とのインタラクション、ウェブサイトのナビゲーション、アプリのユーザビリティテスト、プロトタイプの評価の際、FEAを用いて感情的な反応を捉えます。FEAは、参加者が口頭では明確に表現できなかったり、事後アンケートでは正確に評価できなかったりするような、フラストレーション（AU 4 + AU 17）、混乱、満足感のシグナルを検出します。特に、感情の強度が低い場合や感情が曖昧な場面において、その効果は顕著です。

学術心理学と感情研究

学術研究者は、感情調節、社会的認知、臨床対象、およびアフェクティブ・コンピューティングに関する研究において、iMotions FEAを用いて、検証済みの刺激セット（IAPS、GAPED、動画クリップ）に対する感情的反応を測定しています。AFFDEXエンジンはFACSに基づいているため、確立された理論的枠組みの中で解釈が可能です。このエンジンは、心理学、神経科学、および人間とコンピュータの相互作用に関する数千件の査読付き論文で引用されています。

医療および臨床研究

FEAは、うつ病、自閉症スペクトラム障害、パーキンソン病、PTSDなど、顔の表情や動作に影響を及ぼす疾患を持つ対象群における感情表現を評価するために、臨床研究で用いられています。FEAは、被験者による自己申告や侵襲的な処置を必要としない、客観的で負担の少ない測定ツールです。iMotions FEAは、患者の診断、治療経過のモニタリング、および心理評価研究を支援するために活用されています。

教育研究

教育研究者は、FEA（感情分析）を用いて、学習中の生徒の感情的な関与度を定量化し、教材に対するフラストレーション、混乱、あるいは興味といった反応の瞬間を特定しています。iMotionsにおいてFEAとアイトラッキングを組み合わせることで、生徒の視線と感情的な反応を同時に測定することが可能となり、これらは指導設計やコンテンツの最適化に役立てられています。

自動車およびドライバーのモニタリング

自動車分野の研究者は、FEAを用いてドライバーの居眠り、注意散漫、および精神的ストレスの状態を検知しています。AFFDEX 2.0が持つ頭部姿勢推定およびマルチフェイストラッキング機能は、シミュレーターや車載環境での研究において特に有用です。iMotions FEAは、ドライバーの安全性に関する研究において、心電図（ECG）、呼吸、およびアイトラッキングのデータと併せて活用されています。

人間とコンピュータの相互作用（HCI）

HCIの研究者たちは、FEAを用いて、インターフェース、対話型エージェント、ロボット、およびAIシステムに対する感情的な反応を評価しています。FEAは、タスク完了時間やエラー率といった従来のユーザビリティ指標では得られない、瞬間ごとの感情的なフィードバックを提供します。

10. 従来の方法に対する利点

自己申告式調査と比較して

自己報告式調査は、遡及的かつ意識的にアクセス可能で、言語的に表現できる評価を測定するものである。一方、FEAは、無意識的、言語化以前、あるいは内省的なアクセスの閾値を下回る反応を含め、発生したその瞬間の感情的反応を測定する。FEAは、事後的な合理化、社会的望ましさバイアス、および記憶の誤りといった、自己報告法における既知の限界の影響を受けない。調査とは異なり、FEAは単一の集計評価ではなく、連続的な時系列データを提供する。

手動によるFACSコーディングと比較して

手動によるFACSコーディングには、高度な認定を受けた訓練済みのコーダーが必要であり、非常に時間がかかり（1分間の動画に対して数時間のコーディング作業を要する場合もある）、評価者間の信頼性に関する懸念も生じます。 iMotionsの自動表情分析は、同等またはそれ以上のコーディング速度（リアルタイム）を実現し、コーダーの疲労やバイアスに左右されない一貫した出力を提供するとともに、大規模な運用において参加者1人あたりのコストを低減します。一方、手動コーディングには、AFFDEXのトレーニングセットでは捕捉できない、稀なまたは微妙なAU（表情単位）の構成に対する感度という利点が残されています。

ダイヤルテストとの比較

ダイヤルテストでは、参加者に物理的なダイヤルを絶えず回転させ、その瞬間の好みや関与度を示すよう求めますが、これにより二重課題の負荷が生じ、それ自体が感情的な反応に影響を与える可能性があります。一方、FEAでは参加者に意識的な作業を求めず、回答形式による歪みなしに表情を捉えることができます。

顔面筋電図と比較して

顔面筋電図検査では、被験者の顔に電極を装着する必要があり、これは侵襲的で不快感を伴う上、それ自体が感情表現に影響を与える可能性があります。筋電図（EMG）は、その性質上、電極が装着された特定の筋肉に限定されます。一方、iMotionsを用いた顔面表情解析（FEA）では、カメラのみが必要であり、被験者は画面の前に座るだけで済み、それ以上の負担は生じません。また、視認可能な顔全体の表面を同時に追跡します。十分な強度の表情については、検証済みの研究により、喜びや怒りの検出において、FEAの出力がEMGの出力と同等であることが確認されています。

11. 制限事項および留意点

「表現」と「経験」の区別

表情分析は、感情体験の行動的表出である顔の筋肉の動きを測定するものであり、内面の感情状態を直接測定するものではない。表情と内面の主観的な感情は関連しているが、別個の概念である。被験者は、目に見える表情を見せずに強い感情的反応を経験する場合（表情を隠している場合）もあれば、内面の状態を反映しない社会的理由から顔の動きを示す場合もある。したがって、表情分析は「表出された感情」の尺度として解釈されるべきであり、「感じられた感情」の直接的な読み取り値として解釈されるべきではない。

照明とカメラの画質への依存

AFFDEXでは、信頼性の高い顔認証（AU）および感情分類を行うために、適切かつ安定した照明環境が必要です。照明条件が不安定な場合（逆光、強い影、急激な照度の変化など）は、検出精度が低下します。オンライン調査や実地調査では、研究者が照明を制御できないため、データのノイズが増加します。品質スコアのフィルタリング（閾値以下の品質スコアを持つフレームや被験者を除外すること）は、一般的な対策として用いられています。

ヘッドポーズの制約

AFFDEX 2.0は、正面以外の頭の向きに対する性能が向上した一方で、極端な横方向の回転、あごを下に向けた姿勢、あるいはあごを上げた姿勢では、ランドマーク検出の信頼性が低下し、AU検出の精度も低下します。画面上の刺激から頻繁に視線を外す参加者は、その間、顔追跡の品質が低下します。

文化的・人口統計学的一般化可能性

AFFDEXのトレーニングデータセットは複数の人口統計学的グループを網羅しているが、AUの組み合わせと感情カテゴリーの対応付けは、主にエックマンの「基本感情の普遍性」理論に基づいている。この理論は、異文化心理学の文献において批判を受けてきたものである。したがって、感情表現の規範がトレーニングデータに表されているものとは異なる集団を研究対象とする研究者は、結果を解釈する際に適切な注意を払い、補足的な自己報告による検証を検討すべきである。

覚醒度の推定における限界

FEAから導出されるエンゲージメントは、EDA/GSRやEEGによって測定される生理的覚醒と同等ではありません。表情チャンネルは目に見える表情を捉えるものの、生理的覚醒を構成する自律神経系の活動までは捉えていません。覚醒の測定を必要とする研究者は、FEAのエンゲージメントスコアだけを覚醒の代用指標として依存するのではなく、FEAをEDA/GSRと組み合わせて使用すべきです。

低強度および自発的発現の感度

AFFDEXを含むカメラベースのFEAシステムは、微妙で強度の低い自発的な表情よりも、意図的に作られた表情や明確に表現された感情に対して、より正確な性能を発揮する。感情反応が穏やかであったり、一瞬しか表れないような自然環境下での研究においては、FEAは真の感情反応を検出しきれない可能性がある。一方、顔面筋電図（Facial EMG）は、表情の強度が非常に低い場合でも、感度面での優位性を維持している。

12. 表情分析と代替手法の使い分け

研究シナリオ	推奨される治療法
被験者に負担をかけない、客観的なリアルタイム感情追跡	FEA（iMotions AFFDEX）
低強度または微細な表情の検出	顔面筋電図（またはFEAと筋電図の併用）
自律神経の覚醒度の測定	EDA/GSR
表情とは無関係な内面の感情状態	脳波（前頭部のアルファ波非対称性）
明確かつ意図的な選好や評価	自己申告式アンケート
視覚刺激への瞬間ごとの関与	FEA + アイトラッキング
遠隔・大規模・拡張可能な感情調査	iMotions Online（ウェブカメラFEA）
最大限のマルチモーダルデータを用いた高精度な実験室研究	iMotions Lab（FEA + EEG + GSR + ET）
有限要素法（FEA）による検証が不十分な文化的または人口統計学的背景	自己報告＋FEA（三角測量法）

iMotionsにおける表情分析は、以下の場合に最も適しています：(a) 研究課題において、時間の経過に伴う感情表現を客観的かつ被験者に負担をかけずに測定する必要がある場合；(b) 遡及的バイアス、意識的なアクセス制限、または回答形式の制約により、自己報告による測定では不十分な場合；(c) ミリ秒単位の精度で、刺激と反応の同期データが必要な場合；および(d) 他の行動的または生理学的信号とのマルチモーダル統合が望ましい場合。

13. データプライバシーと倫理的配慮

顔表情データは生体認証データに該当し、欧州連合（EU）の一般データ保護規則（GDPR）や米国の各州の規制など、多くの法域においてデータ保護規制の対象となります。iMotions FEAを研究目的で利用する場合は、所属機関のIRB（研究倫理審査委員会）または倫理委員会の承認を得る必要があり、顔表情動画データの収集、保存、分析について、参加者から明確なインフォームド・コンセントを取得しなければなりません。

iMotions Labのローカル処理アーキテクチャにより、通常の運用においては、参加者の顔映像およびそこから導出されたFEA指標は、AffectivaやiMotionsのサーバーには送信されません。データは研究者が管理する環境内に留まります。研究者は、所属機関のデータガバナンス要件に準拠した、映像記録の保存および匿名化に関する方針を策定する必要があります。

14. よくある質問：iMotionsにおける表情分析

表情分析ソフトウェアとは何ですか？

表情分析ソフトウェアとは、動画入力から顔の筋肉の動きを自動的に検知・追跡・分類し、感情や表情の定量的な指標を導き出す、コンピュータビジョンおよび機械学習のアプリケーションを指します。iMotionsは、学術研究および商業研究の分野において、この種のソフトウェアの代表的な例であり、その目的のためにAffectiva社のAFFDEXエンジンを統合しています。

Affectiva AFFDEXとは何ですか？また、iMotionsとはどのような関係にあるのでしょうか？

Affectiva AFFDEXは、Affectiva（現在はiMotionsの一部門）が開発した独自のAIエンジンであり、Facial Action Coding System（FACS）に基づいて顔表情の自動分析を行います。iMotionsは、研究用途向けのAFFDEX In-Lab SDKの独占販売代理店であり、AFFDEXをFEAモジュールとしてiMotions LabおよびiMotions Onlineプラットフォームに直接統合しています。

iMotionsは、専用のハードウェアがなくても表情分析を行うことができますか？

はい。iMotions FEAでは、標準的なウェブカメラ（最低720p、30fps以上が推奨）のみが必要です。FEAのみを行う場合、専用の生体センサーハードウェアは不要です。このモジュールは、iMotionsの標準システム要件を満たすWindowsコンピュータ上でローカルに動作します。データ収集中はインターネット接続は必要ありません。

iMotionsは、表情分析を用いてどのような感情を検知するのでしょうか？

AFFDEXを用いたiMotions FEAは、喜び、怒り、恐怖、驚き、悲しみ、軽蔑、嫌悪の7つの基本感情を検出します。AFFDEX 2.0では、さらに感傷と混乱も検出されます。また、ヴァレンス、エンゲージメント、3D頭部姿勢などを含む複合指標も算出されます。

iMotionsのフェイシャルコーディングにおいて、「アクションユニット」とは何ですか？

アクションユニット（AU）とは、顔面動作コーディングシステム（FACS）において、個々の顔面筋群の活性化を表す個別のコードとして定義されています。iMotions FEAは、動画の1フレームあたり最大20個のAUについて強度スコアを出力します。AUスコアは、高レベルの感情分類よりも基礎的な、きめ細やかで力学的に解釈可能なデータを提供し、特定の顔面動作のカスタム分析に活用することができます。

iMotionsは、録画済みの動画に対して表情分析を行うことはできますか？

はい。iMotions Labでは、後処理用FEAのための動画のインポートに対応しています。研究者は、iMotions以外で収集された顔の動画データ（実地調査、臨床セッション、または過去の研究など）をインポートし、インポートした映像に対してAFFDEX解析を実行することができます。出力タイミングは、動画のタイムラインを基準としています。

iMotions Onlineにおけるウェブカメラを使った表情分析は、実験室での分析とどのように異なるのでしょうか？

iMotions Onlineは、ブラウザインターフェースを介して参加者のウェブカメラを利用しFEAを実施するため、参加者が移動したり実験室に足を運んだりする必要がなく、遠隔での研究が可能となります。実験室でのFEAとの主な違いは、照明、カメラの画質、および参加者の位置に対する制御が制限される点にあり、これによりデータのノイズが増加する可能性があります。こうした違いを軽減するためには、適切な品質フィルタリングと参加者への指示を行うことが推奨されます。

iMotionsの表情分析は、査読付き研究によって検証されていますか？

はい。AFFDEXおよびiMotions FEAについては、数多くの査読付き検証研究が行われています。『Behavior Research Methods』（Lewinski et al., 2014; Stöckli et al., 2018）や『Frontiers in Psychology』（Beringer et al., 2020）などの学術誌に掲載された研究では、標準化された刺激セットを用いてAFFDEXの分類精度を評価し、FEAの出力を顔面筋電図（EMG）測定値と比較しています。その結果、明確に表現された感情に対するFEAの出力は、EMGに基づく測定値と同等であることが確認されています。AFFDEXエンジンは、7,000件以上の学術論文で引用されています。

参考文献および関連文献

Ekman, P., & Friesen, W. V. (1978). 『顔面行動コーディングシステム』. Consulting Psychologists Press.
Lewinski, P., den Uyl, T. M., & Butler, C. (2014). 自動顔面コーディング：FaceReaderにおける基本感情およびFACS AUの検証. Journal of Neuroscience, Psychology, and Economics.
Stöckli, S., Schulte-Mecklenbeck, M., Borer, S., & Samson, A. C. (2018). AFFDEXおよびFACETを用いた表情分析：検証研究. Behavior Research Methods, 50(4), 1446–1460.
Beringer, M. ほか (2020). 感情の表情を識別するためのAffectiva iMotions表情分析ソフトウェアと筋電図（EMG）の比較。Frontiers in Psychology, 11, 329.
Bishay, M., Preston, K., Strafuss, M., Page, G., Turcot, J., & Mavadati, M. (2025). AFFDEX 2.0: リアルタイム表情分析ツールキット. iMotions ドキュメントライブラリ.
ラッセル, J. A. (1980). 感情のサーカムプレックス・モデル. 『Journal of Personality and Social Psychology』, 39(6), 1161–1178.

iMotionsにおける表情分析：技術・研究の総合ガイド

概要

Table of Contents