『サウンドとクリエイティブ・テスティング：AIを活用した感情認識が明らかにする映画に対する観客の反応』は、AI技術が提供する知見を通じて、観客が映画にどう反応するかを解明する。本分析は、映画に対する観客の感情を読み解く上で感情認識が持つ力を示しており、映画製作者や業界関係者にとって貴重な視点を提供する。
Table of Contents
黒板を爪で引っかくような甲高い音から、目を閉じて波が岸に打ち寄せる音を聞く瞬間まで、音は私たちの感情に深い影響を与えます。しかし、研究者が映像コンテンツを視聴している人々の感情を理解しようとするとき、従来の調査手法では、選りすぐられた音楽、ナレーション、効果音がもたらす感情的な影響が見落とされがちです。
これはある程度理解できることだ。多くの調査手法において、洞察は、消費者が体験したばかりのクリエイティブコンテンツについて、自らの言葉でどう表現するかから導き出されるものだからだ。
このような視聴者の感情を分析することで得られる価値を軽視すべきではないが、参加者がコンテンツについて十分に考察し、その内容を自分の言葉で研究者に伝えた後の反応のみに焦点を当ててしまうと、私たちの理解は限定的なものになってしまう。
視聴者は当然ながら、自分の見たものを基準にその体験を表現するため、音楽や音声が及ぼす重要な影響が過小評価されたり、分析や最適化の過程で軽視されたりしがちです。私たちが創造的な刺激をどのように処理するかという「脳全体の全体像」を解明できなければ、視聴者のフィルターのかかっていない感情的な反応に影響を与える上で、音が果たす役割を見極めることはできません。
この課題に直面した、受賞歴のあるインディペンデント映画監督クリスチャン・ウェンガーは、SFドラマにおける感情分析の中心に「音」を据えるべく、Affectivaと提携しました。この短編映画は、健康、死、資源の不足、そして「人間であること」の意味といった実存的なテーマが掘り下げられる、極めてディストピア的な世界を舞台にしています。ご興味のある方は、こちらから映画の全編をご覧いただけます。
クリスチャン・ウェンガーによる『Three Pills』 – Vimeo
緊張感の高まりや、強烈な臨場感を伴う瞬間が織りなす、儚くも鮮烈な鑑賞体験を実現するためには、感覚的な刺激を引き出すことのできるテスト環境が必要でした。そうすることで、この映画が伝えようとしているメッセージの深みやニュアンス、そして幅広い感情を、最終的に十分に引き出すことができるのです。
サウンドとクリエイティブのテスト：視聴者の共感を引き出す
この短編映画の成功の鍵となったのは、意図した暗く重苦しい雰囲気と感情的なトーンを確立したことでした。本作では「ボディスキャン」の映像（下記参照）が用いられており、これにより観客は未来における「健康」や「高齢化」というテーマを理解するだけでなく、主人公の苦境を真に感じ取り、共感できるようになっています。焦点が当てられた登場人物の極めて個人的な体験や内省を通じて、より広範なテーマが伝えられているのです。 クリスチャンは、Affectivaの技術を用いて、「スキャナー」の耳障りな効果音が、視聴者の集中を断ち切り、注意をそらしてしまうかどうかを把握したいと考えていました。
人類の未来はどのようなものになるのでしょうか？ 受賞作『Three Pills』の短編映画に登場する「スキャナーのシーン」
アフェクティバのアプローチ：AIを活用した感情認識技術が、より感情豊かな編集版の選定にどのように役立ったか
アフェクティバのAIを活用した感情認識技術は、映画内の重要な感情的な瞬間を特定・分析し、最も感情的なインパクトのある編集シーンを選定するための不可欠なツールとして位置づけられた。
映画の観客たちは、自宅の快適な環境で、各自が選んだデバイスを使って映画を鑑賞しました。アフェクティバ社の技術は、鑑賞体験の全過程に目立たない形で導入され、映画鑑賞中の顔の動きを分析することで、複雑で微妙な感情や認知状態を把握しました。
具体的には、映像的には全く同じ2つの編集版を用いて、サウンドトラックや音響効果の影響を検証した。一方の編集版には「スキャナー」から発せられる非常に臨場感あふれる効果音が含まれていたが、もう一方のテスト映像からはこれが除外されていた。
サウンドおよびクリエイティブのテスト – 行動指向の成果：
当社の「瞬間ごとの」レポートと可視化分析により、短編映画の各場面で感じられた感情の強度の幅と深さが明らかになりました。これにより、映画全体を通じて「怒り」を最も強く感じたのは年配の男性であるといった、重要なデモグラフィック上の微妙な違いを特定することができました。これは、視聴者の背景によって「共感」の表れ方が異なるという事実を示唆するものです。
しかし、我々の分析から得られた重要な知見によると、スキャナーから発せられる不快で不安を煽るような効果音は、実際には視聴者との結びつきを強め、より高い精神的負荷（眉をひそめる動作）を引き起こしており、これは映画製作者の意図と合致するものであった。
音声によって意図的に植え付けられた不快感は、視聴者が必ずしも口にするようなものではなかった。期待や文化的規範、あるいは表現できること・表現したいことにとらわれることなく、視聴者がその一瞬一瞬にどう感じていたかは、AffectivaのAI駆動型感情認識技術によってのみ把握することができた。
結局、この映画はベルリンSF映画祭で権威ある最優秀監督賞を受賞することとなった。
結論：音と創造的なテストを通じて創造性を支えるテクノロジー
AIを活用した感情認識技術は、映画やエンターテインメントコンテンツに対する視聴者の反応について、確かな知見をもたらします。さまざまな視聴者がどのように反応するかを深く理解することで、クリエイティブな開発を真に導き、支える感情的なインサイトを引き出します。これにより、コンテンツ制作者は、人々を一か所に集める必要なく、幅広い視聴者を対象にストーリー展開を調査・最適化することが可能になります。