Tests sonores et créatifs : ce que la reconnaissance des émotions basée sur l'IA nous apprend sur la réaction des spectateurs face à un film

« Tests sonores et créatifs : ce que la reconnaissance des émotions par l’IA révèle sur la réaction des spectateurs face à un film » explore les enseignements tirés de la technologie de l’IA pour comprendre comment le public réagit aux films. Cette analyse met en évidence la puissance de la reconnaissance des émotions pour décrypter les sentiments des spectateurs à l’égard des films, offrant ainsi des perspectives précieuses aux cinéastes et aux professionnels du secteur.

Du crissement des ongles sur un tableau noir au simple fait de fermer les yeux pour écouter les vagues se briser sur le rivage, les sons ont une influence profonde sur ce que nous ressentons. Cependant, lorsque les chercheurs tentent de comprendre ce que ressentent les spectateurs lorsqu’ils regardent un film, les méthodes de recherche traditionnelles peuvent passer à côté de l’impact émotionnel que peuvent avoir une musique, une narration et des effets sonores bien choisis. 

Cela est tout à fait compréhensible, car dans de nombreuses approches de recherche, les conclusions s’appuient sur la manière dont les consommateurs décrivent, avec leurs propres mots, le contenu créatif qu’ils viennent de découvrir. 

Nous ne devons certes pas négliger la valeur que peut apporter l’analyse de ces réactions des spectateurs, mais en nous concentrant exclusivement sur les réponses des participants après qu’ils ont mûrement réfléchi au contenu ET qu’ils l’ont ensuite restitué aux chercheurs avec leurs propres mots, nous limitons notre compréhension. 

Les spectateurs ont naturellement tendance à fonder leurs descriptions sur « ce qu’ils ont vu », ce qui signifie que l’influence déterminante de la musique ou de l’audio peut être sous-estimée, voire négligée, dans les analyses et les optimisations. En ne saisissant pas « l’ensemble du processus cérébral » qui régit notre traitement des stimuli créatifs, nous ne pouvons pas discerner le rôle que joue le son dans la réponse émotionnelle brute des spectateurs.

Ce défi a poussé Christian Wenger, cinéaste indépendant primé, à s’associer à Affectiva afin de placer le son au cœur des tests émotionnels réalisés pour un drame de science-fiction. Ce court-métrage dépeint un univers profondément dystopique, où sont explorés des thèmes existentiels tels que la santé, la mort, la pénurie et ce que signifie être humain. Si cela vous intéresse, vous pouvez visionner le film dans son intégralité ici.

« Three Pills » de Christian Wenger sur Vimeo.

Une expérience visuelle éphémère, ponctuée de montées en puissance et de moments très intenses, nécessitait un cadre de projection capable de susciter des réactions sensorielles, afin de rendre pleinement justice aux sous-entendus, aux nuances et à la palette d’émotions que le film cherchait à transmettre.

Tests sonores et créatifs : susciter l’empathie du public 

La réussite du film reposait essentiellement sur la mise en place de l’atmosphère sombre et de la tonalité émotionnelle voulues pour ce court-métrage. Le film comportait des images illustrant le « scan corporel » (voir ci-dessous), afin que le spectateur comprenne non seulement les thèmes de la « santé » et du « vieillissement » dans le futur, mais aussi qu’il ressente véritablement et s’identifie au calvaire du protagoniste. Les thèmes plus généraux étaient véhiculés à travers l’expérience et les réflexions profondément personnelles du personnage central. Christian souhaitait utiliser la technologie Affectiva pour déterminer si les effets sonores discordants du « scanner » risquaient de déconnecter et de distraire les spectateurs. 

À quoi ressemble l’avenir de l’humanité ? Les « scènes de scanner » tirées du court-métrage primé « Three Pills » 

L’approche d’Affectiva : comment la reconnaissance des émotions basée sur l’IA a permis de sélectionner le montage le plus émouvant

La technologie de reconnaissance des émotions basée sur l’IA d’Affectiva a été identifiée comme l’outil essentiel pour mettre en évidence et identifier les moments émotionnels clés du film, afin de sélectionner le montage le plus percutant sur le plan émotionnel. 

Les spectateurs ont regardé le film depuis le confort de leur domicile, sur l’appareil de leur choix. La technologie Affectiva a été déployée de manière discrète tout au long des séances de visionnage, afin de comprendre des émotions et des états cognitifs complexes et nuancés en analysant les mouvements faciaux pendant le visionnage. 

Plus précisément, l’impact de la bande-son et des effets sonores a été étudié en testant deux montages visuellement identiques : alors que l’un comprenait un effet sonore très intense provenant du « scanner », celui-ci avait été supprimé du deuxième montage test.

Évaluation des compétences sonores et créatives – Résultats axés sur l’action : 

Nos rapports et visualisations « en temps réel » ont mis en évidence l’ampleur et la profondeur de l’intensité émotionnelle ressentie à chaque instant du court-métrage. Cela a permis de mettre en évidence des nuances démographiques importantes, comme le fait que ce sont les hommes plus âgés qui ont ressenti le plus de « colère » tout au long du film. Cela souligne le fait que l’« empathie » s’exprime différemment selon le profil des spectateurs.

Cependant, le principal résultat de notre analyse a montré que les effets sonores désagréables et déconcertants émis par le scanner renforçaient en réalité l’implication des spectateurs, qui fournissaient un effort mental plus intense (froncement de sourcils), ce qui correspondait à l’intention du réalisateur. 

Le malaise délibérément suscité par la bande sonore n’était pas forcément un sujet dont les spectateurs auraient parlé. Ce qu’un spectateur ressentait à chaque instant, sans être influencé par ses attentes, les normes culturelles ou ce qu’il est capable ou disposé à exprimer, ne pouvait être perçu que grâce à la technologie de reconnaissance des émotions basée sur l’IA d’Affectiva. 

Finalement, le film a remporté le prestigieux prix de la meilleure réalisation au Festival du film de science-fiction de Berlin.

En résumé : une technologie au service de la créativité grâce au son et à des tests créatifs

La technologie de reconnaissance des émotions basée sur l’IA permet d’obtenir des informations précieuses sur les réactions des spectateurs face aux contenus cinématographiques et de divertissement. Elle offre une compréhension approfondie de la manière dont réagissent les différents publics, révélant des informations émotionnelles qui guident et soutiennent véritablement le développement créatif. Cela permet aux créateurs de contenu d’étudier et d’optimiser leur narration auprès d’un large public, sans avoir à rassembler les gens dans un lieu central.