Découvrez comment une étude de validation à grande échelle a permis de tester WebET 3.0, le système de suivi oculaire par webcam d’iMotions, auprès de participants du monde entier et dans des conditions d’utilisation en ligne réelles.
Table of Contents
Dans le cadre de la mise à jour générale de toutes nos fonctionnalités de collecte de données à distance, et à l’approche du lancement d’iMotions Online, notre première plateforme d’analyse comportementale entièrement accessible via un navigateur, nous lançons la dernière version de notre algorithme d’oculométrie par webcam : WebET 3.0. À cette fin, nous avons décidé de mettre cet algorithme à l’épreuve à travers la plus grande étude de validation de l’histoire d’iMotions, qui est également la plus grande étude de validation jamais réalisée dans le domaine de l’oculométrie par webcam.
Dans cet article, nous passons en revue les résultats de l’étude de validation, en examinant la précision selon les caractéristiques démographiques, les conditions d’éclairage, les problèmes de connectivité et au sein des zones d’intérêt (AOI). À l’issue de cette lecture, les personnes intéressées par notre algorithme propriétaire de suivi oculaire par webcam et par iMotions Online devraient avoir une meilleure idée du niveau de précision du logiciel.
Remarque concernant les citations et les sources.
Certaines parties de cet article sont tirées du rapport de validation de l’étude d’oculométrie par webcam, disponible ici, tandis que d’autres sont extraites du livre blanc sur l’oculométrie par webcam, téléchargeable ici.
Qu’est-ce que l’oculométrie par webcam ?
L’oculométrie par webcam utilise une webcam standard pour suivre et analyser les mouvements oculaires et les schémas de regard. Grâce à des algorithmes de vision par ordinateur, elle offre une approche économique et accessible de l’oculométrie, trouvant des applications dans les neurosciences, la recherche, les jeux vidéo et l’interaction homme-machine sans nécessiter de matériel spécialisé.
Pourquoi faut-il toujours valider les algorithmes ?
Si nous avons décidé de mener l’étude de validation la plus vaste et la plus diversifiée sur le plan démographique de l’histoire d’iMotions, c’est parce que la validation des algorithmes revêt une importance capitale pour garantir leur fiabilité, leur efficacité et leur utilisation éthique.
Ces études jouent un rôle crucial dans l’évaluation des performances de l’algorithme, l’identification de ses éventuels biais ou lacunes, ainsi que la validation de ses fonctionnalités prévues. En soumettant les algorithmes à des processus de validation rigoureux, nous pouvons évaluer leur précision, leur robustesse et leur capacité de généralisation sur différents ensembles de données et dans divers scénarios.
De plus, les études de validation permettent de mettre en lumière d’éventuelles conséquences imprévues, telles que des biais algorithmiques ou des résultats discriminatoires, ce qui nous permet de traiter et de corriger ces problèmes. En fin de compte, la réalisation d’études de validation renforce la confiance dans les systèmes algorithmiques, améliore la transparence et favorise un déploiement responsable, ce qui contribue à instaurer la confiance parmi les utilisateurs et les parties prenantes tout en minimisant les risques potentiels et les impacts négatifs.
Une autre raison importante de valider les algorithmes, en particulier ceux conçus pour la collecte de données, est que cela pourrait apporter un éclairage nouveau sur les conclusions du livre blanc. Alors qu’un livre blanc évalue en détail les facteurs susceptibles d’influencer, dans ce cas précis, l’oculométrie par webcam, une étude à grande échelle, telle qu’une étude de validation, permet aux chercheurs de déterminer à quoi ressemblerait un échantillon représentatif, et de déterminer lesquels des facteurs isolés dans le livre blanc s’estompent dans un échantillon de grande taille et lesquels sont plus susceptibles de s’amplifier.
Méthodologie, collecte des données et résultats
Nous avons cherché à répondre à cinq questions qui, nous le savons, revêtent une importance capitale pour l’ensemble de nos utilisateurs à travers le monde, et à déterminer comment ceux-ci peuvent tirer profit de notre fonctionnalité de suivi oculaire par webcam. Dans cette section, nous examinons la manière dont nous avons mené cette étude, collecté nos données et ce que nous avons pu en tirer.
Objectif de l’étude et méthodologie
Plusieurs raisons nous ont poussés à tenir absolument à mener l’étude de validation la plus vaste possible. La plus importante était bien sûr de vérifier la précision du suivi oculaire par webcam, mais cela ne se limitait pas à cela.
Nous voulions nous assurer de lancer un algorithme, et par conséquent une plateforme, pouvant être utilisé partout dans le monde sans biais algorithmique – un écueil courant, en particulier avec les méthodologies centrées sur l’humain. C’est pourquoi nous avons validé notre algorithme auprès d’un groupe de participants véritablement mondial et représentatif, couvrant l’origine ethnique, le sexe, l’âge et d’autres facteurs tels que le port de lunettes ou la présence ou non de poils faciaux – autant de facteurs susceptibles de perturber le processus de collecte de données pour de nombreux algorithmes d’oculométrie en ligne.
Le processus de collecte de données à distance
À l’issue de l’étude, après une durée totale de 35 jours, nous avions recueilli les données de 255 participants. Afin de reproduire le processus que la plupart de nos clients utilisent pour recruter des participants en ligne, nous avons recueilli ces données via nos propres listes de diffusion externes, par le biais d’e-mails ciblés géographiquement et par l’intermédiaire d’un fournisseur de panels rémunérés, Prolific.
Le processus même consistant à inciter les gens à participer à l’étude nous a permis de tirer des enseignements intéressants sur la collecte de données, qui pourraient s’avérer utiles pour ceux qui envisagent de mener des collectes de données à distance. Tout d’abord, nous avons constaté que lorsque l’on compte sur la bonne volonté des participants pour répondre à l’étude, la majorité d’entre eux abandonnent avant d’avoir terminé.
Nous avons diffusé la première vague d’invitations à participer à l’étude via notre newsletter mensuelle, et le taux d’abandon s’est élevé à 2 pour 1 en défaveur de la participation. Par la suite, nous avons tenté de cibler géographiquement des groupes démographiques en Asie et en Asie centrale par e-mail, ce qui a donné de meilleurs résultats ; toutefois, le taux d’abandon restait élevé. Finalement, nous avons décidé de faire appel à un prestataire de panels payant, Prolific, ce qui nous a permis d’atteindre notre objectif de représentation mondiale à travers les différents groupes démographiques.
Le résultat de ce processus n’avait donc rien de nouveau pour nous. Les retours de nos clients indiquaient déjà que l’abandon de l’étude, et le sur-recrutement qui en découle, constituent une réalité inévitable de la collecte de données à distance, qu’il faut accepter et à laquelle il faut se préparer. Ce qui nous a surpris, c’est que le taux d’abandon ait été aussi élevé.
Nous avions supposé que les personnes qui s’étaient abonnées à notre newsletter seraient également enclines à participer à l’étude par intérêt pour le sujet. Cependant, la réalité est que les participants n’ont aucune motivation à persévérer s’ils ne trouvent pas l’étude enrichissante ou s’ils ne reçoivent pas de récompense d’une manière ou d’une autre. C’est pourquoi, lorsque les participants ont été rémunérés, nous avons obtenu toutes les données dont nous avions besoin.
Résultats de l’étude de validation
Dans cette section, nous allons passer en revue les résultats de notre étude de validation, dont nous avons parlé plus haut. Seules les principales conclusions seront présentées dans cet article. Si vous souhaitez consulter le rapport dans son intégralité, vous pouvez le télécharger ici.
Question 1 – Quelle est la distribution de la précision d’un ensemble de données collectées avec WebET 3.0 ?
Comme mentionné précédemment, la validation de l’oculométrie repose principalement, voire exclusivement, sur la précision. Dans un souci de validation de la précision, nous avons décidé de fixer un seuil strict de 5,5 degrés de précision (DVA) comme limite supérieure pour les données acceptables. Toutes les données inférieures à 5,5 DVA ont été considérées comme « précises ». Il s’agit là de notre recommandation générale à l’intention de tous les clients utilisant l’eye tracking par webcam, sur la base de notre livre blanc, car nous estimons que la grande majorité des participants se situera bien en dessous de ce seuil.
Pourquoi est-il important d’avoir un faible DVA en eye tracking ?
En eye tracking, la précision est mesurée en « DVA », acronyme de « Degrees of Visual Angle » (degrés d’angle visuel). Ce terme désigne la distance angulaire entre deux points du champ visuel. En eye tracking, un faible DVA signifie que le système de suivi oculaire est capable de déterminer la direction du regard avec une grande précision, même pour de très légers mouvements oculaires. Vous ne regardez qu’un seul endroit à la fois sur un écran, et c’est à l’oculomètre de déterminer où il se trouve. Ainsi, plus la zone dans laquelle il peut le faire est petite, mieux c’est – et c’est le signe d’un oculomètre précis.
Sur les 255 participants recensés, 235, soit 92 %, se situaient en dessous du seuil de 5,5 DVA. Mieux encore, 70 %, soit 179 participants, se situaient en dessous de 3,0 DVA. Ce niveau de précision est très satisfaisant et confirme sans conteste que les capacités de suivi oculaire par webcam d’iMotions sont à la pointe de la technologie dans le secteur.
Remarques sur les indicateurs de précision.
Si le domaine de l’oculométrie est bien établi et s’est développé depuis plus d’un siècle, il est important de noter que celui de l’oculométrie par webcam est très récent. Cela signifie qu’aucun consensus n’a encore été clairement établi entre les entreprises qui développent les différents logiciels en matière de présentation des indicateurs de performance. Il en résulte donc de nombreuses variations dans la manière dont la précision est communiquée, ce qui peut être source de grande confusion lorsqu’il s’agit de déterminer quelle solution correspond le mieux à ses besoins individuels.
Chez iMotions, nous nous appuyons sur une solide expérience dans le domaine de l’eye tracking « classique » (sur écran et avec des lunettes) ; c’est pourquoi nous avons délibérément choisi d’adopter l’unité de mesure de précision communément admise, à savoir les « degrés d’angle visuel » (DVA), comme critère de précision.
Cela s’accompagne toutefois d’un certain nombre de considérations. Lorsque vous diffusez des enquêtes en ligne, vous n’avez aucun moyen de vérifier que vos participants suivent bien les consignes fournies dans les instructions de l’enquête. Il n’existe aucun moyen de mesurer la distance entre un participant et l’écran, ce qui signifie que pour réussir à collecter des données, vous devez émettre une hypothèse concernant cette distance qui s’applique à la plupart des cas de figure. Cela entraînera inévitablement des écarts inconnus. C’est pourquoi cette étude de validation rend également compte de plusieurs angles, vous permettant ainsi de prendre une décision éclairée.
Question 2 – Les variables individuelles et démographiques ont-elles une incidence sur la précision ?
Un autre aspect essentiel de l’étude de validation consistait à vérifier si la précision de l’algorithme restait la même pour l’ensemble d’une série de variables démographiques clés. Il s’agissait notamment de variables telles que l’origine ethnique, le sexe, l’âge, la couleur des yeux, ainsi que la présence ou non de poils sur le visage ou le port de lunettes chez les participants.
Il est essentiel que tous ces paramètres soient d’une grande précision, car cela détermine si l’algorithme de suivi oculaire basé sur une webcam peut être utilisé partout dans le monde, indépendamment de la couleur de peau, de la couleur des yeux, de l’âge et du sexe. Ces paramètres sont également essentiels pour nos utilisateurs, qui travaillent souvent dans des environnements où plusieurs des variables susmentionnées sont constamment présentes au sein des groupes de participants.
À l’issue de l’analyse des données, il nous est apparu clairement que notre algorithme conservait bel et bien sa précision indépendamment des variables démographiques. En résumé, une étude portant sur des échantillons plus importants, comme celle-ci, n’a révélé aucune différence significative liée à l’origine ethnique déclarée par les participants, à la couleur de leurs yeux, à la présence ou non de poils sur le visage, ni à leur sexe ou à leur âge.
Le seul paramètre ayant eu une incidence sur la précision de l’étude était le fait que les participants portaient ou non des lunettes. Cela pourrait s’expliquer par l’épaisseur des verres ou par le fait que la façon dont ceux-ci reflétaient la lumière de l’environnement et de l’écran pendant la collecte des données pouvait créer des interférences dans l’identification précise de l’iris. Le fait que les participants portent ou non des lunettes peut donc être un facteur à prendre en compte lors de la réalisation d’un suivi oculaire par webcam.
Question 3 – Dans quelle mesure l’éclairage influe-t-il sur la précision ?
L’un des inconvénients de la collecte de données à distance réside dans l’impossibilité de contrôler l’environnement immédiat du participant, contrairement à ce qui serait possible dans un laboratoire contrôlé. Toutes les études diffusées via iMotions Online, plateforme dans laquelle WebET 3.0 est intégré, sont accompagnées d’instructions préalables indiquant comment s’asseoir, se placer face à l’ordinateur et régler l’éclairage de la pièce dans laquelle se trouve le participant.
Même si les instructions fournies sont complètes, concises et faciles à suivre, le fait est qu’il est impossible de contrôler parfaitement ou de refaire une étude réalisée en ligne, et vous devrez très probablement vous contenter des résultats obtenus. Dans le pire des cas, vous pourriez être contraint de supprimer purement et simplement les données si votre participant a décidé de réaliser l’étude dans des conditions qui ne sont pas optimales.
Il était important pour nous de vérifier si notre algorithme était capable de réduire une partie de l’incertitude à laquelle sont confrontés les chercheurs et les collecteurs de données lorsqu’ils élaborent et diffusent des enquêtes en ligne auprès des participants. L’analyse montre qu’il n’y avait pas de différences significatives en termes de précision entre les participants se trouvant dans des conditions d’éclairage différentes, telles qu’elles ont été déclarées par eux-mêmes.
Il est important de noter que cela ne signifie pas pour autant que « l’éclairage n’a pas d’importance ». Les données que nous avons recueillies sur l’éclairage et les conditions ambiantes provenaient exclusivement de déclarations des participants eux-mêmes. Cela signifie que nous n’avons qu’une connaissance indirecte de la réalité des conditions d’éclairage. De plus, un seul participant a indiqué s’être trouvé à l’extérieur pendant l’étude ; ces données ont donc été exclues de l’analyse, ce qui signifie que nous ne pouvons pas affirmer si les conditions d’éclairage à l’intérieur ou à l’extérieur ont une incidence sur la précision de l’oculométrie.
Question 4 – Comment la précision évolue-t-elle avec le temps ?
Un autre facteur d’incertitude lors de la collecte de données en ligne réside dans le déroulement même de l’étude pour les participants, qui peut être affecté par des retards. Nous entendons par là l’ensemble des raisons techniques pour lesquelles l’étude peut prendre plus de temps que prévu par le chercheur. Nous avons conçu une tâche d’une durée inférieure à 10 minutes comprenant des questionnaires, des GIF, des images et des vidéos. La durée de l’étude, ainsi que la combinaison des stimuli, correspondent à ce que la plupart des clients d’iMotions utilisent actuellement.
Après avoir analysé nos données, le décalage que nous avons constaté semble provenir de problèmes de connexion Internet du côté des participants. Cela concerne en particulier les participants qui ont mis plus de 25 secondes à visionner une vidéo de 12 ou 19 secondes, soit 5 secondes de plus que prévu. Bien que certains participants aient effectivement rencontré des problèmes de latence Internet, ceux-ci n’ont pas eu d’impact significatif sur la précision de l’étude.
Même si l’on peut s’attendre à des problèmes de latence lors de la conduite d’études à l’échelle mondiale, il est important de ne pas négliger le facteur humain. Tout type de problème risque d’affecter le déroulement de l’étude et peut réduire l’adhésion des participants, entraîner de l’agitation, des déplacements ou l’abandon de l’étude.
Question 5 – Comment cette précision se traduit-elle dans l’utilisation des zones d’intérêt (AOI) ?
La capacité à détecter les fixations sur des zones spécifiques de l’écran fait partie intégrante de la précision de la mesure. Pour reproduire ce phénomène, nous avons utilisé des gifs de chats, disposés en grille à neuf endroits différents sur l’écran. L’affichage de ces gifs individuels à l’écran lors de chaque étude nous a permis d’évaluer la précision de la fixation du regard.
Les données de l’étude ont révélé que le nombre de participants chez lesquels des fixations ont pu être détectées est le plus élevé au centre de l’écran et diminue à mesure que l’on se rapproche des coins inférieurs de l’écran. De même, au cours de l’étude, la proportion de participants dont le regard n’a pas pu être identifié, et qui n’ont donc pas pu être classés, a augmenté.
Cela s’explique très probablement par le fait que l’assiduité des participants diminue au fil de l’étude s’ils ont l’impression que leur expérience utilisateur n’est pas satisfaisante. C’est pourquoi nous recommandons de limiter autant que possible la durée des études, afin d’éviter les abandons ou les problèmes de fiabilité dans les résultats finaux.
Conclusion
Nous sommes extrêmement satisfaits des données que nous avons recueillies et des résultats de l’analyse. Nous avons mis au point un algorithme qui surpasse les standards du secteur en termes de précision globale et qui n’est pas influencé par les variables démographiques. Cela prouve que les utilisateurs des fonctionnalités de collecte de données à distance d’iMotions peuvent utiliser la plateforme en toute sécurité et en toute confiance avec des participants du monde entier, sans risquer de ne pas obtenir de données suffisamment représentatives, car elle fonctionne de manière homogène quel que soit le profil démographique.