5 étapes pour optimiser l'oculométrie grâce aux zones d'intérêt automatiques : bonnes pratiques pour les chercheurs

Les zones d’intérêt automatiques (AOI) simplifient l’analyse de l’oculométrie en suivant efficacement les objets d’une image à l’autre. Ce guide présente cinq bonnes pratiques pour l’utilisation des AOI automatiques, abordant notamment la sélection des objets, les considérations relatives au mouvement et la précision du suivi. Améliorez vos recherches grâce aux conseils d’experts sur l’optimisation des algorithmes d’AOI automatiques, pour une collecte de données précise et efficace dans le cadre d’études d’oculométrie.

Introduction aux zones d’intérêt automatisées (Auto AOI)

Les zones d’intérêt (AOI) constituent l’outil d’analyse le plus important en eye-tracking ; elles permettent aux chercheurs de transformer les mouvements oculaires en données quantitatives afin de répondre à des questions de recherche et de tester des hypothèses concernant l’attention visuelle portée à des objets spécifiques. 

Pour les images fixes, la création de zones d’intérêt (AOI) se résume simplement à tracer le contour de l’objet qui vous intéresse. Avec la vidéo, cette tâche peut s’avérer plus fastidieuse, car elle oblige les chercheurs à placer manuellement des AOI sur de nombreuses images afin d’obtenir des données pertinentes. L’un des outils permettant de réduire la durée de cette étape d’analyse consiste à automatiser le processus de dessin des AOI, parfois appelé « AOI automatisées ».

Comment fonctionnent les systèmes d’inspection automatique (AOI) ?

Il existe deux grandes approches concernant la manière dont les algorithmes d’AOI automatisés suivent un objet et créent des zones d’intérêt (AOI) pour s’y adapter. Chaque méthode présente des avantages et des limites. 

Zones d’intérêt automatisées : approche par classification

Dans l’approche par classificateur pour la détection automatisée des zones d’intérêt (AOI), un algorithme est entraîné à reconnaître différentes catégories d’objets, telles que les « voitures » ou les « personnes ». L’algorithme est capable d’analyser une image vidéo et d’identifier les objets appartenant aux catégories pour lesquelles il a été entraîné. Il passe ensuite à l’image suivante et identifie à nouveau ces objets (et ainsi de suite). Au fur et à mesure, l’algorithme trace des zones d’intérêt autour de l’objet dans chaque image. 

L’approche par classification peut s’avérer efficace si votre objet fait partie des classes que l’algorithme « connaît ». Elle peut également permettre de suivre plusieurs objets simultanément. L’efficacité de cette méthode varie selon l’algorithme utilisé. Dans certains cas, les chercheurs ont entraîné les algorithmes sur des classes qui les intéressaient particulièrement, afin qu’ils puissent détecter des objets de manière très précise.

Cela signifie que leur algorithme peut être capable de déterminer le type de voiture présent dans l’image vidéo, tandis qu’un autre algorithme se contentera de reconnaître qu’il s’agit d’une voiture. Le nombre de classes que les algorithmes sont capables de distinguer varie considérablement, allant de vingt à plusieurs dizaines de milliers. Dans les deux cas, l’approche par classification est limitée par les objets inclus dans ces classes. 

Zones d’intérêt automatisées : approche par suivi

Dans iMotions, notre outil AutoAOI utilise une approche innovante de suivi pour automatiser les zones d’intérêt (AOI). Vous sélectionnez une image vidéo contenant votre objet (appelée « image d’entrée ») et définissez votre objet en quelques clics, ce qui ajoute des points à l’image.

Notre algorithme utilise vos points pour délimiter votre objet et créer un masque autour de celui-ci (dans notre logiciel, cela apparaît sous la forme d’un surlignage jaune autour de l’objet). L’algorithme suit l’objet que vous avez défini d’une image à l’autre, en créant automatiquement des zones d’intérêt (AOI) qui correspondent au masque de l’objet. Cette approche ne se limite pas aux classes : elle permet de délimiter pratiquement n’importe quel type d’objet que vous pouvez définir à l’aide de vos points.

Grâce à notre approche par suivi pour les zones d’intérêt automatiques (AutoAOI), vous n’êtes pas limité par les classes. L’algorithme est capable de suivre pratiquement n’importe quel objet, car il utilise les informations issues des pixels de l’image d’entrée pour déterminer quels pixels font partie de votre objet et lesquels n’en font pas partie.

Des informations telles que le contraste avec l’arrière-plan, les contours visibles et la position de l’objet dans les images précédentes et suivantes aident l’algorithme à déterminer où se trouve l’objet. Notre algorithme a été entraîné sur des mouvements naturels et utilise les informations des images précédentes pour continuer à estimer les contours de votre objet d’une image à l’autre, même s’il ne sait pas de quel objet il s’agit. 

Comme toute méthode, celle-ci comporte des limites et des astuces qui permettent aux utilisateurs de tirer le meilleur parti des outils. Dans cet article, nous allons passer en revue cinq conseils pratiques pour utiliser notre outil AutoAOI avec l’approche par traqueur. 

---

5 points importants à prendre en compte lors de l’utilisation des zones d’intérêt automatiques (AutoAOI)

1. Choisir un objet 

L’approche par suivi n’est pas limitée par les classes ; elle peut donc s’appliquer à presque tous les objets en mouvement. Nous disons « presque tous » car la perception humaine des objets diffère de la manière dont les algorithmes les interprètent. La plupart (sinon la totalité) des objets inclus dans les classes de l’approche par classification conviennent également à l’approche par suivi, car ces deux méthodes exploitent les informations issues des pixels de l’image vidéo.

Choisissez des objets aux contours bien définis.  

Si vous souhaitez savoir si votre objet se prête bien à l’AutoAOI, demandez-vous si vous pourriez facilement en tracer le contour dans votre image d’entrée. Si une autre personne devait également en tracer le contour, vos tracés seraient-ils pratiquement identiques ou y a-t-il une partie du contour de l’objet qui est un peu floue ?

Exemple : imaginez qu’une personne marche dans votre vidéo de référence et que vous souhaitiez suivre uniquement le mouvement de sa main. Si plusieurs personnes essayaient de tracer le contour de la main, la limite au niveau du poignet ne serait pas aussi nette que celle des doigts. En revanche, si cette personne portait un gant contrastant avec le reste de son bras et l’arrière-plan, ou si elle avait des manches longues, cela fonctionnerait bien mieux, car la limite par rapport au reste du bras serait alors bien définie.

Les zones d’intérêt automatiques (AOI) fonctionnent mieux avec des objets dont les contours se distinguent clairement du reste de l’image vidéo. En d’autres termes, cet objet se distingue-t-il facilement de l’arrière-plan ou des autres objets présents dans l’image ? N’oubliez pas que l’algorithme ne voit généralement pas mieux que vous. Si, en regardant la vidéo, vous avez du mal à distinguer les contours d’un objet (parce qu’il est flou ou que l’image est sombre), l’algorithme aura lui aussi des difficultés.  

Choisissez des objets que vous pourriez tenir dans la main. 

Les zones d’intérêt automatiques (AutoAOI) et l’approche par suivi fonctionnent très bien pour les objets solides (c’est également le cas pour l’approche par classification). Aucune de ces deux approches ne donne de bons résultats pour les éléments présentant des limites conceptuelles.

Exemple : 

Imaginons que vous meniez une étude dans laquelle un participant conduit une voiture tout en portant des lunettes d’oculométrie, et que vous souhaitiez analyser les comportements liés à la vérification des angles morts. 

Vous pouvez utiliser les zones d’intérêt automatiques (AutoAOI) pour suivre un objet situé dans un angle mort, voire dans les différents rétroviseurs de la voiture. Les AutoAOI ne peuvent pas suivre la notion d’« angle mort », car il s’agit d’un espace vide dépourvu de limites visuelles claires que l’on peut toucher. À l’instar de la règle mentionnée plus haut, si différentes personnes essayaient de délimiter un angle mort sur une vidéo, les contours ne se ressembleraient pas beaucoup. 

Choisissez un objet à la fois. 

Il est possible de configurer des zones d’intérêt automatiques (AutoAOI) pour différents objets et d’exécuter les analyses simultanément, mais chaque analyse ne porte que sur un seul objet. Les zones d’intérêt automatiques ne sont pas destinées à des groupes d’objets. 

Par exemple, les systèmes de détection automatique de zones d’intérêt (AutoAOI) auront du mal à suivre une volée d’oiseaux, un banc de poissons ou une formation d’avions. Même si les oies peuvent former un « V » bien visible lors de leur migration, l’algorithme ne « relie pas les points » entre les oiseaux pour former ce « V ». 

Bon à savoir : 

• Vous pouvez choisir d'en suivre un seul ou essayer d'en suivre plusieurs séparément. Des études montrent que notre regard suit un groupe d'objets en se concentrant sur le centre de celui-ci ; ainsi, si certains individus se trouvent au centre de la formation, on pourrait essayer d'en suivre quelques-uns et de regrouper les données par la suite. 
• La plupart des modèles de classification auront également du mal à suivre un groupe d'individus, à moins que l'algorithme n'ait été spécialement formé à cette tâche. 

Choisissez un objet unique. 

Il est possible de suivre un objet presque identique à d’autres objets présents dans la même scène, à condition qu’ils ne se croisent pas. À l’instar de l’exemple précédent avec une volée d’oiseaux, le suivi de quelques oiseaux de la volée ne pose aucun problème, à moins qu’ils ne commencent à se chevaucher. Notre outil AutoAOI a été testé pour le suivi de voitures qui slaloment dans la circulation, passent derrière d’autres voitures et réapparaissent dans le champ de vision. Cela fonctionne bien car la voiture est généralement suffisamment différente des autres voitures sur la route. Notre outil AutoAOI n’est pas limité par la classification « voiture », votre voiture peut donc être distinguée des autres grâce à ses caractéristiques uniques. 

Les PNJ (personnages non-joueurs) dans les jeux vidéo se ressemblent souvent beaucoup, et les algorithmes de suivi automatique (AutoAOI) fonctionnent bien lorsqu’il s’agit de suivre un individu en particulier. Si un PNJ passe devant un autre, l’algorithme doit deviner lequel des deux est celui qu’il suivait dans les images précédentes. 

Bon à savoir : 

• Si les personnages ne sont pas tout à fait identiques, assurez-vous que le masque généré par l'algorithme recouvre les traits distinctifs. Les PNJ ont parfois une icône, une barre de santé ou un indicateur de puissance qui flotte au-dessus de leur tête. Essayez d'inclure ces éléments dans le masque pour voir si vos zones d'intérêt automatiques (AutoAOI) fonctionnent mieux. 
• De plus, vous pouvez utiliser plusieurs images d'entrée pour indiquer à l'algorithme lequel est votre objet. Une fois que les objets se sont croisés, prenez une autre image d'entrée et marquez votre objet. 
• Cette approche par classification sera également confrontée à ce défi, parfois davantage selon que les classes sont suffisamment précises pour distinguer des objets similaires et selon qu'elle a été entraînée pour prendre en compte ce type de mouvements.

2. Tenir compte des mouvements et des changements

L’automatisation du processus de définition des zones d’intérêt (AOI) permet d’optimiser l’analyse des données d’oculométrie en cas de mouvement. Il est important de comprendre que le type et la vitesse du mouvement ont une incidence sur le fonctionnement d’outils tels que les AutoAOI.

Ces mouvements sont-ils « naturels » ?

L’algorithme qui pilote le module AutoAOI a été entraîné sur des mouvements naturels et prend en compte les informations des images précédentes et suivantes pour effectuer ses estimations. Les zones AutoAOI fonctionnent bien avec des objets se déplaçant devant le stimulus, qui s’agrandissent ou rétrécissent à mesure qu’ils s’approchent ou s’éloignent du spectateur. Elles peuvent même suivre des objets lorsqu’ils tournent ou se retournent.

Il suit les objets qui disparaissent (par exemple lorsqu’ils sortent du cadre ou se cachent derrière un autre objet) puis réapparaissent, à condition que leur apparence reste similaire à celle qu’ils avaient au moment de leur disparition. L’algorithme aura toutefois du mal à traiter les objets présentant des mouvements peu naturels, comme lorsque la vidéo a été « lissée » numériquement de telle sorte qu’il est difficile de créer un masque de l’objet image par image.

Réfléchissez à la vitesse à laquelle l’objet change 

Les zones d’intérêt automatiques (AOI) peuvent s’adapter à des éléments dont la forme ou la couleur changent de manière assez radicale, à condition que la transition s’effectue sur plusieurs images. Si ces changements radicaux se produisent plus rapidement que la fréquence d’images de votre vidéo, l’algorithme aura du mal à reconnaître l’objet par rapport à l’image précédente. Pour la même raison, les changements instantanés d’éclairage ou l’apparition soudaine d’ombres peuvent poser problème. 

Bon à savoir : les écrans de suivi

• Exemple : lors du suivi d'objets dotés d'un écran (tels que les téléphones, les écrans d'ordinateur et les tablettes), l'image affichée sur l'écran de ces objets peut changer instantanément. Ce changement est plus rapide que la fréquence d'images de la vidéo et modifie la majorité des pixels composant l'objet. Même si la forme générale de l'objet ne change pas, la plupart des pixels qui le composent changent.

Pour les zones d’intérêt automatiques (AutoAOI), une solution consiste à utiliser plusieurs instances. Chaque fois que l’objet réapparaît après avoir disparu de l’image ou subit un changement radical, créez une image d’entrée et définissez une plage temporelle pendant laquelle l’objet reste dans cet état. Lorsqu’il change, créez une nouvelle image d’entrée avec une fenêtre temporelle définie couvrant cet état (répétez l’opération si nécessaire). Cela sera traité comme un seul objet mais en plusieurs passes, ce qui permettra de mieux gérer ces cas.

3. Placer des points pour définir votre objet

L’un des principaux avantages de l’approche par traceur est que vous pouvez définir votre objet en cliquant simplement dessus. Lorsque les points sont correctement placés, le masque devrait recouvrir l’intégralité de l’objet et uniquement celui-ci. 

Commencez par placer un point au centre de l’objet, puis examinez ce qui manque dans le masque. Placez vos points sur les éléments que vous jugez importants pour définir l’objet. Réfléchissez à la façon dont l’objet évoluera au fil du temps. Si l’objet est appelé à changer radicalement, veillez à inclure des points sur les parties qui ne changent pas.  

Exemple : si vous souhaitez suivre les mouvements d’une personne qui marche, commencez par définir un point sur le torse et un autre sur la tête. Ajoutez ensuite les membres, car ce sont eux qui bougent le plus. Si la personne porte un chapeau qui la distingue des autres personnages de la scène, incluez-le également. 

Moins, c’est mieux. 

La définition de l’objet ne devrait nécessiter que quelques clics ; de nombreux objets peuvent être définis en deux ou trois points. Si vous avez l’impression d’avoir besoin de nombreux points pour définir votre objet, demandez-vous s’il existe un autre plan dans lequel votre objet est plus visible. 

Astuce : dans l’outil AutoAOI d’iMotions, vous pouvez également cliquer tout en maintenant la touche Ctrl enfoncée pour indiquer ce qui ne fait pas partie de l’objet, si le masque initial dépasse les limites de celui-ci. 

4. Choisissez une bonne image de référence

Nous avons suivi une pieuvre en train de se camoufler pour échapper à un plongeur curieux, changeant radicalement de couleur, de taille et de texture à deux reprises au cours d’une même vidéo. L’AutoAOI n’a rencontré aucune difficulté. Sans une sélection minutieuse des images d’entrée, cela aurait été impossible. 

Une image d’entrée idéale présente une bonne résolution et permet de voir clairement l’objet. Bien qu’une seule image suffise généralement pour définir un objet, si celui-ci change considérablement, essayez d’utiliser plusieurs images d’entrée. Choisissez une image représentative pour chaque « forme » de l’objet. Par exemple, pour le suivi de la pieuvre, j’ai utilisé trois images, une pour chacune de ses couleurs et textures. 

De plus, si l’utilisation de plusieurs images d’entrée ne suffit pas, la création de plusieurs instances d’un même objet permet souvent de résoudre le problème (comme décrit précédemment dans l’exemple de l’objet masqué). Nous avons suivi le kart de Mario alors qu’il traversait un bloc question, s’élançait sur une rampe avec des flammes jaillissant de ses pots d’échappement. Le kart a ensuite effectué un saut périlleux et le parachute s’est déployé au-dessus de lui. À l’atterrissage, le parachute s’est rétracté et Mario a poursuivi sa course. 

Dans cet exemple, il peut être utile de disposer de plusieurs images d’entrée ou instances (par exemple, une avec le planeur et une sans). Nous pouvons également choisir de faire du planeur un AutoAOI distinct. Cela ne demande que quelques clics supplémentaires, et l’AutoAOI peut fonctionner simultanément avec celui du kart, mais cela nous permet d’effectuer de nouvelles analyses. Nous pouvons facilement comparer le temps pendant lequel une personne a regardé le kart par rapport au planeur lorsque ce dernier était présent. Grâce à cette stratégie, nous conservons également la flexibilité nécessaire pour combiner ces données. 

5. Vérifiez toujours vos zones d’intérêt

Même si les zones d’intérêt automatiques (AutoAOI) facilitent considérablement l’automatisation du processus d’ajout de zones d’intérêt autour d’objets en mouvement, vous devez toujours vérifier que ces zones correspondent bien à ce que vous aviez prévu, quelle que soit la méthode utilisée. Il arrive parfois qu’une partie de l’enregistrement ou de la vidéo ne fonctionne pas aussi bien que le reste et qu’une solution alternative (une image d’entrée supplémentaire ou une analyse AutoAOI) soit nécessaire. Même dans ces cas-là, le placement automatique des AOI peut tout de même faire gagner des heures d’analyse aux utilisateurs.