Si l’on ne parvient pas à exclure les participants malhonnêtes, cela risque de mettre les projets de recherche, de stratégie de marque et/ou de marketing sur une mauvaise voie, ce qui se traduirait par une perte de temps, d’argent et d’efforts. Des chercheurs de l’Université de Floride du Sud ont analysé les expressions faciales des participants à l’aide d’iMotions afin de détecter les signes indiquant la présence de « mauvais acteurs ».
Une étude de cas
L’essor de la numérisation permet de mener de plus en plus d’études sur le comportement humain en ligne. En conséquence, la multiplication des sondages en ligne offre aux chercheurs de nouvelles pistes et de nouveaux outils indispensables pour mieux cerner les attentes des consommateurs. La réalisation d’études est essentielle lors du lancement d’une nouvelle marque, d’un nouveau produit ou d’un nouveau service sur le marché – et de nombreuses entreprises ont désormais recours aux sondages en ligne pour y parvenir.
Étant donné l’importance considérable accordée aux sondages en ligne en particulier, sont-ils aussi fiables et universellement valables que leur popularité le laisse supposer ? Les professeurs Robert Hammond, Claudia Parvanta et Rahel Zemen, de l’Université de Floride du Sud, se sont penchés sérieusement sur cette question dans un article récent. Ils y ont constaté que les sondages en ligne rémunérés nécessitent un « signal d’alerte », car on ne sait jamais qui y répond, n’est-ce pas ?
Le groupe est tombé sur ce sujet par hasard, comme un effet secondaire indésirable de leur étude portant sur l’impact des messages d’intérêt public (MIP) sur l’intention d’arrêter de fumer. Ils avaient reçu une subvention du département de la santé de leur État pour être les premiers à tester l’analyse des expressions faciales comme moyen d’évaluer la réaction des téléspectateurs face à ces messages. Dans le cadre de cette étude « parallèle », ils ont analysé l’effet de données frauduleuses si celles-ci étaient incluses dans les résultats, et cette recherche nous a fourni de précieux conseils sur la manière d’obtenir la plus grande validité possible des données en étudiant les expressions faciales et l’attention pour différencier les participants à l’enquête.
Éliminer les « participants malhonnêtes » est essentiel, au-delà du simple fait qu’il s’agit d’une bonne pratique. Ne pas parvenir à exclure ces participants pourrait potentiellement mettre les projets de recherche, de stratégie de marque et/ou de marketing sur une mauvaise voie, au détriment du temps, des coûts et des efforts investis. C’est pourquoi il est si important de disposer d’outils permettant d’identifier et d’exclure les participants qui répondent de manière « négligente » ou qui mentent délibérément sur leur éligibilité à l’enquête.
Le « problème » de la validité des sondages en ligne
Des milliers de personnes honnêtes répondent probablement chaque jour à des sondages en ligne. Il est donc important de préciser que les auteurs ne condamnent pas systématiquement le recours à cette méthode pour recueillir des données. Cependant, lorsque les participants sont rémunérés directement par le chercheur et que les liens vers les sondages se retrouvent sur Internet, il y a moins de garde-fous pour empêcher des individus, voire des groupes, de répondre au sondage dans le seul but d’être rémunérés. Dans une méthodologie d’enquête classique, le chercheur doit se fier à la bonne foi de la personne qui répond à l’enquête pour s’assurer qu’elle répond aux critères recherchés pour l’étude. [Cette hypothèse est plus susceptible d’être vraie lorsque l’on utilise des panels vérifiés, comme nous le verrons ci-dessous.] Dans le cas de l’étude des auteurs, il s’agissait d’adultes de 18 ans et plus résidant dans leur État et consommant du tabac.
C’est le recours à l’analyse des expressions faciales qui a empêché les auteurs d’inclure des centaines de données provenant de personnes qui ne répondaient en aucun cas à ces critères.
Étude de recherche – l’efficacité perçue des messages d’intérêt public
Dans le cadre de ses recherches sur les messages d’intérêt public, l’équipe a mené une enquête par questionnaire, à laquelle ont répondu deux groupes. Dans un premier temps, le questionnaire a été envoyé à la « communauté ». Ces participants ont répondu à un flyer numérique diffusé sur le campus et dans le quartier, puis ont reçu un e-mail leur proposant une compensation de 20 dollars pour leur participation, sous la forme d’une carte cadeau. Le lien vers l’étude figurant sur le flyer destiné à la communauté et au quartier a été partagé au-delà des limites prévues et s’est ensuite perdu dans la « nature », où plusieurs répondants mal intentionnés s’en sont emparés, vraisemblablement pour obtenir la compensation financière. Le deuxième groupe de participants à l’enquête a été recruté par l’intermédiaire d’un panel vérifié provenant d’un fournisseur de panels commerciaux.
Tous les participants ont été filmés pendant qu’ils regardaient trois messages d’intérêt public différents sur le thème du tabagisme, puis invités à répondre à des questions à échelle pour évaluer l’efficacité de ces messages. Deux mesures principales ont été utilisées pour distinguer la différence de validité entre les participants de la communauté et ceux du panel sélectionné : l’attention et les expressions faciales. Ces deux mesures ont été analysées à l’aide du logiciel iMotions. L’attention est une mesure fournie par iMotions (Affectiva) basée sur la position de la tête (inclinaison, lacet, roulis), et les 20 unités d’action faciale (FAU) sont le résultat de l’analyse effectuée par iMotions (Affectiva).
Les chercheurs ont ensuite appliqué des mesures statistiques aux résultats (c’est-à-dire une régression). Des traits mobiles tels que le retroussement des lèvres, un sourire narquois ou le soulèvement des joues indiquent les intentions du participant et l’attention qu’il porte à la situation. Ces mesures ont permis de classer les participants dans l’une des trois catégories suivantes : mensonger, désintéressé et sincère.
Ces trois catégories ont été définies à l’aide d’une analyse vidéo, puis les FAU ont été analysées afin de tester la capacité à prédire le résultat. Un participant classé comme « intéressé » était attentif, a correctement répondu à tous les contrôles d’attention et a fourni des résultats valides. Le participant idéal ! Les participants « désintéressés » perdent leur concentration, détournent le regard ou font des pauses pendant l’étude, ce qui conduit à des données non valides. Les participants « malhonnêtes » pouvaient, par exemple, remplacer leur visage par une image ou éteindre les lumières de leur chambre pour éviter d’être vus.
Résultats globaux
Les résultats se présentaient comme suit : au sein de la communauté, 58 % des participants ont donné des réponses trompeuses et seuls 42 % ont fourni des réponses valides. Parmi les participants au panel, 87 % des réponses étaient valides, 11 % trompeuses et 2 % indifférentes.
L’échantillon de la population générale s’est avéré bien plus restreint que celui du panel, avec 92 personnes contre 409 pour ce dernier.
Qu’est-ce que l’analyse des expressions faciales nous a appris ?
L’utilisation d’une caméra pour suivre les expressions faciales des participants a permis aux chercheurs d’identifier plus précisément quels participants fournissent des données valides et lesquels n’en fournissent pas. Par exemple, il semble qu’un participant qui esquisse un sourire narquois devant la caméra pendant l’expérience soit, dans 85 % des cas, en train de tricher, ce qui donne lieu à des données non valides. Cela a également permis de distinguer les participants qui mettent plus de temps que la moyenne parce qu’ils sont simplement plus lents de ceux qui sont distraits et donnent des réponses non authentiques. L’analyse des expressions faciales lors des enquêtes en ligne pourrait permettre d’obtenir un ensemble de données plus fiables et d’identifier d’où proviennent les fausses réponses.
Où puis-je trouver des participants pour mon sondage en ligne ?
Il n’existe bien sûr pas de réponse simple à la question de savoir quelle méthode de recrutement des participants est la « meilleure ». C’est à chaque chercheur ou équipe de recherche qu’il revient d’évaluer les avantages et les inconvénients des canaux de recrutement mentionnés, en tenant compte des contraintes budgétaires, de temps, etc., auxquelles chacun d’entre eux peut être confronté.
Comme indiqué plus haut, le choix du canal de recrutement des participants approprié doit être évalué au cas par cas. Les deux canaux de recrutement, qu’il s’agisse des panels sélectionnés ou de la communauté, présentent chacun des avantages. Les panels sélectionnés sont généralement considérés comme fournissant des données plus fiables, car les participants ont l’habitude de répondre à des enquêtes. Le recrutement au sein de la communauté constitue une alternative plus rapide et moins coûteuse, et l’on peut espérer obtenir un engagement plus fort grâce à la participation volontaire des personnes et à l’octroi d’une rémunération financière.
En revanche, ces deux canaux présentent également des inconvénients qu’il convient de prendre en considération. D’une part, les réponses des participants recrutés au sein de panels présélectionnés risquent de refléter un niveau d’attention moindre, ce qui pourrait, par conséquent, signifier que certaines réponses sont moins authentiques. D’autre part, en ce qui concerne les répondants recrutés via les canaux communautaires, il peut être plus difficile de constituer un échantillon « contrôlé », car le lien vers le sondage rémunéré a été divulgué et de nombreuses personnes qui ne faisaient pas partie de l’échantillon visé (université et quartier) l’ont rempli. Une récompense de 20 dollars est très attrayante et pourrait attirer des participants aux motivations inappropriées, augmentant ainsi le nombre de réponses trompeuses.
Pour en savoir plus sur cette étude et approfondir les statistiques issues de leurs recherches et conclusions, vous pouvez consulter l’article complet ici.