Qu'est-ce que le biais de sélection ? (Et comment y remédier)

Découvrez comment les biais de sélection peuvent discrètement fausser les résultats d’une recherche avant même que celle-ci ne commence. À travers l’histoire de l’analyse des avions menée par Abraham Wald pendant la Seconde Guerre mondiale, cet article montre comment le fait de se fier uniquement aux données visibles peut conduire à des conclusions trompeuses. Apprenez à reconnaître les principaux types de biais de sélection — tels que le biais d’échantillonnage, les effets de présélection et l’attrition des participants — et découvrez comment chacun d’entre eux peut influencer les résultats dans le cadre d’expériences concrètes. Découvrez des mesures pratiques pour réduire ces biais et améliorer la fiabilité et la représentativité de vos conclusions.

Une bonne recherche commence bien avant le début de la première expérience.

Pendant la Seconde Guerre mondiale, un statisticien du nom d’Abraham Wald s’est vu confier une mission plutôt inattendue, compte tenu de son parcours : améliorer le taux de survie des avions américains. Wald était un homme intelligent et il a examiné les analyses précédentes qui avaient été réalisées. Les chercheurs précédents avaient constaté les dommages et les destructions subis par les avions et avaient recommandé de renforcer le blindage des zones les plus endommagées afin d’améliorer leur protection. Certaines parties spécifiques avaient été touchées et déchiquetées, et un nouveau blindage y avait donc été ajouté.

Pourtant, le taux de survie n’a pas augmenté. En réalité, il a diminué, car le nouveau blindage alourdissait les appareils et réduisait leur maniabilité, et ceux-ci revenaient toujours endommagés aux mêmes endroits. Wald observa tout cela et conseilla à l’armée de l’air de ne blinder que les zones intactes, c’est-à-dire les parties ne présentant aucune trace de dommages. Il estima que les seules données sur la capacité de survie provenaient des avions survivants eux-mêmes ; ceux qui revenaient endommagés indiquaient exactement où les coups non mortels pouvaient être portés.

Grâce à ces conseils, la capacité de survie s’est améliorée, et le reste, comme on dit, appartient à l’histoire. Si cet exemple illustre parfaitement la pensée latérale, il met également en lumière un aspect crucial de la collecte de données : celui du biais de sélection.

Le biais de sélection est une erreur expérimentale qui survient lorsque l’échantillon de participants, ou les données qui en découlent, n’est pas représentatif de la population cible.

Il existe plusieurs types de biais de sélection, et la plupart peuvent être évités avant même que les résultats ne soient publiés. Même si l’enjeu n’est pas toujours de vie ou de mort lorsqu’il s’agit de garantir l’exactitude des résultats, cela reste essentiel pour une recherche de qualité.

Prenons quelques exemples et voyons ce qu’il est possible de faire pour empêcher ce biais de se manifester avant même que la première donnée ne soit collectée.

Biais d’échantillonnage

Il existe plusieurs types de biais d’échantillonnage, qui ont tous pour conséquence que la population étudiée ne fournit pas les données dont nous avons besoin pour tirer des conclusions.

Un exemple courant de ce phénomène dans la pratique est celui de l’autosélection. Certains groupes de personnes peuvent être enclins à participer à une étude particulière en raison de caractéristiques qui les prédisposent à s’y inscrire. On sait que les individus enclins à la recherche de sensations fortes ou de frissons sont plus susceptibles de participer à certaines études, ce qui pourrait fausser les données d’une étude si celle-ci porte sur ces traits de personnalité (et éventuellement dans d’autres études également).

La meilleure façon de contourner ce biais consiste à puiser dans un échantillon qui ne soit pas auto-sélectionné. Cela n’est bien sûr pas toujours possible en raison de contraintes expérimentales (notamment pour les études nécessitant des volontaires), mais il convient de s’efforcer tout particulièrement d’éviter ce biais potentiel lors de l’examen de différents types de personnalité. Les effets de ce biais ne devraient pas être aussi préjudiciables si l’expérience porte sur des éléments plus constants, tels que des mesures psychophysiologiques.

Présélection

Un autre écueil dans lequel les chercheurs peuvent tomber consiste à présélectionner les participants. Il peut y avoir de bonnes raisons de le faire (par exemple, pour garantir la constitution de groupes témoins adéquats), mais cela peut également avoir pour effet de fausser l’échantillon de la population. En conséquence, cela pourrait conduire à sélectionner des participants partageant une caractéristique commune susceptible d’influencer les résultats.

Ce phénomène s’apparente à l’autosélection en termes de résultats, mais il est orchestré par le chercheur (généralement avec de bonnes intentions). Pour éviter cela, il peut être nécessaire de recourir à une expérience en double aveugle, dans le cadre de laquelle la sélection des participants doit être effectuée par une personne indépendante des objectifs de la recherche (ce qui permet également d’éviter tout biais de l’expérimentateur).

Abandon des participants

L’échantillon peut également être influencé par le dispositif expérimental pendant le déroulement de l’étude. Si les participants se retirent de l’étude de manière non aléatoire – c’est-à-dire s’il existe une raison non aléatoire à cela –, il est peu probable que les participants restants soient représentatifs de l’échantillon initial (sans parler de la population dans son ensemble).

Ce taux d’abandon, appelé « attrition des participants », est particulièrement fréquent dans les études comportant une intervention continue et plusieurs mesures. Par exemple, dans le cadre d’un essai clinique, de nombreux participants peuvent se retirer de l’étude si le médicament ne semble pas efficace (ou s’il les rend malades). Ainsi, seuls les participants restants (ou « survivants », dans le cas de Wald évoqué plus haut) feront l’objet d’une analyse à la fin de l’expérience.

Il est donc important d’assurer un suivi des participants qui abandonnent l’étude, afin de déterminer si leur abandon est dû à un facteur commun à d’autres participants ou à des raisons extérieures à l’expérience.

Sous couverture / confidentiel

Il n’est guère surprenant que le nombre insuffisant de participants limite la solidité des conclusions que l’on peut en tirer (pour autant qu’il soit possible d’en tirer), mais de nombreuses études souffrent pourtant d’une sous-représentation des groupes échantillons.

Il est donc essentiel de disposer d’un nombre suffisant de participants et de les sélectionner au préalable. Ce nombre peut être estimé à l’avance, ce qui vous permettra de planifier l’étude en conséquence. Si un trop grand nombre de participants se désiste en cours de route, il pourrait s’avérer nécessaire de répéter l’étude.

Il convient également de noter que, même si vous disposez d’un nombre suffisant de participants, vous devez vous assurer qu’ils sont correctement classés et affectés au groupe expérimental approprié. La réalisation d’une étude sur les personnes bilingues et monolingues serait bien sûr compromise s’il s’avérait que certains participants parlaient une langue de plus (ou de moins) que ne le laisse supposer leur classification.

Cela est particulièrement pertinent dans les études portant sur différents troubles mentaux, où la définition des groupes peut manquer de clarté. Par exemple, les études sur l’anxiété peuvent devoir distinguer les participants chez qui un trouble anxieux généralisé a été diagnostiqué de ceux qui souffrent de crises de panique, voire de ceux qui présentent des symptômes subcliniques ou prodromiques.

Veiller à ce que l’échantillon soit bien défini et bien caractérisé avant le début de l’étude permettra donc de s’assurer que les résultats sont pertinents pour le groupe visé.

Cueillir des cerises, exploiter des données

Si la plupart des biais de sélection surviennent avant la collecte des données, plusieurs étapes postérieures à celle-ci sont susceptibles d’entraîner des distorsions erronées. Ces étapes concernent la manière dont les données sont sélectionnées, plutôt que l’échantillon lui-même.

Le « cherry-picking » est sans aucun doute une bonne méthode pour préparer une tarte, mais c’est aussi le terme utilisé pour désigner le fait de ne retenir que les données qui correspondent à ce que l’expérimentateur s’attend à voir ou espère observer.

Cela peut être dû à une faute professionnelle ou peut-être à un vœu pieux de la part du chercheur. Quoi qu’il en soit, cela aboutit inévitablement à une science de mauvaise qualité. Le chercheur doit garder l’esprit ouvert face aux données et remettre en question sa propre interprétation. Il peut également être utile que plusieurs personnes (idéalement indépendantes) vérifient les données de l’étude.

À l’instar de ce qui précède, le « data-dredging » (également appelé « fishing for data » ou « p-hacking ») consiste à ne retenir que les données qui s’avèrent significatives après l’expérience et à inventer a posteriori des conclusions pour expliquer leur apparition. Ce phénomène se produit généralement lorsqu’un grand nombre de variables sont étudiées et que des résultats fallacieux peuvent paraître significatifs.

En ne retenant que les variables significatives d’un ensemble de données, cela revient en substance à répéter plusieurs fois la même expérience et à ne publier que le résultat pour lequel des différences significatives ont été constatées.

La reproductibilité expérimentale est un principe scientifique particulièrement important qu’il convient de respecter lorsqu’il existe un risque de « data-dredging ». Avec un nombre suffisant de répétitions, la validité ou l’inexactitude de la recherche sera démontrée.

Figures de split

Enfin, tout comme on peut classer à tort les participants avant l’expérience, leurs données peuvent également être classées à tort a posteriori. Un partitionnement incorrect des données consiste à diviser certaines parties des données, ou à ne pas les utiliser, sur la base d’hypothèses erronées.

Cela s’apparente fortement à une manipulation frauduleuse des données, mais cela peut également résulter d’erreurs techniques plutôt que d’une malversation intentionnelle.

Recule

Outre les étapes décrites ci-dessus, l’utilisation d’iMotions pour la collecte de données permet, d’une certaine manière, d’éviter implicitement certains pièges liés au biais de sélection, en particulier une fois la collecte terminée.

Le recours à plusieurs sources de données, comme c’est le cas avec plusieurs biocapteurs, peut offrir un autre moyen de vérifier vos données, en observant si les enregistrements concordent entre eux. Par exemple, l’utilisation conjointe de la GSR et de l’ECG peut vous aider à confirmer les niveaux d’excitation physiologique, tandis que l’analyse des expressions faciales peut compléter les tests par questionnaire (si une personne semble mécontente alors qu’elle affirme le contraire dans le questionnaire, cela pourrait constituer une raison de faire preuve de prudence quant à ses données). Ces mesures peuvent, en fin de compte, vous donner davantage confiance dans les données collectées.

De plus, le fait de pouvoir consulter les données enregistrées en temps réel sous une forme graphique et intuitive réduit le risque de se laisser induire en erreur par les chiffres seuls. Un tableur rempli de chiffres à n’en plus finir peut être source de nombreuses confusions, alors que la présentation des données réelles sous une forme facilement compréhensible apporte de la clarté à l’analyse.

Comment tout régler en ne gardant aucun secret

L’utilisation d’iMotions contribue grandement à éviter les biais de sélection des données, mais le choix des participants repose avant tout sur une conception expérimentale rigoureuse.

Même s’il n’est pas toujours possible de remédier complètement à l’apparition de biais d’échantillonnage, il existe une mesure essentielle pour limiter ces biais : présenter les résultats avec clarté. Lors de la présentation des conclusions, il est important d’indiquer clairement à qui ces résultats s’appliquent.

Dans notre article sur le biais de sélection des participants, nous avons expliqué que la validité interne de l’expérience pouvait poser problème, car les résultats sembleraient corrects, alors qu’ils seraient en réalité biaisés. En ce qui concerne le biais de sélection, en revanche, nous constatons que c’est plutôt la validité externe qui est en cause : les résultats semblent s’appliquer à l’ensemble de la population, mais ils sont en réalité biaisés et ne permettent pas de tirer de telles généralisations.

Pour garantir l’intégrité de l’expérience, il est donc important que les informations relatives aux participants, l’analyse des données et les conclusions qui en découlent soient aussi transparentes et claires que possible.

Si vous souhaitez en savoir plus sur les biais dans la recherche ou découvrir comment iMotions peut vous aider dans vos travaux, n’hésitez pas à nous contacter.

J’espère que vous avez apprécié cet article sur la manière d’éviter les biais de sélection dans la recherche. Si vous souhaitez découvrir d’autres conseils et astuces pour mener à bien vos recherches, n’hésitez pas à consulter ci-dessous notre guide de poche gratuit sur la conception expérimentale.