Mesure, statistique et réplication

Objectifs du chapitre

À la fin de ce chapitre, vous serez capable de:

• distinguer une variable latente de ses indicateurs, situer une mesure sur l'une des quatre échelles (nominale, ordinale, d'intervalle, de rapport) et dire quelles opérations chacune autorise;
• définir la fidélité et la validité d'une mesure, expliquer pourquoi une mesure peut être fidèle sans être valide mais jamais valide sans être fidèle, et reconnaître les trois formes de chacune;
• énoncer exactement ce qu'est une valeur $p$, et réfuter les quatre malentendus qui la rendent dangereuse;
• convertir une taille d'effet $d$ de Cohen en probabilité de supériorité et en pourcentage de recouvrement, et calculer l'effectif nécessaire pour atteindre une puissance donnée;
• expliquer, théorème de Bayes à l'appui, pourquoi une littérature faite d'études sous-puissantes contient beaucoup de résultats faux et surestime systématiquement les effets qu'elle rapporte;
• décrire la crise de la réplication, nommer les pratiques qui l'ont produite (biais de publication, degrés de liberté du chercheur, HARKing) et celles qui la corrigent (préenregistrement, rapports enregistrés, grands échantillons, partage des données, méta-analyse).

Ce chapitre est la colonne vertébrale du cours. Les onze autres chapitres présentent des résultats; celui-ci enseigne le standard de preuve qui permet de dire lesquels méritent votre confiance. Vous y trouverez peu d'expériences célèbres et beaucoup d'outils: c'est délibéré. Un étudiant qui sort de ce chapitre en sachant lire une taille d'effet et un intervalle de confiance est mieux armé qu'un étudiant qui connaît cent expériences par cœur.

Mesurer un objet qu'on ne voit pas

Variables latentes et indicateurs

Un géomètre mesure une distance; un psychologue mesure l'anxiété, la mémoire de travail ou l'attitude envers l'immigration. La différence n'est pas de degré: aucune de ces trois grandeurs n'est directement observable. Elles n'existent, pour le chercheur, qu'à travers des indicateurs — des comportements, des réponses à des items, des temps de réaction, des mesures physiologiques — dont on postule qu'ils dépendent d'une cause commune non observée.

Cette dépendance à l'opérationnalisation a une conséquence qu'il faut accepter d'emblée: quand une expérience échoue, on ne sait jamais immédiatement si c'est la théorie ou la mesure qui a échoué. Un résultat nul peut signifier «le stress ne dégrade pas la mémoire de travail» ou bien «mon empan de chiffres à trois essais ne mesure pas la mémoire de travail». La discipline vit avec cette ambiguïté, et la seule parade est de rendre la mesure elle-même objet d'étude — ce que fait la psychométrie.

Les quatre échelles de mesure

Attribuer des nombres à des observations ne suffit pas à autoriser toutes les opérations arithmétiques sur ces nombres. La classification proposée par Stevens dans les années 1940 reste l'outil de base.

Tableau 3.1 — Les quatre échelles de Stevens et les opérations qu'elles autorisent.

La règle pratique tient en une phrase: on ne peut faire un rapport que sur une échelle de rapport. Un QI de 140 n'est pas «deux fois» un QI de 70, pas plus que 20 °C ne sont deux fois 10 °C, parce que le zéro de ces deux échelles est conventionnel. En revanche, un temps de réaction de 600 ms est bien le double de 300 ms, car l'absence de délai est un zéro réel.

Le cas litigieux, en psychologie, est l'échelle de Likert («pas du tout d'accord» … «tout à fait d'accord», codée de 1 à 5). Stricto sensu, elle est ordinale: rien ne garantit que l'écart entre 1 et 2 vaut celui entre 4 et 5. L'usage dominant consiste tout de même à moyenner de tels scores, en s'appuyant sur deux arguments: la somme de plusieurs items se comporte empiriquement comme une échelle d'intervalle, et les procédures paramétriques usuelles sont robustes à cette entorse. C'est un compromis, pas une démonstration; sachez que vous le faites.

Fidélité

Une remarque sur l'alpha de Cronbach, qui figure dans presque tous les articles: il augmente mécaniquement avec le nombre d'items. Un alpha élevé ne signifie donc pas qu'une échelle mesure une seule chose, seulement que ses items covarient; une échelle longue et hétérogène peut afficher un alpha confortable. Il ne dispense pas d'examiner la structure factorielle.

Validité

L'asymétrie entre fidélité et validité

Les deux notions sont souvent présentées comme un couple symétrique. Elles ne le sont pas.

Une mesure peut être parfaitement fidèle sans être valide: une balance déréglée de deux kilos donne toujours le même chiffre, et toujours le mauvais. Un questionnaire qui mesure en réalité la désirabilité sociale la mesure peut-être excellemment, et livrera des scores très stables — qui ne disent rien de l'altruisme qu'il prétend évaluer. L'erreur est ici systématique: elle ne s'annule pas quand on répète la mesure, et augmenter la taille de l'échantillon ne la corrige pas. C'est ce qui la rend redoutable.

L'inverse est impossible. Une mesure infidèle ne peut pas être valide, parce que ses fluctuations aléatoires diluent l'information qu'elle contient. La théorie classique des tests le formalise: si $X=T+E$, où $T$ est le score vrai et $E$ une erreur aléatoire indépendante, la corrélation observée entre deux mesures $X$ et $Y$ est bornée par leurs fidélités,

Une échelle de fidélité $0,64$ corrélée à un critère parfaitement mesuré ne peut donc pas dépasser $r=\sqrt{0,64}=0,80$, quelle que soit la qualité de la théorie sous-jacente. La fidélité est une condition nécessaire de la validité, jamais une condition suffisante. D'où la formule à retenir: la fidélité borne la validité; la validité, elle, ne borne rien.

Cette figure porte une idée méthodologique majeure: l'erreur aléatoire se combat par les effectifs, l'erreur systématique ne se combat que par le devis. Un échantillon de dix mille personnes interrogées avec un instrument biaisé donne un chiffre faux avec une belle précision. C'est exactement ce qui s'est passé, en 1936, avec le sondage du Literary Digest sur l'élection présidentielle américaine: plus de deux millions de réponses, et une prédiction inverse du résultat, parce que l'échantillon était tiré de listes d'abonnés au téléphone et de propriétaires d'automobiles.

Un cas d'école: le test d'association implicite

Le test d'association implicite (Implicit Association Test, IAT) est l'illustration la plus nette de tout ce qui précède, et il mérite qu'on s'y arrête. Son principe est purement chronométrique. On demande au participant de classer, le plus vite possible et avec la même touche, des éléments appartenant à deux catégories appariées — par exemple des visages d'un groupe social et des mots à valence positive —, puis on inverse l'appariement. La mesure est la différence de temps de réaction entre le bloc dit congruent et le bloc dit incongruent, standardisée par la variabilité intra-individuelle. L'idée qui l'a rendu célèbre dès la fin des années 1990 est séduisante: puisque la réponse se joue en quelques centaines de millisecondes, elle échapperait au contrôle volontaire et donnerait accès à des attitudes que le questionnaire ne peut pas atteindre, soit parce que la personne ne veut pas les déclarer, soit parce qu'elle-même les ignore. Le phénomène de base — des temps de réaction en moyenne plus longs dans la condition incongruente — est solide et se réplique sans difficulté. Ce qui est en cause n'est pas l'effet: c'est ce que le score d'un individu autorise à conclure.

Reprenons les deux critères du chapitre. Côté fidélité, l'IAT présente une cohérence interne acceptable — les blocs d'un même test s'accordent —, mais une fidélité test-retest notoirement modeste: la même personne repassant le test à quelques semaines d'intervalle obtient souvent un score sensiblement différent, et la corrélation entre les deux passations reste bien en dessous de ce qu'on exige d'un instrument de diagnostic. Or la relation (3.1) est sans appel: une fidélité médiocre plafonne mécaniquement toute corrélation observable avec un critère externe. Avant même de discuter de ce que l'IAT mesure, sa seule instabilité temporelle interdit d'en faire une caractéristique stable d'une personne. Côté validité de critère, les méta-analyses qui relient le score IAT à des comportements discriminatoires effectivement observés trouvent une association de direction attendue mais de magnitude faible, et les estimations varient d'une synthèse à l'autre selon les critères retenus, les comportements mesurés et le traitement du biais de publication; la prédiction est plus faible encore lorsqu'il s'agit d'anticiper le comportement d'un individu plutôt qu'une tendance moyenne. C'est précisément l'usage que le discours public en fait — «ce test révèle vos biais» — et c'est celui que les données soutiennent le moins.

Le statut à retenir est donc double, et c'est ce qui en fait un excellent exercice: l'effet chronométrique et son utilité pour étudier des phénomènes au niveau des groupes relèvent du plausible et largement documenté; l'interprétation du score individuel comme mesure d'un préjugé personnel, et son emploi pour un diagnostic, un recrutement ou une sélection, sont contestés — faible fidélité test-retest, faible validité prédictive individuelle. Un instrument peut ainsi être parfaitement légitime pour comparer des conditions expérimentales ou des moyennes de groupes, et impropre à qualifier une personne: l'erreur de mesure qui s'annule en moyenne sur des centaines de participants reste entière sur un score isolé. Retenez la formule générale, qui vaut bien au-delà de l'IAT et que vous retrouverez au chapitre 12 à propos des échelles de personnalité: la validité d'une mesure n'est jamais une propriété de l'instrument seul, mais du couple instrument–usage. Demander «l'IAT est-il valide?» n'a pas de sens; demander «est-il valide pour cet usage-ci?» en a un, et la réponse peut être oui pour la recherche sur les groupes et non pour la décision individuelle.

Décrire avant d'inférer

Cette section est brève à dessein: le cœur du chapitre est ailleurs. Mais aucune inférence ne vaut plus que la description qui la précède.

Trois indicateurs de tendance centrale: le mode (valeur la plus fréquente), la médiane (valeur qui partage la série en deux moitiés) et la moyenne arithmétique $\bar{X}=\frac{1}{n}{\sum }_i{X}_i$. La moyenne est la seule qui utilise toute l'information numérique, et la seule qui soit sensible aux valeurs extrêmes. Pour des temps de réaction, dont la distribution est fortement asymétrique à droite, la médiane est souvent plus informative, et l'usage courant consiste soit à la préférer, soit à écarter les essais aberrants selon un critère fixé (nous verrons dans la section sur le -hacking pourquoi ce «à l'avance» est capital).

Deux indicateurs de dispersion: la variance $s^2=\frac{1}{n-1}{\sum }_i(X_i-\bar{X}{)}^2$ et sa racine, l'écart-type , qui a l'avantage d'être exprimé dans l'unité des données. Une moyenne sans écart-type est un résultat mutilé: dire que le groupe entraîné rappelle en moyenne 12 mots et le groupe témoin 10 ne veut rien dire tant qu'on ignore si les écarts-types valent 1 ou 8.

La distribution normale joue un rôle central pour une raison mathématique — le théorème central limite fait tendre vers elle la distribution des moyennes d'échantillons, quelle que soit (sous conditions) la distribution d'origine. Elle est symétrique, entièrement décrite par $\mu$ et $\sigma$, et place environ $68,3\%$ des observations à moins d'un écart-type de la moyenne, $95,4\%$ à moins de deux et $99,7\%$ à moins de trois.

Inférer: la logique du test d'hypothèse

L'hypothèse nulle et le raisonnement du test

Vous observez que le groupe entraîné rappelle en moyenne $1,8$ mot de plus que le groupe témoin. Deux explications rivalisent: l'entraînement fonctionne, ou bien le hasard de l'échantillonnage a produit cette différence alors qu'il n'y a aucun effet dans la population. Le test d'hypothèse est la procédure qui arbitre — imparfaitement — entre les deux.

Le raisonnement se déroule en quatre temps. On pose $H_0$. On calcule une statistique de test qui résume l'écart entre les données et ce que $H_0$ prédit — typiquement une différence divisée par son erreur type. On détermine la distribution de cette statistique sous $H_0$, dite distribution d'échantillonnage. On regarde enfin où tombe la valeur observée dans cette distribution.

Cette dernière phrase contient tout le chapitre. La valeur $p$ répond à la question «à quel point mes données sont-elles inattendues dans un monde sans effet?». Elle ne répond pas à la question qui intéresse le chercheur, «quelle est la probabilité qu'il y ait un effet?». Les deux questions sont liées par le théorème de Bayes, qui exige des ingrédients supplémentaires — une probabilité a priori et une puissance — dont la valeur $p$ ne dispose pas. Nous y viendrons au théorème 3.3.

Le seuil de 0,05

Le seuil $\alpha =0,05$ n'est pas une constante de la nature. C'est une convention, popularisée par Fisher dans les années 1920 comme un repère commode, et Fisher lui-même la présentait comme un point de départ pour le jugement, non comme une frontière entre le vrai et le faux. Le taux d'erreur de première espèce qu'elle fixe, $\alpha =P(\text{rejeter }{H}_0\mid H_0\text{ vraie})$, signifie qu'une hypothèse nulle vraie sur vingt sera rejetée à tort.

Deux conséquences pratiques. D'abord, il n'existe aucune différence qualitative entre $p=0,049$ et $p=0,051$; les traiter comme deux mondes distincts est une superstition, que la présentation dichotomique «significatif / non significatif» entretient. Ensuite, dès qu'on multiplie les tests, le taux d'erreur global explose: sur vingt tests indépendants d'hypothèses toutes nulles, la probabilité d'obtenir au moins un résultat significatif vaut $1-0,95^{20}\approx 0,64$. C'est le problème des comparaisons multiples, et c'est le mécanisme par lequel une étude assez généreuse en analyses finit toujours par trouver quelque chose.

La taille d'effet

Une différence, exprimée en écarts-types

Si la valeur $p$ ne dit rien de l'ampleur d'un phénomène, il faut une autre grandeur. C'est le rôle des tailles d'effet, dont la plus utilisée pour comparer deux moyennes est le $d$ de Cohen.

Ces qualificatifs — «petit», «moyen», «grand» — sont trompeurs tant qu'on ne les traduit pas en quelque chose d'imaginable. Le théorème suivant fournit cette traduction, et c'est probablement le résultat le plus utile de tout le chapitre pour recalibrer votre intuition.

Démonstration. Posons $D=X_1-X_2$. Les variables $X_1\sim \mathcal{N}({\mu }_1,{\sigma }^2)$ et étant indépendantes et normales, leur différence est normale, d'espérance et de variance (les variances de variables indépendantes s'ajoutent, y compris pour une différence). Donc , et

la dernière égalité utilisant la symétrie de la loi normale, $1-\Phi (-u)=\Phi (u)$.

Pour le recouvrement, plaçons les deux densités en $\pm d/2$ par translation, ce qui ne change pas leur aire commune. Les densités $f_1$ et $f_2$ étant symétriques l'une de l'autre par rapport à $0$, elles se croisent exactement en $x=0$, et l'aire commune est celle de la fonction $\min (f_1,f_2)$, soit deux fois la queue d'une normale au-delà de son centre décalé de :

Le tableau suivant applique ces deux formules aux repères de Cohen.

Tableau 3.2 — Ce que valent les repères de Cohen une fois traduits.

Lisez la ligne du milieu lentement. Pour un effet moyen, un individu tiré au sort dans le groupe traité dépasse un individu tiré au sort dans le groupe témoin dans environ $64\%$ des cas seulement — contre $50\%$ si le traitement ne faisait rien. Les deux distributions se recouvrent encore sur $80\%$ de leur aire. Et pour un effet grand, celui que les manuels décrivent comme spectaculaire, la proportion monte à $71\%$ et le recouvrement reste de deux tiers. Autrement dit: presque tous les effets dont parle la psychologie sont des déplacements modestes de distributions largement superposées. Ce n'est pas une faiblesse de la discipline, c'est la nature de son objet — mais cela interdit les formulations du type «les hommes sont plus X que les femmes» ou «les enfants exposés à Y deviennent Z», qui suggèrent des populations séparées là où il y a deux nuages presque confondus.

La puissance

Deux erreurs, deux risques

Un test peut se tromper de deux façons, et les traiter symétriquement est l'une des rares choses simples de ce chapitre.

Tableau 3.3 — Les deux erreurs du test d'hypothèse.

Démonstration. La statistique de test est $Z=\frac{{\bar{X}}_1-{\bar{X}}_2}{\sigma \sqrt{2/n}}$, dont l'erreur type au dénominateur découle de . Sous , et l'on rejette lorsque .

Si la vraie différence des moyennes vaut ${\mu }_1-{\mu }_2=d\sigma$, alors $Z$ suit une loi normale de variance $1$ et d'espérance

quantité appelée paramètre de non-centralité. La puissance exacte est donc

Le second terme, qui correspond à un rejet du «mauvais côté», est négligeable dès que $\delta$ est appréciable. En le laissant de côté, la condition $1-\beta \ge$ objectif s'écrit $\delta -z_{1-\alpha /2}\ge z_{1-\beta }$, soit , et en élevant au carré,

Numériquement, $2(1,9600+0,8416{)}^2=2\times 7,849=15,70$, ce qui donne (3.7). $\square$

Le chiffre qui devrait choquer

Appliquons (3.7). Pour $\alpha =0,05$ bilatéral et $80\%$ de puissance, il faut par groupe:

Tableau 3.4 — Effectifs requis par groupe selon l'approximation (3.6); ce sont les mêmes valeurs que les repères de la figure 3.3, qui les obtient en cherchant directement le plus petit $n$ pour lequel la puissance exacte (3.8) atteint $0,80$ — l'approximation ne se trompe donc pas ici. En revanche, un calcul fondé sur la loi de Student, qui tient compte de ce que la variance est estimée et non connue, ajoute un ou deux sujets par groupe ($394$, $64$ et $26$ pour $d=0,2$, $0,5$ et $0,8$): en pratique, dimensionnez avec (3.6) et ajoutez cette marge, que les abandons consommeront de toute façon.

Confrontez maintenant cette colonne à la pratique. Une part considérable de la littérature psychologique classique — celle qui alimente encore les manuels — repose sur des expériences comptant une vingtaine de participants par groupe. Avec $n=20$ par groupe, la puissance calculée par (3.8) vaut environ $16\%$ pour $d=0,3$, $35\%$ pour $d=0,5$ et $72\%$ pour $d=0,8$. Autrement dit, pour l'effet moyen typique de la discipline, une telle étude avait deux chances sur trois de ne rien trouver . Ce diagnostic n'est pas rétrospectif: Cohen l'a établi dès 1962, en recalculant la puissance de toutes les études parues dans une revue de psychologie sur une année, et a trouvé une puissance moyenne de l'ordre de pour un effet moyen. L'avertissement a été répété pendant cinquante ans sans effet notable sur les pratiques.

Ce qu'une étude sous-puissante produit vraiment

Le premier effet d'un manque de puissance est évident: on rate des effets réels. Le second l'est beaucoup moins, et il est bien plus grave.

Une étude sous-puissante surestime les effets qu'elle détecte. Le mécanisme est purement mécanique et n'implique aucune malhonnêteté. La taille d'effet estimée $\hat{d}$ fluctue autour de la vraie valeur $d$ avec une erreur type d'environ $\sqrt{2/n}$. Or l'étude ne franchira le seuil de significativité que si $|\hat{d}|$ dépasse . Quand est petit, cette barre est haute — plus haute que l'effet réel lui-même. Seuls les échantillons qui, par chance, ont produit une estimation exagérément grande passent le filtre. Les autres, qui estimaient correctement l'effet, restent non significatifs et ne sont pas publiés.

La littérature publiée n'est donc pas un échantillon aléatoire des estimations: c'est leur queue supérieure. On appelle ce phénomène la malédiction du vainqueur (winner's curse), ou erreur de type M (pour magnitude).

C'est ce mécanisme, et non la fraude, qui explique l'essentiel du décalage observé entre études originales et réplications. Il explique aussi une observation qui déroute les étudiants: pourquoi une réplication à grand effectif trouve-t-elle presque toujours un effet plus petit que l'original? Parce que l'original était sélectionné pour être grand, et la réplication ne l'est pas. Et il fournit un test de dépistage: une petite étude qui rapporte un effet énorme n'est pas une étude convaincante, c'est une étude suspecte.

Pourquoi la littérature publiée est biaisée

Les trois sections précédentes décrivent des propriétés mathématiques des tests. Ce qu'il faut y ajouter maintenant, ce sont les incitations qui pèsent sur les chercheurs — car ce sont elles qui transforment des outils imparfaits en une littérature systématiquement fausse.

Le biais de publication et le tiroir à résultats nuls

Les revues publient plus volontiers ce qui est positif, nouveau et significatif. Les auteurs, qui le savent, soumettent moins volontiers leurs résultats nuls; ceux-ci finissent dans le tiroir. Rosenthal a nommé ce mécanisme le problème du tiroir (file drawer problem) dès 1979.

L'effet est arithmétique. Supposons vingt équipes testant indépendamment une hypothèse pour laquelle il n'y a en réalité aucun effet. En moyenne, une équipe obtiendra $p<0,05$. Les dix-neuf autres rangeront leurs résultats. La littérature contiendra donc un article, significatif, sur un effet inexistant — et, faute de connaître les dix-neuf autres, personne ne pourra le savoir. Le biais de publication ne se contente pas de gonfler les tailles d'effet: il peut créer de toutes pièces un phénomène qui n'existe pas.

Les degrés de liberté du chercheur

Même sans le moindre tri entre articles, un chercheur unique dispose d'assez de latitude analytique pour produire un résultat significatif à volonté. Simmons, Nelson et Simonsohn ont montré en 2011, dans un article devenu classique («False-positive psychology»), qu'un petit nombre de libertés d'analyse combinées suffisent à faire monter le taux de faux positifs bien au-delà de $5\%$ — au point de «démontrer» une absurdité, comme le fait qu'écouter une chanson rajeunit ceux qui l'écoutent.

Il faut insister sur un point moral: le $p$-hacking n'est presque jamais une fraude consciente. Il naît d'un raisonnement qui semble raisonnable sur le moment («ce participant n'a manifestement pas compris la consigne»; «il est normal de contrôler l'âge»), et se trouve simplement biaisé par la connaissance de l'effet de chaque choix sur le résultat. C'est ce qui le rend si répandu — et c'est pourquoi la parade n'est pas l'exhortation à la vertu, mais un dispositif: fixer le plan d'analyse avant de voir les données.

HARKing

Ce qu'un résultat significatif vaut réellement

Assemblons maintenant les pièces. Nous savons calculer $P(\text{significatif}\mid \text{effet reˊel})$: c'est la puissance. Nous savons que $P(\text{significatif}\mid \text{pas d’effet})=\alpha$. Ce que veut le lecteur, c'est l'inverse: $P(\text{effet reˊel}\mid \text{significatif})$. Le théorème de Bayes fait la conversion, à condition de fournir la pièce manquante — la proportion d'hypothèses vraies parmi celles que le champ explore.

Démonstration. Notons $H_1$ l'événement «l'hypothèse testée est vraie», de probabilité a priori $P(H_1)=\pi$, et $S$ l'événement «le test est significatif». Par définition de la puissance et du seuil,

La formule des probabilités totales donne la probabilité d'observer un résultat significatif:

Le théorème de Bayes s'écrit alors

C'est exactement la structure de la négligence des taux de base du chapitre 11: le numérateur est le flux de vrais positifs, le dénominateur la somme des vrais et des faux positifs. Quand $\pi$ est faible, le second flux domine, si petite que soit $\alpha$.

La crise de la réplication

Le constat

À partir de 2011, une série de projets collectifs ont entrepris de reprendre des résultats publiés et de les tester à nouveau, avec des protocoles convenus à l'avance, des effectifs bien plus grands et souvent plusieurs laboratoires en parallèle: le Reproducibility Project: Psychology de l'Open Science Collaboration, les séries Many Labs, les Registered Replication Reports. Leur constat général est robuste et se résume en deux points:

1. Une proportion importante des résultats publiés ne se répliquent pas — l'ordre de grandeur, selon les projets et les critères retenus, est qu'environ la moitié ou moins des effets testés ressortent significatifs dans la réplication.
2. Les tailles d'effet répliquées sont nettement plus petites que les originales — de l'ordre de la moitié, là encore comme ordre de grandeur et non comme constante.

Ces deux constats sont exactement ce que prédisent les sections précédentes: le second découle de la malédiction du vainqueur, le premier de la combinaison d'une puissance faible et d'un biais de publication. La crise de la réplication n'est pas un mystère; c'est la conséquence arithmétique de pratiques qu'on connaissait depuis cinquante ans.

Plusieurs résultats célèbres en ont fait les frais, et ils sont instructifs précisément parce qu'ils ont échoué. L'épuisement du moi (ego depletion) n'a pas survécu à une réplication multi-laboratoires préenregistrée. Les effets des postures de pouvoir sur les hormones et la prise de risque n'ont pas été retrouvés dans des études à plus grand effectif — seul subsiste un effet subjectif de «sentiment de puissance», qui est une tout autre affirmation. L'hypothèse de la rétroaction faciale dans sa version forte n'a pas résisté à une réplication coordonnée. Les grands essais préenregistrés sur l'état d'esprit de développement (growth mindset) trouvent des effets moyens très faibles, de l'ordre du dixième d'écart-type au plus, et concentrés sur certains sous-groupes. La menace du stéréotype donne des effets faibles ou nuls dans les grandes réplications. Le pouvoir prédictif du test du marshmallow se réduit fortement une fois le milieu socio-économique pris en compte. À l'inverse, l'effet d'espacement et l'effet de test figurent parmi les résultats les mieux établis de toute la psychologie: ils se répliquent dans des dizaines de laboratoires, sur des matériaux et des populations variés, avec des tailles d'effet stables. La différence entre les deux listes n'est pas une question de mode: c'est une question de preuve.

Les remèdes qui fonctionnent

• Le préenregistrement. Déposer, sur une plateforme horodatée et publique, les hypothèses, le plan d'échantillonnage, l'effectif visé, les critères d'exclusion et les analyses prévues, avant de collecter les données. Ce dispositif ne rend pas les analyses exploratoires interdites: il les rend identifiables comme telles. C'est la parade directe aux degrés de liberté du chercheur et au HARKing.
• Les rapports enregistrés (registered reports). Un format éditorial où la revue évalue et accepte le protocole avant la collecte, et s'engage à publier le résultat quel qu'il soit. Il supprime à la fois le biais de publication et l'incitation au $p$-hacking, puisque la publication ne dépend plus du résultat.
• Des échantillons plus grands et des collaborations multi-sites. Le tableau 3.4 rend la conclusion inévitable: pour les effets qu'étudie la psychologie, les effectifs nécessaires dépassent souvent les moyens d'un laboratoire unique. D'où les consortiums qui répartissent la collecte sur des dizaines de sites, avec l'avantage supplémentaire de tester la généralisation entre populations et entre laboratoires.
• Le partage des données, du matériel et du code. Il permet la vérification indépendante des analyses et la réutilisation. En Suisse, le Fonds national suisse conditionne son financement à un plan de gestion des données et au dépôt des données lorsque c'est possible; le partage doit évidemment respecter la nLPD et les conditions de consentement approuvées par la commission cantonale d'éthique.
• Renoncer à la dichotomie. Rapporter systématiquement la taille d'effet et son intervalle de confiance plutôt que le seul verdict «significatif / non significatif». Un $I{C}_{95\%}$ dit d'un coup ce que la valeur cache: la direction, la magnitude plausible et la précision de l'estimation.

La méta-analyse et ses propres pièges

Le graphique standard s'appelle un forest plot: chaque étude y occupe une ligne, marquée par un carré placé à sa taille d'effet — d'autant plus gros que l'étude est précise — et prolongé par un trait horizontal figurant son intervalle de confiance. Tout en bas, un losange représente l'estimation combinée et son intervalle. On y lit d'un coup d'œil trois choses: où se situe l'effet global, si les études s'accordent (traits alignés) ou non (traits dispersés), et si les petites études tirent l'estimation d'un côté.

Une méta-analyse ne vaut pourtant pas mieux que la littérature qu'elle agrège, et c'est son piège central: si le biais de publication a filtré les résultats nuls, la moyenne des études publiées est biaisée vers le haut, et l'agrégation ne fait que donner une précision rassurante à un chiffre faux. On dispose de correctifs — l'examen du funnel plot (asymétrie du nuage des études selon leur précision), les méthodes de sélection, la comparaison avec les seules études préenregistrées — mais aucun n'est pleinement fiable. Deux autres pièges: agréger des études méthodologiquement médiocres ne les améliore pas (garbage in, garbage out), et agréger des opérationnalisations trop hétérogènes revient à moyenner des pommes et des poires.

Synthèse

• Une mesure psychologique est une opérationnalisation d'une variable latente. Sa fidélité (constance) borne sa validité (justesse) selon $|r_{XY}|\le \sqrt{r_{XX}{r}_{YY}}$: on peut être fidèle sans être valide, jamais l'inverse. L'erreur aléatoire se combat par les effectifs, l'erreur systématique seulement par le devis.

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.

Références

• Gazzaniga, M., Heatherton, T. et Halpern, D., Psychological Science, W. W. Norton, New York, chapitres sur la méthode scientifique et l'analyse des données.
• Schacter, D. L., Gilbert, D. T. et Wegner, D. M., Psychologie, De Boeck Supérieur, Louvain-la-Neuve, chapitre «Méthodes de recherche en psychologie».
• Myers, D. G., Psychologie, Flammarion / Worth, chapitre sur le raisonnement statistique dans la vie quotidienne.
• Cohen, J., Statistical Power Analysis for the Behavioral Sciences, 2e éd., Lawrence Erlbaum, Hillsdale, 1988 (tailles d'effet, puissance, tables d'effectifs).
• Ioannidis, J. P. A., «Why most published research findings are false», PLoS Medicine, 2(8), 2005; Simmons, J. P., Nelson, L. D. et Simonsohn, U., «False-positive psychology», Psychological Science, 22(11), 2011; Kerr, N. L., «HARKing: hypothesizing after the results are known», Personality and Social Psychology Review, 2(3), 1998.
• Open Science Collaboration, «Estimating the reproducibility of psychological science», Science, 349(6251), 2015; rapports des projets Many Labs et des Registered Replication Reports.
• Polycopiés de méthodologie et de statistique des facultés de psychologie de l'UNIGE et de l'UNIL; Fonds national suisse, directives sur l'Open Research Data.