Mesure, statistique et réplication · Psychologie générale

Objectifs du chapitre

À la fin de ce chapitre, vous serez capable de:

distinguer une variable latente de ses indicateurs, situer une mesure sur l'une des quatre échelles (nominale, ordinale, d'intervalle, de rapport) et dire quelles opérations chacune autorise;
définir la fidélité et la validité d'une mesure, expliquer pourquoi une mesure peut être fidèle sans être valide mais jamais valide sans être fidèle, et reconnaître les trois formes de chacune;
énoncer exactement ce qu'est une valeur $p$ , et réfuter les quatre malentendus qui la rendent dangereuse;
convertir une taille d'effet $d$ de Cohen en probabilité de supériorité et en pourcentage de recouvrement, et calculer l'effectif nécessaire pour atteindre une puissance donnée;
expliquer, théorème de Bayes à l'appui, pourquoi une littérature faite d'études sous-puissantes contient beaucoup de résultats faux et surestime systématiquement les effets qu'elle rapporte;
décrire la crise de la réplication, nommer les pratiques qui l'ont produite (biais de publication, degrés de liberté du chercheur, HARKing) et celles qui la corrigent (préenregistrement, rapports enregistrés, grands échantillons, partage des données, méta-analyse).

Ce chapitre est la colonne vertébrale du cours. Les onze autres chapitres présentent des résultats; celui-ci enseigne le standard de preuve qui permet de dire lesquels méritent votre confiance. Vous y trouverez peu d'expériences célèbres et beaucoup d'outils: c'est délibéré. Un étudiant qui sort de ce chapitre en sachant lire une taille d'effet et un intervalle de confiance est mieux armé qu'un étudiant qui connaît cent expériences par cœur.

Mesurer un objet qu'on ne voit pas

Variables latentes et indicateurs

Un géomètre mesure une distance; un psychologue mesure l'anxiété, la mémoire de travail ou l'attitude envers l'immigration. La différence n'est pas de degré: aucune de ces trois grandeurs n'est directement observable. Elles n'existent, pour le chercheur, qu'à travers des indicateurs — des comportements, des réponses à des items, des temps de réaction, des mesures physiologiques — dont on postule qu'ils dépendent d'une cause commune non observée.

Cette dépendance à l'opérationnalisation a une conséquence qu'il faut accepter d'emblée: quand une expérience échoue, on ne sait jamais immédiatement si c'est la théorie ou la mesure qui a échoué. Un résultat nul peut signifier «le stress ne dégrade pas la mémoire de travail» ou bien «mon empan de chiffres à trois essais ne mesure pas la mémoire de travail». La discipline vit avec cette ambiguïté, et la seule parade est de rendre la mesure elle-même objet d'étude — ce que fait la psychométrie.

Les quatre échelles de mesure

Attribuer des nombres à des observations ne suffit pas à autoriser toutes les opérations arithmétiques sur ces nombres. La classification proposée par Stevens dans les années 1940 reste l'outil de base.

Échelle	Ce que le nombre code	Opérations légitimes	Indicateurs de position	Exemple
Nominale	une identité, une catégorie	$=$ , $\neq =$ , effectifs	mode	diagnostic, langue maternelle, condition expérimentale
Ordinale	un rang	$=$ , $\neq =$ , comparaison de rangs	mode, médiane	classement de préférences, stades de Piaget, échelle de douleur
D'intervalle	des écarts égaux, zéro arbitraire	$+$ , $-$ , moyenne, écart-type	moyenne, médiane, mode	température en degrés Celsius, score de QI, année du calendrier
De rapport	des écarts égaux, zéro absolu	$+$ , $-$ , $\times$ , $\div$	toutes	temps de réaction, nombre d'items rappelés, fréquence cardiaque

Tableau 3.1 — Les quatre échelles de Stevens et les opérations qu'elles autorisent.

La règle pratique tient en une phrase: on ne peut faire un rapport que sur une échelle de rapport. Un QI de 140 n'est pas «deux fois» un QI de 70, pas plus que 20 °C ne sont deux fois 10 °C, parce que le zéro de ces deux échelles est conventionnel. En revanche, un temps de réaction de 600 ms est bien le double de 300 ms, car l'absence de délai est un zéro réel.

Le cas litigieux, en psychologie, est l'échelle de Likert («pas du tout d'accord» … «tout à fait d'accord», codée de 1 à 5). Stricto sensu, elle est ordinale: rien ne garantit que l'écart entre 1 et 2 vaut celui entre 4 et 5. L'usage dominant consiste tout de même à moyenner de tels scores, en s'appuyant sur deux arguments: la somme de plusieurs items se comporte empiriquement comme une échelle d'intervalle, et les procédures paramétriques usuelles sont robustes à cette entorse. C'est un compromis, pas une démonstration; sachez que vous le faites.

Fidélité

Définition · fidélité

La fidélité (reliability) d'une mesure est la constance de ses résultats: dans quelle mesure la même personne, mesurée dans les mêmes conditions, obtient-elle le même score? Formellement, c'est la part de la variance des scores observés qui provient de la variance des scores vrais plutôt que de l'erreur aléatoire. Trois formes:

la fidélité test-retest: corrélation entre deux passations séparées dans le temps (elle suppose que le trait est stable dans l'intervalle);
la cohérence interne: degré auquel les items d'une même échelle mesurent la même chose (estimée par l'alpha de Cronbach ou, préférablement, par l'oméga de McDonald);
la fidélité inter-juges (inter-rater reliability): accord entre deux observateurs codant indépendamment le même matériel (kappa de Cohen pour des catégories, corrélation intraclasse pour des scores).

Une remarque sur l'alpha de Cronbach, qui figure dans presque tous les articles: il augmente mécaniquement avec le nombre d'items. Un alpha élevé ne signifie donc pas qu'une échelle mesure une seule chose, seulement que ses items covarient; une échelle longue et hétérogène peut afficher un alpha confortable. Il ne dispense pas d'examiner la structure factorielle.

Validité

Définition · validité

La validité (validity) d'une mesure est la justesse de ce qu'elle mesure: l'instrument capte-t-il bien le construit visé, et non autre chose? Trois formes classiques:

la validité de contenu: les items couvrent-ils l'ensemble du domaine? Un test d'anxiété qui n'interrogerait que les symptômes corporels manquerait la composante cognitive;
la validité de critère: le score prédit-il un critère externe? On distingue la validité concomitante (critère mesuré en même temps) et la validité prédictive (critère mesuré plus tard: réussite universitaire, rechute, performance professionnelle);
la validité de construit: le score se comporte-t-il comme la théorie le prévoit? Elle se démontre par convergence (corrélation forte avec d'autres mesures du même construit) et par discrimination (corrélation faible avec des mesures de construits différents).

L'asymétrie entre fidélité et validité

Les deux notions sont souvent présentées comme un couple symétrique. Elles ne le sont pas.

Une mesure peut être parfaitement fidèle sans être valide: une balance déréglée de deux kilos donne toujours le même chiffre, et toujours le mauvais. Un questionnaire qui mesure en réalité la désirabilité sociale la mesure peut-être excellemment, et livrera des scores très stables — qui ne disent rien de l'altruisme qu'il prétend évaluer. L'erreur est ici systématique: elle ne s'annule pas quand on répète la mesure, et augmenter la taille de l'échantillon ne la corrige pas. C'est ce qui la rend redoutable.

L'inverse est impossible. Une mesure infidèle ne peut pas être valide, parce que ses fluctuations aléatoires diluent l'information qu'elle contient. La théorie classique des tests le formalise: si $X = T + E$ , où $T$ est le score vrai et $E$ une erreur aléatoire indépendante, la corrélation observée entre deux mesures $X$ et $Y$ est bornée par leurs fidélités,

∣ r_{X Y} ∣ \leq r_{X X} r_{Y Y} . (3.1)

Une échelle de fidélité $0, 64$ corrélée à un critère parfaitement mesuré ne peut donc pas dépasser $r = 0, 64 = 0, 80$ , quelle que soit la qualité de la théorie sous-jacente. La fidélité est une condition nécessaire de la validité, jamais une condition suffisante. D'où la formule à retenir: la fidélité borne la validité; la validité, elle, ne borne rien.

Figure 3.1. Les quatre combinaisons de fidélité et de validité. Chaque cible déclare un biais systématique et une dispersion aléatoire; les impacts sont engendrés à partir de ces deux nombres. Le cercle vide marque la moyenne des mesures, le trait pointillé le biais. En bas à gauche, les mesures sont dispersées mais justes en moyenne: augmenter l'échantillon ramène la moyenne vers le centre. À droite, aucun effectif ne corrigera jamais le décalage.

Cette figure porte une idée méthodologique majeure: l'erreur aléatoire se combat par les effectifs, l'erreur systématique ne se combat que par le devis. Un échantillon de dix mille personnes interrogées avec un instrument biaisé donne un chiffre faux avec une belle précision. C'est exactement ce qui s'est passé, en 1936, avec le sondage du Literary Digest sur l'élection présidentielle américaine: plus de deux millions de réponses, et une prédiction inverse du résultat, parce que l'échantillon était tiré de listes d'abonnés au téléphone et de propriétaires d'automobiles.

Un cas d'école: le test d'association implicite

Le test d'association implicite (Implicit Association Test, IAT) est l'illustration la plus nette de tout ce qui précède, et il mérite qu'on s'y arrête. Son principe est purement chronométrique. On demande au participant de classer, le plus vite possible et avec la même touche, des éléments appartenant à deux catégories appariées — par exemple des visages d'un groupe social et des mots à valence positive —, puis on inverse l'appariement. La mesure est la différence de temps de réaction entre le bloc dit congruent et le bloc dit incongruent, standardisée par la variabilité intra-individuelle. L'idée qui l'a rendu célèbre dès la fin des années 1990 est séduisante: puisque la réponse se joue en quelques centaines de millisecondes, elle échapperait au contrôle volontaire et donnerait accès à des attitudes que le questionnaire ne peut pas atteindre, soit parce que la personne ne veut pas les déclarer, soit parce qu'elle-même les ignore. Le phénomène de base — des temps de réaction en moyenne plus longs dans la condition incongruente — est solide et se réplique sans difficulté. Ce qui est en cause n'est pas l'effet: c'est ce que le score d'un individu autorise à conclure.

Reprenons les deux critères du chapitre. Côté fidélité, l'IAT présente une cohérence interne acceptable — les blocs d'un même test s'accordent —, mais une fidélité test-retest notoirement modeste: la même personne repassant le test à quelques semaines d'intervalle obtient souvent un score sensiblement différent, et la corrélation entre les deux passations reste bien en dessous de ce qu'on exige d'un instrument de diagnostic. Or la relation (3.1) est sans appel: une fidélité médiocre plafonne mécaniquement toute corrélation observable avec un critère externe. Avant même de discuter de ce que l'IAT mesure, sa seule instabilité temporelle interdit d'en faire une caractéristique stable d'une personne. Côté validité de critère, les méta-analyses qui relient le score IAT à des comportements discriminatoires effectivement observés trouvent une association de direction attendue mais de magnitude faible, et les estimations varient d'une synthèse à l'autre selon les critères retenus, les comportements mesurés et le traitement du biais de publication; la prédiction est plus faible encore lorsqu'il s'agit d'anticiper le comportement d'un individu plutôt qu'une tendance moyenne. C'est précisément l'usage que le discours public en fait — «ce test révèle vos biais» — et c'est celui que les données soutiennent le moins.

Le statut à retenir est donc double, et c'est ce qui en fait un excellent exercice: l'effet chronométrique et son utilité pour étudier des phénomènes au niveau des groupes relèvent du plausible et largement documenté; l'interprétation du score individuel comme mesure d'un préjugé personnel, et son emploi pour un diagnostic, un recrutement ou une sélection, sont contestés — faible fidélité test-retest, faible validité prédictive individuelle. Un instrument peut ainsi être parfaitement légitime pour comparer des conditions expérimentales ou des moyennes de groupes, et impropre à qualifier une personne: l'erreur de mesure qui s'annule en moyenne sur des centaines de participants reste entière sur un score isolé. Retenez la formule générale, qui vaut bien au-delà de l'IAT et que vous retrouverez au chapitre 12 à propos des échelles de personnalité: la validité d'une mesure n'est jamais une propriété de l'instrument seul, mais du couple instrument–usage. Demander «l'IAT est-il valide?» n'a pas de sens; demander «est-il valide pour cet usage-ci?» en a un, et la réponse peut être oui pour la recherche sur les groupes et non pour la décision individuelle.

Exercice

Un laboratoire genevois construit une échelle d'empathie de 30 items. La cohérence interne est excellente et deux passations à six mois d'intervalle corrèlent à $0, 91$ . Une analyse ultérieure montre que le score corrèle à $0, 75$ avec une échelle de désirabilité sociale et à $0, 10$ seulement avec le comportement d'aide observé en laboratoire. Quelles conclusions sont justifiées?

Plusieurs réponses possibles

Décrire avant d'inférer

Cette section est brève à dessein: le cœur du chapitre est ailleurs. Mais aucune inférence ne vaut plus que la description qui la précède.

Trois indicateurs de tendance centrale: le mode (valeur la plus fréquente), la médiane (valeur qui partage la série en deux moitiés) et la moyenne arithmétique $\overset{ˉ}{X} = \frac{1}{n} \sum_{i} X_{i}$ . La moyenne est la seule qui utilise toute l'information numérique, et la seule qui soit sensible aux valeurs extrêmes. Pour des temps de réaction, dont la distribution est fortement asymétrique à droite, la médiane est souvent plus informative, et l'usage courant consiste soit à la préférer, soit à écarter les essais aberrants selon un critère fixé à l'avance (nous verrons dans la section sur le $p$ -hacking pourquoi ce «à l'avance» est capital).

Deux indicateurs de dispersion: la variance $s^{2} = \frac{1}{n - 1} \sum_{i} (X_{i} - \overset{ˉ}{X})^{2}$ et sa racine, l'écart-type $s$ , qui a l'avantage d'être exprimé dans l'unité des données. Une moyenne sans écart-type est un résultat mutilé: dire que le groupe entraîné rappelle en moyenne 12 mots et le groupe témoin 10 ne veut rien dire tant qu'on ignore si les écarts-types valent 1 ou 8.

La distribution normale joue un rôle central pour une raison mathématique — le théorème central limite fait tendre vers elle la distribution des moyennes d'échantillons, quelle que soit (sous conditions) la distribution d'origine. Elle est symétrique, entièrement décrite par $μ$ et $σ$ , et place environ $68, 3 %$ des observations à moins d'un écart-type de la moyenne, $95, 4 %$ à moins de deux et $99, 7 %$ à moins de trois.

L'abus de la normale

Rien n'oblige une variable psychologique à être normalement distribuée, et beaucoup ne le sont pas: les temps de réaction sont asymétriques, les scores de symptômes cliniques s'entassent près de zéro en population générale, les revenus et les tailles de vocabulaire ont des queues épaisses. Deux erreurs courantes en découlent. D'abord, appliquer sans examen des procédures qui supposent la normalité des résidus — ce n'est pas la variable brute qui doit être normale. Ensuite, croire qu'un score de QI est normalement distribué parce que l'intelligence l'est: la normalité du QI est une construction, obtenue par étalonnage sur une population de référence à laquelle on impose une moyenne de 100 et un écart-type de 15. La forme de la distribution y est décidée, pas observée.

Inférer: la logique du test d'hypothèse

L'hypothèse nulle et le raisonnement du test

Vous observez que le groupe entraîné rappelle en moyenne $1, 8$ mot de plus que le groupe témoin. Deux explications rivalisent: l'entraînement fonctionne, ou bien le hasard de l'échantillonnage a produit cette différence alors qu'il n'y a aucun effet dans la population. Le test d'hypothèse est la procédure qui arbitre — imparfaitement — entre les deux.

Le raisonnement se déroule en quatre temps. On pose $H_{0}$ . On calcule une statistique de test qui résume l'écart entre les données et ce que $H_{0}$ prédit — typiquement une différence divisée par son erreur type. On détermine la distribution de cette statistique sous $H_{0}$ , dite distribution d'échantillonnage. On regarde enfin où tombe la valeur observée dans cette distribution.

Cette dernière phrase contient tout le chapitre. La valeur $p$ répond à la question «à quel point mes données sont-elles inattendues dans un monde sans effet?». Elle ne répond pas à la question qui intéresse le chercheur, «quelle est la probabilité qu'il y ait un effet?». Les deux questions sont liées par le théorème de Bayes, qui exige des ingrédients supplémentaires — une probabilité a priori et une puissance — dont la valeur $p$ ne dispose pas. Nous y viendrons au théorème 3.3.

Ce que la valeur p n'est pas

Quatre malentendus, tous fréquents, tous faux, et tous responsables d'une part de la crise décrite à la fin de ce chapitre.

1. Ce n'est pas la probabilité que l'hypothèse nulle soit vraie. $p$ est $P (donn \overset{e}{ˊ} es ∣ H_{0})$ , et non $P (H_{0} ∣ donn \overset{e}{ˊ} es)$ . Inverser une conditionnelle est une erreur logique, la même que celle du chapitre 11 sur les taux de base: la probabilité qu'un animal ait quatre pattes sachant que c'est un chien vaut à peu près 1, mais la probabilité que ce soit un chien sachant qu'il a quatre pattes est bien plus faible. Un $p = 0, 03$ ne signifie pas «il y a 3 % de chances que l'effet n'existe pas».

2. Ce n'est pas la probabilité que le résultat se réplique. Rien dans $(3.3)$ ne parle d'une étude future. La probabilité qu'une réplication soit à son tour significative est la puissance de cette réplication, qui dépend de la vraie taille d'effet et de l'effectif prévu — deux quantités absentes du calcul de $p$ . Une première étude à $p = 0, 04$ obtenue avec de petits groupes annonce, nous le verrons, une réplication à la probabilité de succès médiocre.

3. Ce n'est pas une mesure de la taille de l'effet. La valeur $p$ dépend conjointement de l'effet et de l'effectif. Avec $n$ assez grand, un effet dérisoire devient «significatif»; avec $n$ petit, un effet considérable ne l'est pas. Écrire « $p < 0, 001$ , l'effet est donc très fort» est un contresens: cela signifie seulement que le résultat serait très surprenant sous $H_{0}$ , ce qui arrive facilement quand l'échantillon est grand. Un $p$ minuscule sur $50000$ observations peut accompagner une différence sans aucune portée pratique.

4. « $p > 0, 05$ » ne signifie pas «pas d'effet». L'absence de preuve n'est pas la preuve de l'absence. Un résultat non significatif est compatible avec un effet nul, mais aussi avec un effet réel que l'étude n'avait pas la puissance de détecter. C'est l'erreur la plus coûteuse de toutes, car elle transforme une étude ratée en découverte négative. Pour conclure à l'absence d'effet, il faut d'autres outils: un intervalle de confiance étroit autour de zéro, un test d'équivalence, un facteur de Bayes.

Le seuil de 0,05

Le seuil $α = 0, 05$ n'est pas une constante de la nature. C'est une convention, popularisée par Fisher dans les années 1920 comme un repère commode, et Fisher lui-même la présentait comme un point de départ pour le jugement, non comme une frontière entre le vrai et le faux. Le taux d'erreur de première espèce qu'elle fixe, $α = P (rejeter H_{0} ∣ H_{0} vraie)$ , signifie qu'une hypothèse nulle vraie sur vingt sera rejetée à tort.

Deux conséquences pratiques. D'abord, il n'existe aucune différence qualitative entre $p = 0, 049$ et $p = 0, 051$ ; les traiter comme deux mondes distincts est une superstition, que la présentation dichotomique «significatif / non significatif» entretient. Ensuite, dès qu'on multiplie les tests, le taux d'erreur global explose: sur vingt tests indépendants d'hypothèses toutes nulles, la probabilité d'obtenir au moins un résultat significatif vaut $1 - 0, 9 5^{20} \approx 0, 64$ . C'est le problème des comparaisons multiples, et c'est le mécanisme par lequel une étude assez généreuse en analyses finit toujours par trouver quelque chose.

Exercice

Une étude compare la mémoire de deux groupes et rapporte $p = 0, 18$ . Laquelle de ces conclusions est correcte?

La taille d'effet

Une différence, exprimée en écarts-types

Si la valeur $p$ ne dit rien de l'ampleur d'un phénomène, il faut une autre grandeur. C'est le rôle des tailles d'effet, dont la plus utilisée pour comparer deux moyennes est le $d$ de Cohen.

Ces qualificatifs — «petit», «moyen», «grand» — sont trompeurs tant qu'on ne les traduit pas en quelque chose d'imaginable. Le théorème suivant fournit cette traduction, et c'est probablement le résultat le plus utile de tout le chapitre pour recalibrer votre intuition.

Démonstration. Posons $D = X_{1} - X_{2}$ . Les variables $X_{1} \sim N (μ_{1}, σ^{2})$ et $X_{2} \sim N (μ_{2}, σ^{2})$ étant indépendantes et normales, leur différence est normale, d'espérance $μ_{1} - μ_{2}$ et de variance $σ^{2} + σ^{2} = 2 σ^{2}$ (les variances de variables indépendantes s'ajoutent, y compris pour une différence). Donc $D \sim N (μ_{1} - μ_{2}, 2 σ^{2})$ , et

P (X_{1} > X_{2}) = P (D > 0) = P (\frac{D - ( μ _{1} - μ _{2} )}{σ 2} > \frac{- ( μ _{1} - μ _{2} )}{σ 2}) = Φ (\frac{μ _{1} - μ _{2}}{σ 2}) = Φ (\frac{d}{2}),

la dernière égalité utilisant la symétrie de la loi normale, $1 - Φ (- u) = Φ (u)$ .

Pour le recouvrement, plaçons les deux densités en $\pm d /2$ par translation, ce qui ne change pas leur aire commune. Les densités $f_{1}$ et $f_{2}$ étant symétriques l'une de l'autre par rapport à $0$ , elles se croisent exactement en $x = 0$ , et l'aire commune est celle de la fonction $min (f_{1}, f_{2})$ , soit deux fois la queue d'une normale au-delà de son centre décalé de $d /2$ :

OVL = 2 \int_{- \infty}^{0} f (x + \frac{d}{2}) d x = 2 Φ (- \frac{d}{2}) . □

Le tableau suivant applique ces deux formules aux repères de Cohen.

$d$	$P (X_{1} > X_{2})$	Recouvrement	Lecture concrète
$0, 2$	$55, 6 %$	$92 %$	presque indiscernable à l'œil nu
$0, 3$	$58, 4 %$	$88 %$	ordre de grandeur fréquent en psychologie sociale
$0, 5$	$63, 8 %$	$80 %$	«effet moyen»
$0, 8$	$71, 4 %$	$69 %$	«grand effet»
$1, 0$	$76, 0 %$	$62 %$	rare hors psychophysique

Tableau 3.2 — Ce que valent les repères de Cohen une fois traduits.

Lisez la ligne du milieu lentement. Pour un effet moyen, un individu tiré au sort dans le groupe traité dépasse un individu tiré au sort dans le groupe témoin dans environ $64 %$ des cas seulement — contre $50 %$ si le traitement ne faisait rien. Les deux distributions se recouvrent encore sur $80 %$ de leur aire. Et pour un effet grand, celui que les manuels décrivent comme spectaculaire, la proportion monte à $71 %$ et le recouvrement reste de deux tiers. Autrement dit: presque tous les effets dont parle la psychologie sont des déplacements modestes de distributions largement superposées. Ce n'est pas une faiblesse de la discipline, c'est la nature de son objet — mais cela interdit les formulations du type «les hommes sont plus X que les femmes» ou «les enfants exposés à Y deviennent Z», qui suggèrent des populations séparées là où il y a deux nuages presque confondus.

Figure 3.2. Deux distributions normales de même écart-type séparées par d = 0,2, 0,5 et 0,8. Les densités sont échantillonnées depuis la formule de la loi normale, et la zone grisée est le recouvrement des deux distributions, dont l'aire vaut 2 Φ(−d/2). Même pour un «grand» effet, plus des deux tiers des deux populations se superposent.

Exemple 3.2 · Un entraînement de la mémoire de travail

Les chiffres qui suivent sont construits pour l'exemple; ils ne proviennent d'aucune étude publiée. Une expérience compare le nombre de mots rappelés après une séance d'entraînement. Groupe entraîné: $\overset{ˉ}{X}_{1} = 11, 6$ mots, $s_{1} = 3, 1$ , $n_{1} = 40$ . Groupe témoin: $\overset{ˉ}{X}_{2} = 10, 1$ mots, $s_{2} = 2, 9$ , $n_{2} = 40$ .

L'écart-type commun vaut

s_{commun} = \frac{39 \times 3 , 1 ^{2} + 39 \times 2 , 9 ^{2}}{78} = \frac{9 , 61 + 8 , 41}{2} = 9, 01 = 3, 00,

d'où $d = \frac{11 , 6 - 10 , 1}{3 , 00} = 0, 50$ . C'est un effet «moyen» au sens de Cohen. Traduction par le théorème 3.1: un participant entraîné tiré au hasard rappellera plus de mots qu'un participant témoin tiré au hasard dans $Φ (0, 50/ 2) = Φ (0, 354) = 63, 8 %$ des cas, et les deux distributions se recouvrent sur $80 %$ de leur aire.

Notez ce que le résultat ne dit pas: il ne dit pas que l'entraînement «fonctionne» pour un individu donné. Il dit qu'en moyenne, dans ce paradigme et pour cette mesure, la distribution s'est déplacée d'un demi-écart-type. Sur la question du transfert de tels entraînements à des tâches non entraînées, le constat de la littérature est au contraire négatif: les gains restent confinés aux tâches exercées, et le transfert lointain n'est pas établi — c'est le statut contesté de l'entraînement cérébral commercial, sur lequel nous revenons au chapitre 9.

Exercice

Une méta-analyse conclut à un effet de $d = 0, 30$ d'une intervention sur la performance scolaire. Quelle est la probabilité, en pourcentage, qu'un élève tiré au hasard du groupe traité dépasse un élève tiré au hasard du groupe témoin?

La puissance

Deux erreurs, deux risques

Un test peut se tromper de deux façons, et les traiter symétriquement est l'une des rares choses simples de ce chapitre.

	$H_{0}$ vraie (pas d'effet)	$H_{0}$ fausse (effet réel)
On rejette $H_{0}$	erreur de type I, probabilité $α$	décision correcte, probabilité $1 - β$ (puissance)
On ne rejette pas $H_{0}$	décision correcte, probabilité $1 - α$	erreur de type II, probabilité $β$

Tableau 3.3 — Les deux erreurs du test d'hypothèse.

Démonstration. La statistique de test est $Z = \frac{X ˉ _{1} - X ˉ _{2}}{σ 2/ n}$ , dont l'erreur type au dénominateur découle de $Var (\overset{ˉ}{X}_{1} - \overset{ˉ}{X}_{2}) = \frac{σ ^{2}}{n} + \frac{σ ^{2}}{n} = \frac{2 σ ^{2}}{n}$ . Sous $H_{0}$ , $Z \sim N (0, 1)$ et l'on rejette lorsque $∣ Z ∣ > z_{1 - α /2}$ .

Si la vraie différence des moyennes vaut $μ_{1} - μ_{2} = d σ$ , alors $Z$ suit une loi normale de variance $1$ et d'espérance

δ = \frac{d σ}{σ 2/ n} = d \frac{n}{2},

quantité appelée paramètre de non-centralité. La puissance exacte est donc

1 - β = Φ (δ - z_{1 - α /2}) + Φ (- δ - z_{1 - α /2}) . (3.8)

Le second terme, qui correspond à un rejet du «mauvais côté», est négligeable dès que $δ$ est appréciable. En le laissant de côté, la condition $1 - β \geq$ objectif s'écrit $δ - z_{1 - α /2} \geq z_{1 - β}$ , soit $d n /2 \geq z_{1 - α /2} + z_{1 - β}$ , et en élevant au carré,

n \geq \frac{2 ( z _{1 - α /2} + z _{1 - β} ) ^{2}}{d ^{2}} .

Numériquement, $2 (1, 9600 + 0, 8416)^{2} = 2 \times 7, 849 = 15, 70$ , ce qui donne (3.7). $□$

Le chiffre qui devrait choquer

Appliquons (3.7). Pour $α = 0, 05$ bilatéral et $80 %$ de puissance, il faut par groupe:

Taille d'effet visée	$n$ par groupe (80 % de puissance)	$n$ par groupe (90 %)
$d = 0, 2$	393	526
$d = 0, 3$	175	234
$d = 0, 4$	99	132
$d = 0, 5$	63	85
$d = 0, 8$	25	33

Tableau 3.4 — Effectifs requis par groupe selon l'approximation (3.6); ce sont les mêmes valeurs que les repères de la figure 3.3, qui les obtient en cherchant directement le plus petit $n$ pour lequel la puissance exacte (3.8) atteint $0, 80$ — l'approximation ne se trompe donc pas ici. En revanche, un calcul fondé sur la loi de Student, qui tient compte de ce que la variance est estimée et non connue, ajoute un ou deux sujets par groupe ( $394$ , $64$ et $26$ pour $d = 0, 2$ , $0, 5$ et $0, 8$ ): en pratique, dimensionnez avec (3.6) et ajoutez cette marge, que les abandons consommeront de toute façon.

Confrontez maintenant cette colonne à la pratique. Une part considérable de la littérature psychologique classique — celle qui alimente encore les manuels — repose sur des expériences comptant une vingtaine de participants par groupe. Avec $n = 20$ par groupe, la puissance calculée par (3.8) vaut environ $16 %$ pour $d = 0, 3$ , $35 %$ pour $d = 0, 5$ et $72 %$ pour $d = 0, 8$ . Autrement dit, pour l'effet moyen typique de la discipline, une telle étude avait deux chances sur trois de ne rien trouver alors même que l'effet existait. Ce diagnostic n'est pas rétrospectif: Cohen l'a établi dès 1962, en recalculant la puissance de toutes les études parues dans une revue de psychologie sur une année, et a trouvé une puissance moyenne de l'ordre de $0, 5$ pour un effet moyen. L'avertissement a été répété pendant cinquante ans sans effet notable sur les pratiques.

Figure 3.3. Puissance d'un test bilatéral au seuil 0,05 comparant deux moyennes indépendantes, en fonction de l'effectif par groupe, pour trois tailles d'effet. Les courbes sont calculées à partir de la puissance exacte (3.8). Le trait horizontal marque la convention de 80 %, et les repères verticaux donnent l'effectif qui l'atteint: 25 pour d = 0,8, mais 393 pour d = 0,2 — les mêmes valeurs que le tableau 3.4, comme l'explique la note qui le suit. Quand l'effectif est petit, toutes les courbes s'écrasent vers α = 0,05: le test ne fait presque plus que du bruit.

Ce qu'une étude sous-puissante produit vraiment

Le premier effet d'un manque de puissance est évident: on rate des effets réels. Le second l'est beaucoup moins, et il est bien plus grave.

Une étude sous-puissante surestime les effets qu'elle détecte. Le mécanisme est purement mécanique et n'implique aucune malhonnêteté. La taille d'effet estimée $\hat{d}$ fluctue autour de la vraie valeur $d$ avec une erreur type d'environ $2/ n$ . Or l'étude ne franchira le seuil de significativité que si $∣ \hat{d} ∣$ dépasse $1, 96 2/ n$ . Quand $n$ est petit, cette barre est haute — plus haute que l'effet réel lui-même. Seuls les échantillons qui, par chance, ont produit une estimation exagérément grande passent le filtre. Les autres, qui estimaient correctement l'effet, restent non significatifs et ne sont pas publiés.

La littérature publiée n'est donc pas un échantillon aléatoire des estimations: c'est leur queue supérieure. On appelle ce phénomène la malédiction du vainqueur (winner's curse), ou erreur de type M (pour magnitude).

Exemple 3.3 · Le facteur de surestimation, en chiffres

Supposons qu'un effet réel de $d = 0, 30$ existe et qu'on l'étudie avec $n = 20$ participants par groupe. L'erreur type de $\hat{d}$ vaut $2/20 = 0, 316$ , et le seuil de significativité est atteint pour $∣ \hat{d} ∣ > 1, 96 \times 0, 316 = 0, 62$ .

Puissance: $16 %$ . Cinq études sur six ne trouveront rien.
Mais parmi celles qui trouvent quelque chose, l'estimation moyenne de la taille d'effet vaut $∣ \hat{d} ∣ \approx 0, 78$ : la littérature publiera un effet 2,6 fois trop grand.

Avec le même effet réel étudié correctement, $n = 175$ par groupe, la puissance monte à $80 %$ et le facteur de surestimation tombe à $1, 12$ . La conclusion est contre-intuitive et centrale: plus une étude est petite, plus l'effet qu'elle publie est spectaculaire, non parce que les petits échantillons contiennent de plus grands effets, mais parce qu'eux seuls peuvent franchir le seuil.

C'est ce mécanisme, et non la fraude, qui explique l'essentiel du décalage observé entre études originales et réplications. Il explique aussi une observation qui déroute les étudiants: pourquoi une réplication à grand effectif trouve-t-elle presque toujours un effet plus petit que l'original? Parce que l'original était sélectionné pour être grand, et la réplication ne l'est pas. Et il fournit un test de dépistage: une petite étude qui rapporte un effet énorme n'est pas une étude convaincante, c'est une étude suspecte.

Explorateur de la valeur p, de la puissance et de ce qui se publie

À gauche, la distribution d'échantillonnage de la statistique de test sous l'hypothèse nulle (bleu) et sous l'effet réel (orange): la zone bleue à droite du seuil est le risque α de faux positif, la zone orange est la puissance. À droite, la composition des résultats significatifs publiés. Déplacez l'effectif: la distribution alternative s'éloigne de zéro et la puissance monte.

Puissance 1 − β

28,3 %

n pour 80 % de puissance

99par groupe

Valeur prédictive d'un résultat significatif

58,6 %

Surestimation attendue de l'effet publié

× 1,86

Taille d'effet réelle d0,40

Effectif par groupe n24

Proportion d'hypothèses vraies explorées20%

Exercice

Vous préparez une expérience à deux groupes indépendants et estimez la plus petite taille d'effet qui vous intéresserait à $d = 0, 25$ . Combien de participants par groupe faut-il pour atteindre une puissance de 80 % au seuil bilatéral de 0,05?

Pourquoi la littérature publiée est biaisée

Les trois sections précédentes décrivent des propriétés mathématiques des tests. Ce qu'il faut y ajouter maintenant, ce sont les incitations qui pèsent sur les chercheurs — car ce sont elles qui transforment des outils imparfaits en une littérature systématiquement fausse.

Le biais de publication et le tiroir à résultats nuls

Les revues publient plus volontiers ce qui est positif, nouveau et significatif. Les auteurs, qui le savent, soumettent moins volontiers leurs résultats nuls; ceux-ci finissent dans le tiroir. Rosenthal a nommé ce mécanisme le problème du tiroir (file drawer problem) dès 1979.

L'effet est arithmétique. Supposons vingt équipes testant indépendamment une hypothèse pour laquelle il n'y a en réalité aucun effet. En moyenne, une équipe obtiendra $p < 0, 05$ . Les dix-neuf autres rangeront leurs résultats. La littérature contiendra donc un article, significatif, sur un effet inexistant — et, faute de connaître les dix-neuf autres, personne ne pourra le savoir. Le biais de publication ne se contente pas de gonfler les tailles d'effet: il peut créer de toutes pièces un phénomène qui n'existe pas.

Les degrés de liberté du chercheur

Même sans le moindre tri entre articles, un chercheur unique dispose d'assez de latitude analytique pour produire un résultat significatif à volonté. Simmons, Nelson et Simonsohn ont montré en 2011, dans un article devenu classique («False-positive psychology»), qu'un petit nombre de libertés d'analyse combinées suffisent à faire monter le taux de faux positifs bien au-delà de $5 %$ — au point de «démontrer» une absurdité, comme le fait qu'écouter une chanson rajeunit ceux qui l'écoutent.

Définition · degrés de liberté du chercheur

Les degrés de liberté du chercheur (researcher degrees of freedom) sont les choix d'analyse laissés ouverts après la collecte des données, et qui peuvent être arrêtés en fonction de leur effet sur la valeur $p$ . Les principaux:

l'arrêt optionnel: collecter des données, tester, et continuer si $p$ n'est pas encore inférieur à $0, 05$ . Comme la valeur $p$ fluctue au fil de la collecte, cette procédure finit presque toujours par franchir le seuil, même sans aucun effet;
l'exclusion post hoc: décider après coup d'écarter les valeurs extrêmes, les participants «inattentifs» ou une condition, en essayant plusieurs critères et en gardant celui qui aide;
le choix de la variable dépendante: mesurer cinq indicateurs de la même chose et ne rapporter que celui qui a marché, ou les combiner en un score composite décidé après avoir vu les résultats;
les covariables ajoutées après coup: contrôler l'âge, le sexe, l'humeur — ou non — selon ce qui rend l'effet significatif;
le découpage des sous-groupes: si l'effet ne tient pas globalement, chercher s'il tient «chez les femmes», «chez les participants les plus jeunes», «chez ceux qui ont bien suivi la consigne».

Prises isolément, ces décisions sont souvent défendables. Prises collectivement et après avoir vu les données, elles constituent le $p$ -hacking, et rendent la valeur $p$ rapportée dépourvue de sens: elle n'est plus la probabilité conditionnelle définie en (3.3), puisque le plan d'analyse n'était pas fixé.

Il faut insister sur un point moral: le $p$ -hacking n'est presque jamais une fraude consciente. Il naît d'un raisonnement qui semble raisonnable sur le moment («ce participant n'a manifestement pas compris la consigne»; «il est normal de contrôler l'âge»), et se trouve simplement biaisé par la connaissance de l'effet de chaque choix sur le résultat. C'est ce qui le rend si répandu — et c'est pourquoi la parade n'est pas l'exhortation à la vertu, mais un dispositif: fixer le plan d'analyse avant de voir les données.

HARKing

Ce qu'un résultat significatif vaut réellement

Assemblons maintenant les pièces. Nous savons calculer $P (significatif ∣ effet r \overset{e}{ˊ} el)$ : c'est la puissance. Nous savons que $P (significatif ∣ pas d’effet) = α$ . Ce que veut le lecteur, c'est l'inverse: $P (effet r \overset{e}{ˊ} el ∣ significatif)$ . Le théorème de Bayes fait la conversion, à condition de fournir la pièce manquante — la proportion d'hypothèses vraies parmi celles que le champ explore.

Démonstration. Notons $H_{1}$ l'événement «l'hypothèse testée est vraie», de probabilité a priori $P (H_{1}) = π$ , et $S$ l'événement «le test est significatif». Par définition de la puissance et du seuil,

P (S ∣ H_{1}) = 1 - β, P (S ∣ H_{0}) = α .

La formule des probabilités totales donne la probabilité d'observer un résultat significatif:

P (S) = P (S ∣ H_{1}) P (H_{1}) + P (S ∣ H_{0}) P (H_{0}) = π (1 - β) + (1 - π) α .

Le théorème de Bayes s'écrit alors

P (H_{1} ∣ S) = \frac{P ( S ∣ H _{1} ) P ( H _{1} )}{P ( S )} = \frac{π ( 1 - β )}{π ( 1 - β ) + ( 1 - π ) α} . □

C'est exactement la structure de la négligence des taux de base du chapitre 11: le numérateur est le flux de vrais positifs, le dénominateur la somme des vrais et des faux positifs. Quand $π$ est faible, le second flux domine, si petite que soit $α$ .

Exemple 3.4 · Moins d'un résultat publié sur deux

Prenons un domaine exploratoire où une hypothèse testée sur dix est vraie ( $π = 0, 10$ ), avec des études de faible effectif dont la puissance moyenne est de $0, 35$ , et le seuil usuel $α = 0, 05$ . Sur $1000$ hypothèses testées:

$100$ sont vraies; $100 \times 0, 35 = 35$ donneront un résultat significatif (vrais positifs);
$900$ sont fausses; $900 \times 0, 05 = 45$ donneront quand même un résultat significatif (faux positifs).

La littérature contiendra donc $35 + 45 = 80$ résultats significatifs, dont seulement $35$ sont vrais:

P (H_{1} ∣ S) = \frac{0 , 10 \times 0 , 35}{0 , 10 \times 0 , 35 + 0 , 90 \times 0 , 05} = \frac{0 , 035}{0 , 080} = 0, 4375.

Moins de $44 %$ des résultats significatifs publiés dans ce domaine sont vrais — et ce calcul suppose une honnêteté parfaite: aucun $p$ -hacking, aucun HARKing, aucun biais de publication. Ajoutez ces trois ingrédients, qui gonflent le taux effectif de faux positifs bien au-delà de $α = 0, 05$ , et la proportion s'effondre encore. C'est l'argument développé par Ioannidis en 2005 dans «Why most published research findings are false», et c'est la clé de tout ce qui suit.

Le remède se lit dans la formule. Porter la puissance de $0, 35$ à $0, 80$ fait passer la valeur prédictive à $\frac{0 , 080}{0 , 080 + 0 , 045} = 0, 64$ ; tester des hypothèses plus plausibles ( $π = 0, 5$ ) au lieu de courir après le contre-intuitif la porterait à $0, 94$ . Des échantillons plus grands et des hypothèses mieux motivées: les deux leviers sont dans (3.9).

La crise de la réplication

Le constat

À partir de 2011, une série de projets collectifs ont entrepris de reprendre des résultats publiés et de les tester à nouveau, avec des protocoles convenus à l'avance, des effectifs bien plus grands et souvent plusieurs laboratoires en parallèle: le Reproducibility Project: Psychology de l'Open Science Collaboration, les séries Many Labs, les Registered Replication Reports. Leur constat général est robuste et se résume en deux points:

Une proportion importante des résultats publiés ne se répliquent pas — l'ordre de grandeur, selon les projets et les critères retenus, est qu'environ la moitié ou moins des effets testés ressortent significatifs dans la réplication.
Les tailles d'effet répliquées sont nettement plus petites que les originales — de l'ordre de la moitié, là encore comme ordre de grandeur et non comme constante.

Ces deux constats sont exactement ce que prédisent les sections précédentes: le second découle de la malédiction du vainqueur, le premier de la combinaison d'une puissance faible et d'un biais de publication. La crise de la réplication n'est pas un mystère; c'est la conséquence arithmétique de pratiques qu'on connaissait depuis cinquante ans.

Plusieurs résultats célèbres en ont fait les frais, et ils sont instructifs précisément parce qu'ils ont échoué. L'épuisement du moi (ego depletion) n'a pas survécu à une réplication multi-laboratoires préenregistrée. Les effets des postures de pouvoir sur les hormones et la prise de risque n'ont pas été retrouvés dans des études à plus grand effectif — seul subsiste un effet subjectif de «sentiment de puissance», qui est une tout autre affirmation. L'hypothèse de la rétroaction faciale dans sa version forte n'a pas résisté à une réplication coordonnée. Les grands essais préenregistrés sur l'état d'esprit de développement (growth mindset) trouvent des effets moyens très faibles, de l'ordre du dixième d'écart-type au plus, et concentrés sur certains sous-groupes. La menace du stéréotype donne des effets faibles ou nuls dans les grandes réplications. Le pouvoir prédictif du test du marshmallow se réduit fortement une fois le milieu socio-économique pris en compte. À l'inverse, l'effet d'espacement et l'effet de test figurent parmi les résultats les mieux établis de toute la psychologie: ils se répliquent dans des dizaines de laboratoires, sur des matériaux et des populations variés, avec des tailles d'effet stables. La différence entre les deux listes n'est pas une question de mode: c'est une question de preuve.

Une correction, pas une faillite

Il serait faux de conclure que la psychologie est une pseudoscience. Trois raisons.

D'abord, cette crise a été découverte et documentée par des psychologues eux-mêmes, avec les outils de la discipline: c'est le fonctionnement normal — et sain — de l'autocorrection scientifique. Une discipline qui vérifie ses propres classiques et publie que la moitié ne tient pas fait exactement ce qu'on attend d'une science.

Ensuite, le problème n'est pas propre à la psychologie. Des difficultés de réplication comparables ont été documentées en biologie précliniques et en recherche sur le cancer, en économie expérimentale, en neurosciences, en médecine. La psychologie a simplement été la première à mesurer l'ampleur du problème chez elle, ce qui lui a valu une réputation qu'une partie des autres disciplines n'a pas encore méritée par le même travail.

Enfin, la psychologie possède un noyau solide qui ne fait pas l'objet du débat: lois psychophysiques, limites de la mémoire de travail, courbe d'oubli, conditionnements, effets d'espacement et de test, effets de désinformation, cécité au changement. Ce cours s'appuie sur ce noyau, et signale à chaque fois le statut de ce qu'il présente.

Les remèdes qui fonctionnent

Le préenregistrement. Déposer, sur une plateforme horodatée et publique, les hypothèses, le plan d'échantillonnage, l'effectif visé, les critères d'exclusion et les analyses prévues, avant de collecter les données. Ce dispositif ne rend pas les analyses exploratoires interdites: il les rend identifiables comme telles. C'est la parade directe aux degrés de liberté du chercheur et au HARKing.
Les rapports enregistrés (registered reports). Un format éditorial où la revue évalue et accepte le protocole avant la collecte, et s'engage à publier le résultat quel qu'il soit. Il supprime à la fois le biais de publication et l'incitation au $p$ -hacking, puisque la publication ne dépend plus du résultat.
Des échantillons plus grands et des collaborations multi-sites. Le tableau 3.4 rend la conclusion inévitable: pour les effets qu'étudie la psychologie, les effectifs nécessaires dépassent souvent les moyens d'un laboratoire unique. D'où les consortiums qui répartissent la collecte sur des dizaines de sites, avec l'avantage supplémentaire de tester la généralisation entre populations et entre laboratoires.
Le partage des données, du matériel et du code. Il permet la vérification indépendante des analyses et la réutilisation. En Suisse, le Fonds national suisse conditionne son financement à un plan de gestion des données et au dépôt des données lorsque c'est possible; le partage doit évidemment respecter la nLPD et les conditions de consentement approuvées par la commission cantonale d'éthique.
Renoncer à la dichotomie. Rapporter systématiquement la taille d'effet et son intervalle de confiance plutôt que le seul verdict «significatif / non significatif». Un $I C_{95 %}$ dit d'un coup ce que la valeur $p$ cache: la direction, la magnitude plausible et la précision de l'estimation.

La méta-analyse et ses propres pièges

Le graphique standard s'appelle un forest plot: chaque étude y occupe une ligne, marquée par un carré placé à sa taille d'effet — d'autant plus gros que l'étude est précise — et prolongé par un trait horizontal figurant son intervalle de confiance. Tout en bas, un losange représente l'estimation combinée et son intervalle. On y lit d'un coup d'œil trois choses: où se situe l'effet global, si les études s'accordent (traits alignés) ou non (traits dispersés), et si les petites études tirent l'estimation d'un côté.

Une méta-analyse ne vaut pourtant pas mieux que la littérature qu'elle agrège, et c'est son piège central: si le biais de publication a filtré les résultats nuls, la moyenne des études publiées est biaisée vers le haut, et l'agrégation ne fait que donner une précision rassurante à un chiffre faux. On dispose de correctifs — l'examen du funnel plot (asymétrie du nuage des études selon leur précision), les méthodes de sélection, la comparaison avec les seules études préenregistrées — mais aucun n'est pleinement fiable. Deux autres pièges: agréger des études méthodologiquement médiocres ne les améliore pas (garbage in, garbage out), et agréger des opérationnalisations trop hétérogènes revient à moyenner des pommes et des poires.

Exercice

Remettez dans l'ordre les étapes d'une étude préenregistrée conduite selon les standards actuels.

Glissez les éléments pour les mettre dans le bon ordre

Collecter les données jusqu'à l'effectif annoncé, sans regarder les résultats intermédiaires

Calculer l'effectif nécessaire pour atteindre 80 % de puissance contre cet effet

Déposer publiquement le protocole: hypothèses, effectif, critères d'exclusion, analyses prévues

Formuler l'hypothèse et fixer la plus petite taille d'effet qui aurait un intérêt

Publier la taille d'effet et son intervalle de confiance, et déposer les données et le code

Exécuter le plan d'analyse déposé, puis rapporter séparément les analyses exploratoires

Synthèse

Une mesure psychologique est une opérationnalisation d'une variable latente. Sa fidélité (constance) borne sa validité (justesse) selon $∣ r_{X Y} ∣ \leq r_{X X} r_{Y Y}$ : on peut être fidèle sans être valide, jamais l'inverse. L'erreur aléatoire se combat par les effectifs, l'erreur systématique seulement par le devis.
L'échelle de mesure décide des opérations permises: seule une échelle de rapport autorise les rapports. Un QI de 140 n'est pas le double d'un QI de 70.
La valeur $p$ est $P (donn \overset{e}{ˊ} es au moins aussi extr \overset{e}{ˆ} mes ∣ H_{0})$ . Elle n'est ni la probabilité que $H_{0}$ soit vraie, ni la probabilité de réplication, ni une mesure de la taille de l'effet, et « $p > 0, 05$ » ne signifie pas «pas d'effet». Le seuil $0, 05$ est une convention.
La taille d'effet est ce qui répond à la question du lecteur. Par le théorème 3.1, $P (X_{1} > X_{2}) = Φ (d / 2)$ : pour $d = 0, 5$ , un individu traité dépasse un individu témoin dans $64 %$ des cas et les distributions se recouvrent encore sur $80 %$ .
La puissance exige $n \approx 15, 7/ d^{2}$ par groupe pour $80 %$ à $α = 0, 05$ : 63 sujets pour $d = 0, 5$ , mais 393 pour $d = 0, 2$ . Une étude sous-puissante ne se contente pas de rater des effets: les effets qu'elle publie sont surestimés, d'un facteur 2 à 3 pour les effectifs classiques.
Par le théorème 3.3, la valeur prédictive d'un résultat significatif vaut $\frac{π ( 1 - β )}{π ( 1 - β ) + ( 1 - π ) α}$ : avec $π = 0, 1$ et une puissance de $0, 35$ , moins de $44 %$ des résultats publiés sont vrais. La crise de la réplication en découle arithmétiquement.
Les remèdes sont connus et fonctionnent: préenregistrement, rapports enregistrés, grands échantillons multi-sites, partage des données, tailles d'effet et intervalles de confiance plutôt que dichotomie, méta-analyses lucides sur leur propre dépendance au biais de publication.

Série d'exercices du chapitre 3

Exercice 1 sur 5

Exercice

Un questionnaire propose l'item «Je me sens souvent nerveux», avec les réponses codées de 1 (jamais) à 5 (toujours). Sur quelle échelle de mesure ce codage se situe-t-il, au sens strict?

Problème guidé

Que vaut une étude significative de 24 sujets par groupe?

Vous lisez un article rapportant qu'une intervention brève améliore la concentration. L'étude compte 24 participants par groupe et conclut à un effet significatif, $p = 0, 04$ . La littérature antérieure et la plausibilité théorique suggèrent que, si l'effet existe, sa taille réelle est de l'ordre de $d = 0, 40$ , et qu'environ une hypothèse sur cinq explorée dans ce domaine est vraie ( $π = 0, 20$ ). Le seuil est bilatéral, $α = 0, 05$ .

1
1. La puissance de l'étude
Le paramètre de non-centralité vaut $δ = d n /2$ , et la puissance $Φ (δ - 1, 96) + Φ (- δ - 1, 96)$ , dont le second terme est ici négligeable.
Exercice
Quelle était la puissance de cette étude, en pourcentage, contre un effet réel de $d = 0, 40$ ?
%
2. La probabilité que l'effet soit réel
3. L'effectif qu'il aurait fallu
4. Ce que vous concluez

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.

Exercice 3.1 · Traduire une taille d'effet

Une méta-analyse conclut à un effet de $d = 0, 30$ d'une technique pédagogique sur la réussite à un examen. Une autre, sur une technique différente, conclut à $d = 0, 60$ .

Pour chacun des deux effets, calculez la probabilité de supériorité $P (X_{1} > X_{2}) = Φ (d / 2)$ et le coefficient de recouvrement $2 Φ (- d /2)$ .
Un journaliste écrit: «la seconde technique est deux fois plus efficace que la première». Discutez cette formulation.
Quelle taille d'effet faudrait-il pour qu'un élève du groupe traité dépasse un élève du groupe témoin dans $75 %$ des cas?
Une école dispose d'un budget qui permet d'appliquer l'une des deux techniques à tous ses élèves. Le calcul de la question 1 suffit-il à décider? Que manque-t-il?

Solution

1. Pour $d = 0, 30$ : $\frac{0 , 30}{2} = 0, 2121$ , donc $P = Φ (0, 2121) = 0, 584$ , soit $58, 4 %$ ; recouvrement $2 Φ (- 0, 15) = 0, 881$ , soit $88, 1 %$ .

Pour $d = 0, 60$ : $\frac{0 , 60}{2} = 0, 4243$ , donc $P = Φ (0, 4243) = 0, 664$ , soit $66, 4 %$ ; recouvrement $2 Φ (- 0, 30) = 0, 764$ , soit $76, 4 %$ .

2. La formulation est doublement fautive. D'abord, $d$ est une différence standardisée, pas un rendement: doubler $d$ ne double aucune quantité observable. En probabilité de supériorité, on passe de $58, 4 %$ à $66, 4 %$ , soit un gain de huit points sur les cinquante que sépare le hasard pur du déterminisme complet — un doublement de $d$ correspond à une amélioration bien inférieure à un doublement de la performance. Ensuite, comparer deux méta-analyses portant sur des interventions, des populations et des mesures différentes suppose que les écarts-types soient comparables, ce qui n'a rien d'automatique: un même effet brut donne un $d$ deux fois plus grand dans une population deux fois plus homogène.

3. Il faut $Φ (d / 2) = 0, 75$ , soit $d / 2 = z_{0, 75} = 0, 6745$ , d'où $d = 0, 67452 = 0, 954$ . Il faut donc un effet proche d'un écart-type complet — supérieur au repère «grand» de Cohen — pour n'atteindre que trois cas favorables sur quatre. C'est la meilleure illustration du fait que les tailles d'effet usuelles de la psychologie décrivent des déplacements modestes de distributions largement superposées.

4. Non, il manque au moins quatre choses. D'abord, l'intervalle de confiance de chaque estimation méta-analytique: si celui du second effet s'étend de $0, 10$ à $1, 10$ , l'avantage annoncé n'est pas établi. Ensuite, l'hétérogénéité: un effet moyen de $0, 60$ qui masque des études allant de $- 0, 2$ à $1, 4$ ne dit rien de ce qui arrivera dans cette école-ci. Ensuite, le biais de publication dans la littérature agrégée, à examiner par funnel plot ou par comparaison avec les études préenregistrées. Enfin, le coût et la faisabilité: un effet de $0, 30$ obtenu par une modification gratuite de l'emploi du temps est un meilleur investissement qu'un effet de $0, 60$ exigeant un enseignant supplémentaire par classe. La taille d'effet est un ingrédient de la décision, pas la décision.

Exercice 3.2 · Planifier trois expériences

Vous préparez trois expériences à deux groupes indépendants, avec un test bilatéral au seuil $α = 0, 05$ . Les plus petites tailles d'effet dignes d'intérêt sont respectivement $d = 0, 25$ , $d = 0, 40$ et $d = 0, 70$ . On rappelle $z_{0, 975} = 1, 960$ , $z_{0, 80} = 0, 842$ et $z_{0, 90} = 1, 282$ .

Calculez l'effectif par groupe nécessaire pour une puissance de $80 %$ dans les trois cas.
Refaites le calcul pour une puissance de $90 %$ . De quel facteur l'effectif augmente-t-il?
Votre laboratoire ne peut recruter que 20 participants par groupe. Calculez la puissance obtenue dans les trois cas à l'aide de (3.8), et dites lesquelles de ces trois expériences valent la peine d'être conduites.
Un collègue propose de conduire les trois expériences avec 20 participants chacune, «puisque de toute façon si l'effet est là, on le verra». Répondez-lui.

Solution

1. Avec $2 (1, 960 + 0, 842)^{2} = 15, 70$ :

$d$	$n = 15, 70/ d^{2}$	arrondi
$0, 25$	$251, 2$	252
$0, 40$	$98, 1$	99
$0, 70$	$32, 0$	33

2. Avec $2 (1, 960 + 1, 282)^{2} = 21, 01$ : $n = 336, 2 \to 337$ pour $d = 0, 25$ ; $131, 3 \to 132$ pour $d = 0, 40$ ; $42, 9 \to 43$ pour $d = 0, 70$ . Le facteur est le même dans les trois cas, $\frac{21 , 01}{15 , 70} = 1, 34$ : passer de $80 %$ à $90 %$ de puissance coûte $34 %$ de participants supplémentaires. Le coût de la certitude croît vite, ce qui explique la popularité du repère $80 %$ .

3. Avec $n = 20$ , $δ = d 10 = 3, 162 d$ , et la puissance vaut $Φ (δ - 1, 960) + Φ (- δ - 1, 960)$ :

$d$	$δ$	puissance
$0, 25$	$0, 79$	$12, 4 %$
$0, 40$	$1, 26$	$24, 4 %$
$0, 70$	$2, 21$	$60, 0 %$

Aucune des trois n'atteint le repère conventionnel. Les deux premières sont à écarter: avec $12 %$ et $24 %$ de puissance, elles ne fourniront presque jamais d'information, et les rares fois où elles seront significatives, elles publieront un effet fortement surestimé (facteurs voisins de $3, 1$ et $1, 9$ respectivement). La troisième, à $60 %$ , reste sous-puissante mais n'est pas absurde; l'option raisonnable est soit de la conduire en annonçant sa puissance, soit de mutualiser le recrutement avec un autre laboratoire.

4. Trois objections. Premièrement, «si l'effet est là, on le verra» est faux: c'est exactement ce que la puissance mesure, et à $12 %$ on ne verra rien dans neuf cas sur dix. Deuxièmement, conduire trois expériences sous-puissantes n'est pas neutre: on augmente le nombre de tests, donc le nombre de faux positifs, et l'on consomme des participants et de l'argent pour produire du bruit — ce qui pose aussi un problème éthique, puisque la LRH et les commissions cantonales d'éthique demandent qu'une recherche impliquant des personnes puisse répondre à sa question. Troisièmement, les résultats significatifs obtenus dans ces conditions seront systématiquement gonflés et contamineront les méta-analyses futures. La bonne décision est de concentrer les moyens sur une seule question, correctement dimensionnée, ou de chercher un consortium multi-sites.

Exercice 3.3 · La même règle dans trois domaines

On applique le théorème 3.3 à trois situations. Dans les trois, $α = 0, 05$ .

A. Un criblage exploratoire: on teste des centaines d'associations entre variables de personnalité et comportements, sans théorie forte. Proportion d'hypothèses vraies estimée: $π = 0, 02$ .
B. Un domaine de recherche appliquée où les hypothèses sont motivées par des travaux antérieurs: $π = 0, 20$ .
C. Une réplication directe d'un effet déjà établi par plusieurs études indépendantes: $π = 0, 70$ .

Calculez la valeur prédictive d'un résultat significatif dans les trois cas, pour une puissance de $0, 40$ .
Recommencez avec une puissance de $0, 80$ . Où le gain de puissance est-il le plus utile?
Que devient le cas A si, en plus, les degrés de liberté du chercheur portent le taux effectif de faux positifs de $0, 05$ à $0, 20$ (puissance maintenue à $0, 40$ )?
Quelle leçon pratique tirez-vous de la comparaison A / C pour le choix d'un sujet de mémoire?

Solution

1. Avec $1 - β = 0, 40$ , la formule $\frac{π ( 1 - β )}{π ( 1 - β ) + ( 1 - π ) α}$ donne:

Cas	$π$	vrais positifs	faux positifs	valeur prédictive
A	$0, 02$	$0, 0080$	$0, 0490$	$14, 0 %$
B	$0, 20$	$0, 0800$	$0, 0400$	$66, 7 %$
C	$0, 70$	$0, 2800$	$0, 0150$	$94, 9 %$

Dans le cas A, six résultats significatifs sur sept sont faux, alors que chaque test respecte pourtant scrupuleusement le seuil de $5 %$ .

2. Avec $1 - β = 0, 80$ : A donne $\frac{0 , 016}{0 , 016 + 0 , 049} = 24, 6 %$ ; B donne $\frac{0 , 16}{0 , 16 + 0 , 04} = 80, 0 %$ ; C donne $\frac{0 , 56}{0 , 56 + 0 , 015} = 97, 4 %$ . Le gain absolu est le plus fort dans le cas B ( $+ 13, 3$ points), et le gain relatif le plus fort dans le cas A (la valeur prédictive est presque doublée). Mais l'enseignement principal est ailleurs: même avec $80 %$ de puissance, le criblage exploratoire produit encore trois quarts de faux positifs. Aucune puissance ne rachète une probabilité a priori très faible: dans ce régime, la seule issue est de baisser $α$ (correction pour comparaisons multiples) et d'exiger une réplication indépendante.

3. Avec $α_{effectif} = 0, 20$ : $\frac{0 , 02 \times 0 , 40}{0 , 02 \times 0 , 40 + 0 , 98 \times 0 , 20} = \frac{0 , 0080}{0 , 2040} = 3, 9 %$ . Moins d'un résultat significatif sur vingt-cinq est vrai. Le $p$ -hacking, en gonflant le taux de faux positifs, est donc bien plus destructeur dans les domaines exploratoires que dans les domaines à hypothèses solides — ce qui est précisément l'inverse de la prudence habituellement observée.

4. Un mémoire qui teste une hypothèse originale, contre-intuitive et sans antécédent se place dans le cas A: même bien conduit, un résultat significatif y sera plus probablement faux que vrai, et le manque de puissance d'un mémoire d'étudiant aggrave la situation. Un mémoire qui réplique un effet documenté, ou qui teste une extension étroite d'un résultat établi, se place près du cas C: son résultat, positif ou négatif, sera informatif dans les deux directions. Le conseil n'est pas de renoncer à l'originalité, mais de savoir que le prix de l'originalité se paie en effectif, et de préférer un devis préenregistré et bien dimensionné sur une question modeste à une question spectaculaire testée sur trente personnes.

Exercice 3.4 · Repérer les degrés de liberté du chercheur

Voici la section «Méthode et résultats» d'un article fictif, mais assemblé à partir de formulations courantes.

«Nous avons recruté des étudiants jusqu'à la fin du semestre ( $N = 62$ au total). Les participants ont écouté soit une musique gaie, soit une musique triste, puis ont accompli une tâche de créativité (nombre d'usages inhabituels d'un objet), une tâche de fluence verbale et un questionnaire d'humeur. Sept participants ont été exclus parce que leur score de créativité s'écartait de plus de deux écarts-types de la moyenne, et trois autres parce qu'ils avaient déclaré ne pas aimer la musique proposée. L'analyse de la fluence verbale ne montrant pas de différence, nous nous concentrons sur la créativité. La différence entre conditions est significative après contrôle de l'humeur et du genre ( $p = 0, 043$ ). Une analyse complémentaire montre que l'effet est particulièrement net chez les femmes ( $p = 0, 011$ ). Ces résultats confirment notre hypothèse selon laquelle la musique gaie favorise la pensée divergente chez les femmes.»

Relevez tous les degrés de liberté du chercheur présents dans ce paragraphe et nommez-les.
Repérez le HARKing.
Estimez la puissance de cette étude contre un effet de $d = 0, 40$ (52 participants retenus, soit environ 26 par groupe), et commentez la valeur $p = 0, 043$ à la lumière de ce chiffre.
Réécrivez le protocole en version préenregistrée, en indiquant ce qui doit être fixé avant la collecte.

Solution

1. Au moins six.

Arrêt indéterminé de la collecte: «jusqu'à la fin du semestre» — l'effectif n'était pas fixé à l'avance; rien n'exclut que les auteurs aient regardé les résultats en cours de route (arrêt optionnel).
Exclusion post hoc sur la variable dépendante: écarter les participants dont le score de créativité s'écarte de deux écarts-types est un critère appliqué à la variable qui sert à tester l'hypothèse, donc directement susceptible de déplacer la valeur $p$ .
Second critère d'exclusion ad hoc: «n'aimaient pas la musique» — critère subjectif, presque certainement décidé après avoir vu les données.
Choix de la variable dépendante: trois mesures collectées, une seule rapportée comme test principal, et c'est celle qui a fonctionné.
Covariables ajoutées après coup: «après contrôle de l'humeur et du genre». Rien n'indique que ces contrôles étaient prévus, et l'humeur est ici un médiateur potentiel dont le contrôle change le sens de l'analyse.
Découpage en sous-groupes: l'analyse «chez les femmes» double le nombre de tests sans correction et exploite précisément la latitude qui produit les faux positifs.

Chacune de ces décisions est défendable isolément; leur cumul, décidé après avoir vu les données, rend la valeur $p$ rapportée ininterprétable — elle n'est plus $P (donn \overset{e}{ˊ} es ∣ H_{0})$ pour un plan fixé, mais le minimum d'une famille de valeurs $p$ explorées.

2. La dernière phrase: «ces résultats confirment notre hypothèse selon laquelle la musique gaie favorise la pensée divergente chez les femmes». La restriction aux femmes provient de l'analyse exploratoire, pas d'une prédiction préalable. Présenter comme confirmée une hypothèse suggérée par les données est la définition même du HARKing: la même observation ne peut pas à la fois engendrer l'hypothèse et la tester.

3. Avec $n \approx 26$ par groupe, $δ = 0, 4013 = 1, 442$ et la puissance vaut $Φ (1, 442 - 1, 960) \approx Φ (- 0, 518) \approx 0, 30$ , soit environ $30 %$ . Une étude qui a $30 %$ de chances de détecter l'effet qu'elle cherche et qui rapporte $p = 0, 043$ se trouve dans la configuration exacte de la malédiction du vainqueur: l'effet publié est nécessairement supérieur à $1, 96 \times 2/26 = 0, 54$ , donc largement au-dessus de l'effet supposé réel. Et, la valeur $p$ étant obtenue au terme des six libertés de la question 1, le taux effectif de faux positifs est très supérieur à $5 %$ : le résultat n'apporte pratiquement aucune information.

4. Version préenregistrée. Avant la collecte, on dépose: (i) l'hypothèse unique et directionnelle — «la musique gaie augmente le score de pensée divergente par rapport à la musique triste» —, sans restriction de sous-groupe; (ii) la variable dépendante primaire, unique et définie précisément (nombre d'usages inhabituels codé par deux juges indépendants, avec le seuil d'accord inter-juges exigé), les deux autres mesures étant déclarées secondaires et exploratoires; (iii) la plus petite taille d'effet d'intérêt, disons $d = 0, 40$ , et l'effectif qui en découle, $99$ par groupe pour $80 %$ de puissance, avec l'engagement de collecter jusqu'à cet effectif sans analyse intermédiaire; (iv) les critères d'exclusion a priori et vérifiables (essais incomplets, non-respect de la consigne mesuré par un contrôle d'attention défini à l'avance), en interdisant toute exclusion fondée sur la variable dépendante; (v) le modèle d'analyse exact, covariables comprises, décidé avant de voir les données; (vi) l'engagement de rapporter la taille d'effet et son $I C_{95 %}$ , quel que soit le résultat, et de déposer données et code. Les analyses par sous-groupe restent possibles, mais dans une section explicitement intitulée «analyses exploratoires», et sont alors des hypothèses à tester par une étude ultérieure — pas des conclusions.

Exercice 3.5 · Établir la formule, puis juger

Partie A — démonstration. Un champ de recherche teste un grand nombre d'hypothèses indépendantes, dont une proportion $π$ sont vraies. Chaque test est conduit au seuil $α$ avec une puissance $1 - β$ .

En raisonnant sur $N$ hypothèses testées, exprimez le nombre attendu de vrais positifs et de faux positifs, puis établissez la formule (3.9) de la valeur prédictive.
Montrez que la valeur prédictive est une fonction croissante de $π$ et de la puissance, et décroissante de $α$ .
Déterminez la puissance minimale nécessaire pour que la valeur prédictive atteigne $0, 80$ lorsque $π = 0, 20$ et $α = 0, 05$ . Commentez.

Partie B — appréciation critique. Un article de psychologie sociale rapporte l'expérience suivante. Cinquante-deux étudiants sont répartis au hasard en deux groupes. Le groupe expérimental adopte pendant deux minutes une posture corporelle «expansive», le groupe témoin une posture «fermée». On mesure ensuite la prise de risque dans un jeu de hasard et le sentiment subjectif de puissance sur une échelle de Likert. Les auteurs rapportent que le groupe expansif prend davantage de risques ( $p = 0, 04$ ) et se déclare plus puissant ( $p = 0, 002$ ), et concluent que «deux minutes de posture suffisent à modifier le comportement de prise de risque». L'article ne mentionne ni préenregistrement, ni calcul de puissance, ni taille d'effet. À quel statut probatoire classez-vous chacune des deux conclusions, et pourquoi? Prenez position.

Solution

A.1. Sur $N$ hypothèses, $π N$ sont vraies et $(1 - π) N$ fausses. Parmi les vraies, une proportion $1 - β$ (la puissance) donne un test significatif: le nombre attendu de vrais positifs est $V P = π N (1 - β)$ . Parmi les fausses, une proportion $α$ donne quand même un test significatif: le nombre attendu de faux positifs est $F P = (1 - π) N α$ . La proportion de résultats significatifs qui sont vrais est donc

\frac{V P}{V P + F P} = \frac{π N ( 1 - β )}{π N ( 1 - β ) + ( 1 - π ) N α} = \frac{π ( 1 - β )}{π ( 1 - β ) + ( 1 - π ) α},

le facteur $N$ se simplifiant. C'est (3.9). La même quantité s'obtient par le théorème de Bayes, comme dans la démonstration du théorème 3.3, le raisonnement en fréquences n'étant qu'une lecture concrète de la formule de Bayes. $□$

A.2. Posons $u = π (1 - β)$ et $v = (1 - π) α$ , de sorte que $VPP = \frac{u}{u + v} = \frac{1}{1 + v / u}$ . Cette expression est décroissante en $v / u$ ; il suffit donc d'étudier

\frac{v}{u} = \frac{( 1 - π ) α}{π ( 1 - β )} = (\frac{1 - π}{π}) \cdot \frac{α}{1 - β} .

Le facteur $\frac{1 - π}{π} = \frac{1}{π} - 1$ est strictement décroissant en $π$ ; le facteur $\frac{α}{1 - β}$ est croissant en $α$ et décroissant en $1 - β$ . Donc $v / u$ décroît quand $π$ ou la puissance augmentent et croît avec $α$ ; la valeur prédictive, elle, croît avec $π$ et avec la puissance et décroît avec $α$ . $□$

A.3. On cherche $1 - β$ tel que $\frac{0 , 20 ( 1 - β )}{0 , 20 ( 1 - β ) + 0 , 80 \times 0 , 05} = 0, 80$ . En posant $w = 0, 20 (1 - β)$ et en notant que $0, 80 \times 0, 05 = 0, 04$ :

\frac{w}{w + 0 , 04} = 0, 80 ⟺ w = 0, 80 w + 0, 032 ⟺ 0, 20 w = 0, 032 ⟺ w = 0, 16,

d'où $1 - β = \frac{0 , 16}{0 , 20} = 0, 80$ . Il faut donc exactement $80 %$ de puissance — coïncidence numérique amusante, mais qui donne une règle de sécurité mémorisable: dans un domaine où une hypothèse sur cinq est vraie, la convention de $80 %$ de puissance est exactement ce qu'il faut pour qu'un résultat significatif ait quatre chances sur cinq d'être vrai. En dessous, on publie majoritairement du bruit dès que $π$ baisse un peu.

B. Voici ma position, conclusion par conclusion.

La prise de risque: statut «contesté ou non répliqué», et l'article ne l'établit pas. Quatre raisons convergentes. Premièrement, l'effectif: 26 participants par groupe donnent, contre un effet réel de $d = 0, 40$ , une puissance d'environ $30 %$ ; contre $d = 0, 25$ , environ $15 %$ . Cette étude n'était pas en mesure de détecter les effets qu'on peut raisonnablement attendre en psychologie sociale, et sa valeur informative est donc faible même si elle a été conduite impeccablement. Deuxièmement, la valeur $p = 0, 04$ obtenue à cet effectif implique un effet observé d'au moins $1, 96 2/26 = 0, 54$ , très supérieur à ce qui est plausible: la malédiction du vainqueur nous dit que cette estimation est presque certainement gonflée. Troisièmement, l'absence de taille d'effet et d'intervalle de confiance empêche le lecteur de faire lui-même ce raisonnement — c'est en soi un défaut de rapportage. Quatrièmement, et c'est décisif: ce paradigme précis a été soumis à des réplications à plus grand effectif, qui n'ont pas retrouvé les effets comportementaux et hormonaux annoncés par les travaux originaux sur les postures de pouvoir. Un résultat isolé, sous-puissant et non préenregistré, contredit par des réplications mieux dimensionnées, ne peut pas être présenté comme établi. Ma conclusion: cette affirmation ne doit pas être enseignée comme un fait.

Le sentiment subjectif de puissance: statut «plausible mais discuté», et sensiblement mieux étayé. La valeur $p = 0, 002$ à effectif égal implique un effet observé nettement plus grand, la mesure est directe (on demande aux gens ce qu'ils ressentent après avoir tenu une posture, ce qui n'exige aucune chaîne causale longue), et c'est précisément la composante qui a survécu, quoique réduite, dans les réplications ultérieures. Reste que l'étude ne dit rien de la durée de l'effet, qu'une demande caractéristique (demand effect) est ici très plausible — les participants devinent facilement ce qu'on attend d'eux —, et qu'un effet sur une auto-évaluation immédiate n'autorise aucune inférence sur le comportement.

Sur la conclusion des auteurs. La phrase «deux minutes de posture suffisent à modifier le comportement de prise de risque» est trop forte sur trois points: elle généralise d'un échantillon d'étudiants à «les gens», elle transforme une différence de moyennes en une affirmation sur les individus, et elle traite une seule étude sous-puissante comme une démonstration. La formulation défendable serait: «dans cet échantillon, la condition expansive s'accompagne d'un sentiment de puissance plus élevé (effet net) et, de façon beaucoup plus incertaine, d'une prise de risque plus élevée; ces résultats demandent une réplication préenregistrée à grand effectif avant toute interprétation».

Ce que je demanderais. Une réplication préenregistrée multi-sites d'environ 100 participants par condition pour $d = 0, 40$ , avec la prise de risque comme variable primaire unique, la taille d'effet et son $I C_{95 %}$ rapportés, et le matériel déposé. C'est exactement le programme que la crise de la réplication a rendu standard — et il est notable que ce soit ce type d'étude, et non l'étude originale, qui ait tranché la question.

Références

Gazzaniga, M., Heatherton, T. et Halpern, D., Psychological Science, W. W. Norton, New York, chapitres sur la méthode scientifique et l'analyse des données.
Schacter, D. L., Gilbert, D. T. et Wegner, D. M., Psychologie, De Boeck Supérieur, Louvain-la-Neuve, chapitre «Méthodes de recherche en psychologie».
Myers, D. G., Psychologie, Flammarion / Worth, chapitre sur le raisonnement statistique dans la vie quotidienne.
Cohen, J., Statistical Power Analysis for the Behavioral Sciences, 2e éd., Lawrence Erlbaum, Hillsdale, 1988 (tailles d'effet, puissance, tables d'effectifs).
Ioannidis, J. P. A., «Why most published research findings are false», PLoS Medicine, 2(8), 2005; Simmons, J. P., Nelson, L. D. et Simonsohn, U., «False-positive psychology», Psychological Science, 22(11), 2011; Kerr, N. L., «HARKing: hypothesizing after the results are known», Personality and Social Psychology Review, 2(3), 1998.
Open Science Collaboration, «Estimating the reproducibility of psychological science», Science, 349(6251), 2015; rapports des projets Many Labs et des Registered Replication Reports.
Polycopiés de méthodologie et de statistique des facultés de psychologie de l'UNIGE et de l'UNIL; Fonds national suisse, directives sur l'Open Research Data.

Objectifs du chapitre

Mesurer un objet qu'on ne voit pas

Variables latentes et indicateurs

Les quatre échelles de mesure

Fidélité

Validité

L'asymétrie entre fidélité et validité

Un cas d'école: le test d'association implicite

Décrire avant d'inférer

Inférer: la logique du test d'hypothèse

L'hypothèse nulle et le raisonnement du test

Le seuil de 0,05

La taille d'effet

Une différence, exprimée en écarts-types

La puissance

Deux erreurs, deux risques

Le chiffre qui devrait choquer

Ce qu'une étude sous-puissante produit vraiment

Explorateur de la valeur p, de la puissance et de ce qui se publie

Pourquoi la littérature publiée est biaisée

Le biais de publication et le tiroir à résultats nuls

Les degrés de liberté du chercheur

HARKing

Ce qu'un résultat significatif vaut réellement

La crise de la réplication

Le constat

Les remèdes qui fonctionnent

La méta-analyse et ses propres pièges

Synthèse

Série d'exercices du chapitre 3

Que vaut une étude significative de 24 sujets par groupe?

1. La puissance de l'étude

2. La probabilité que l'effet soit réel

3. L'effectif qu'il aurait fallu

4. Ce que vous concluez

Exercices

Références