Lire une étude et juger une preuve · Psychologie générale

Cette annexe est la contrepartie pratique du chapitre 3. Celui-ci établit les outils — fidélité, validité, valeur $p$ , taille d'effet, puissance, valeur prédictive; celle-ci les met dans l'ordre où l'on s'en sert quand on a un article devant soi et vingt minutes pour décider ce qu'on en fait.

Pourquoi lire l'article plutôt que son résumé? Parce que le résumé est la partie que ses auteurs écrivent en dernier, en sachant qu'elle sera la seule lue, et qu'elle est de ce fait la plus optimiste. Il annonce des conclusions; il ne contient presque jamais l'effectif par groupe, presque jamais l'intervalle de confiance, et jamais les décisions d'analyse qui ont fait la différence entre un résultat et rien du tout — c'est-à-dire exactement les trois choses qui déterminent la confiance qu'un résultat mérite.

Il faut dire aussitôt ce que cette annexe n'enseigne pas. Elle n'enseigne pas à tout rejeter. Le scepticisme systématique est aussi paresseux que la crédulité et coûte moins cher: il permet de ne jamais avoir tort, parce qu'il ne s'engage sur rien. La compétence visée est autre, et plus difficile: calibrer sa confiance. Une affirmation bien répliquée sur de grands effectifs mérite d'être tenue pour vraie et enseignée comme telle; une affirmation issue d'une expérience unique sur trente personnes mérite d'être retenue comme une hypothèse intéressante; une affirmation contredite par des réplications préenregistrées mérite d'être abandonnée. Ce sont trois traitements différents, et savoir lequel appliquer est ce qui distingue un lecteur formé d'un lecteur qui a des opinions.

D'où la règle qui structure toute l'annexe, et à laquelle chaque section revient:

Cette troisième clause est la plus exigeante. «Je crois que cet effet est réel» n'engage à rien; «je crois que cet effet est réel, et une réplication préenregistrée de 200 participants par groupe qui trouverait un intervalle de confiance contenant zéro me ferait changer d'avis» est une position que la réalité peut corriger. Prenez l'habitude de formuler la seconde.

Anatomie d'un article

Un article empirique de psychologie suit presque toujours la structure IMRAD: introduction, méthode, résultats, discussion, précédés d'un résumé. Chaque section a une fonction déclarée et une fonction réelle, et le lecteur pressé doit connaître les deux.

L'introduction situe la question et annonce l'hypothèse. Ce qu'on y cherche vraiment tient en une phrase: quelle prédiction précise a été faite, et quand? Une introduction qui se termine par «nous avons examiné si la musique influence la créativité» n'annonce aucune prédiction; une introduction qui annonce «nous prédisons un avantage de 0,4 écart-type pour la condition A» en annonce une, et se rend réfutable. Le théorème 1.1 donne la mesure exacte de cette différence: l'information d'une prédiction vaut $I = - lo g_{2} (1 - q)$ bits, où $q$ est la part des résultats possibles qu'elle exclut. Une hypothèse qui n'exclut rien apporte zéro bit, quel que soit le nombre d'astérisques du tableau qui la «confirme».

La méthode est la section décisive et la moins lue. On y cherche, dans cet ordre: le devis (corrélationnel, expérimental, quasi expérimental), le nombre de participants par groupe et sa justification, qui sont ces participants, comment les variables ont été opérationnalisées, et quels critères d'exclusion étaient prévus. Une méthode bien écrite permet de refaire l'étude; une méthode qui ne le permet pas est déjà un renseignement.

Les résultats rapportent ce qui a été mesuré. On y cherche des tailles d'effet avec leurs intervalles de confiance, et le nombre de tests conduits. L'écart entre les analyses annoncées dans l'introduction et celles qui apparaissent ici pour la première fois est le lieu où se logent les degrés de liberté du chercheur (chapitre 3).

La discussion interprète. C'est la section la plus agréable à lire et la moins contraignante pour ses auteurs: rien n'y est vérifié. On y cherche une seule chose — l'écart entre ce qui a été mesuré et ce qui est affirmé.

Trois annexes documentaires changent tout quand elles existent. Le préenregistrement est un dépôt horodaté et public, antérieur à la collecte, contenant les hypothèses, l'effectif visé, les critères d'exclusion et le plan d'analyse; il permet de vérifier que les analyses rapportées sont celles qui étaient prévues, et il transforme les autres en analyses exploratoires, ce qu'elles n'ont pas à cacher. Les données supplémentaires (supplementary materials) contiennent le matériel, les consignes, les analyses secondaires et souvent les mesures qui n'ont pas marché. Le dépôt de données (data repository) donne les données brutes et le code d'analyse, et permet la vérification indépendante.

Leur absence ne prouve rien de mal — beaucoup d'excellents travaux, notamment antérieurs à 2015, n'en ont aucun. Mais elle a une conséquence précise: elle vous prive du moyen de départager une analyse confirmatoire d'une analyse exploratoire, et vous oblige donc à traiter toutes les analyses comme potentiellement exploratoires. Ce n'est pas une accusation mais une conséquence logique, et il faut la tirer sans état d'âme.

L'ordre de lecture n'est pas l'ordre d'impression

L'ordre efficace est celui-ci: la question et la prédiction (fin de l'introduction), puis la méthode, puis le préenregistrement s'il existe, puis les figures et les tableaux, puis le texte des résultats, puis la discussion — et le résumé en dernier.

C'est la seule inversion vraiment contre-intuitive, et c'est la plus utile. Lu en premier, le résumé installe une conclusion dans votre tête et vous lisez ensuite la méthode en cherchant à la confirmer. Lu en dernier, il devient un test: l'écart entre ce qu'il affirme et ce que vous venez d'établir vous-même est souvent la principale information de l'article.

Exercice

Remettez dans l'ordre de lecture efficace les sept étapes de la lecture d'un article empirique.

Glissez les éléments pour les mettre dans le bon ordre

Lire la méthode: devis, effectif par groupe, participants, opérationnalisation, exclusions prévues

Ouvrir le préenregistrement s'il existe et le comparer à la méthode publiée

Lire le résumé en dernier et le confronter à ce que vous venez d'établir

Lire la discussion en séparant ce qui a été mesuré de ce qui est interprété

Examiner les figures et les tableaux: tailles d'effet, intervalles de confiance, mesures de dispersion

Lire la fin de l'introduction: quelle question, et quelle prédiction précise a été annoncée

Lire le texte des résultats en vérifiant qu'il rapporte les analyses prévues et en comptant les tests

Les huit questions à poser

Voici le cœur de l'annexe. Ces huit questions sont ordonnées: chacune n'a de sens que si les précédentes ont reçu une réponse acceptable. Il est inutile de discuter la taille d'effet d'une étude dont le devis n'autorise pas l'inférence annoncée.

1. Quelle est la question, et quelle prédiction précise a été faite? Le geste: trouvez la dernière phrase de l'introduction et récrivez-la sous la forme «si l'hypothèse est vraie, alors on doit observer …, et si elle est fausse, on doit observer …». Si la seconde moitié est impossible à écrire, la prédiction n'exclut rien. L'erreur évitée: prendre pour une confirmation théorique ce qui n'est que la constatation qu'il s'est passé quelque chose. Par le théorème 1.1, une prédiction qui autorise tous les résultats apporte $0$ bit d'information, et cent réplications de zéro bit font toujours zéro.

2. Le devis permet-il l'inférence annoncée? Le geste: classez l'étude en trois cases — corrélationnelle (on observe deux variables), expérimentale (on manipule et on randomise), quasi expérimentale (on exploite une variation non contrôlée par le chercheur) — puis vérifiez que le verbe de la conclusion correspond. «Est associé à» pour la première, «cause» ou «augmente» pour la deuxième seulement. L'erreur évitée: la conclusion causale sur un devis corrélationnel, qui reste la faute la plus fréquente de toute la littérature de vulgarisation. Le chapitre 2 montre pourquoi: une corrélation observée peut être entièrement produite par un confondant, sans qu'aucune flèche ne relie les deux variables.

3. Qui a été mesuré, comment, et sur qui généralise-t-on? Le geste: cherchez la première phrase de la section «participants», notez la population réelle (âge, pays, mode de recrutement), puis relisez la dernière phrase du résumé et comparez les deux populations. L'erreur évitée: la généralisation à une population non échantillonnée. Le chapitre 2 documente le profil WEIRD de la littérature: l'écrasante majorité des participants publiés vient de pays occidentaux, et souvent d'étudiants de premier cycle. La leçon n'est pas que ces résultats sont faux, c'est que la généralisation est une hypothèse empirique, qu'il faut avoir testée pour l'affirmer.

4. La mesure est-elle fidèle et valide? Le geste: trouvez comment le construit a été opérationnalisé, et demandez-vous ce que l'instrument mesurerait chez quelqu'un qui n'aurait pas le trait visé. Cherchez un indice de fidélité, et cherchez surtout si la validité de l'instrument a été établie ailleurs que dans cet article. L'erreur évitée: attribuer à une théorie le succès ou l'échec d'un questionnaire. Rappel du chapitre 3: la fidélité borne la validité, $∣ r_{X Y} ∣ \leq r_{X X} r_{Y Y}$ , et une mesure parfaitement fidèle peut être parfaitement invalide — auquel cas aucun effectif ne corrige quoi que ce soit, parce que l'erreur est systématique.

5. Quelle est la taille d'effet, avec son intervalle de confiance, et que représente-t-elle concrètement? Le geste: cherchez un $d$ , un $r$ ou une différence brute avec son unité, et son $I C_{95 %}$ . Puis traduisez: par le théorème 3.1, $P (X_{1} > X_{2}) = Φ (d / 2)$ . Un $d = 0, 30$ signifie qu'un individu du groupe traité dépasse un individu du groupe témoin dans $58, 4 %$ des cas au lieu de $50 %$ , et que les deux distributions se recouvrent encore sur $88 %$ de leur aire. L'erreur évitée: lire «significatif» comme «important». La valeur $p$ dépend conjointement de l'effet et de l'effectif; elle ne mesure aucune magnitude.

6. Quelle était la puissance, et l'effectif est-il compatible avec l'effet annoncé? Le geste: relevez $n$ par groupe et calculez de tête l'effectif qu'il aurait fallu, $n \approx 15, 7/ d^{2}$ pour $80 %$ de puissance au seuil bilatéral de $0, 05$ : $63$ pour $d = 0, 5$ , $175$ pour $d = 0, 3$ , $393$ pour $d = 0, 2$ . Comparez. L'erreur évitée: prendre pour une prouesse ce qui est un signal d'alarme. Un petit échantillon qui trouve un gros effet n'est pas une découverte spectaculaire, c'est une estimation sélectionnée. Le mécanisme, détaillé au chapitre 3, est purement arithmétique: avec $n = 20$ par groupe, le seuil de significativité n'est franchi que si l'effet estimé dépasse $1, 96 2/20 = 0, 62$ , de sorte qu'un effet réel de $0, 30$ ne peut être publié qu'en étant multiplié par deux ou trois. La petitesse de l'échantillon ne rend pas l'effet plus grand: elle interdit à l'étude de publier autre chose qu'un grand effet.

7. L'étude était-elle préenregistrée, et les analyses rapportées sont-elles celles qui étaient prévues? Le geste: cherchez un lien de dépôt; s'il existe, ouvrez-le et comparez trois choses — la variable dépendante primaire, l'effectif annoncé, les critères d'exclusion. S'il n'existe pas, notez-le et traitez l'ensemble des analyses comme exploratoires. L'erreur évitée: lire comme une confirmation ce qui est une exploration. C'est le HARKing du chapitre 3, et il n'est presque jamais malhonnête: il consiste à raconter après coup une histoire cohérente, ce que tout cerveau humain fait spontanément.

8. Le résultat a-t-il été répliqué, par qui, et avec quel effectif? Le geste: cherchez le titre de l'étude dans un moteur de recherche académique, triez par date, et regardez si une réplication directe existe — en notant qui l'a conduite (l'équipe d'origine ou une équipe indépendante) et avec combien de participants. L'erreur évitée: traiter une étude isolée comme un fait établi. C'est la question la plus importante des huit, et c'est la seule qui ne se répond pas dans l'article: aucune étude, si bien conduite soit-elle, ne peut établir seule sa propre robustesse.

Exercice

Cas construit pour la question. Un article rapporte, sur 19 participants par groupe, un effet de $d = 1, 10$ avec $p = 0, 031$ , et conclut que l'effet est «très important». Quelle lecture est la plus raisonnable?

Les signaux d'alerte

Le tableau qui suit énumère des configurations dont la présence justifie un examen plus attentif. Insistons d'emblée, et la colonne de droite le rappelle à chaque ligne: aucun de ces signaux n'est une preuve de faute. Chacun a des explications parfaitement innocentes, et un article irréprochable peut en présenter plusieurs. Ce qu'un signal indique, c'est qu'une vérification est nécessaire avant d'accorder sa confiance — pas qu'il faut soupçonner ses auteurs.

Signal	Ce qu'il peut indiquer	Ce qu'il faut vérifier
Effectif très petit avec un effet spectaculaire	malédiction du vainqueur: seules les estimations gonflées franchissent le seuil	l'intervalle de confiance, et l'existence d'une réplication à grand effectif
Plusieurs valeurs $p$ juste sous $0, 05$ dans le même article	une distribution de valeurs $p$ improbable si l'effet est réel et l'analyse fixée	le préenregistrement, le nombre total de tests conduits, la puissance déclarée
Aucune taille d'effet rapportée	rapportage dichotomique «significatif / non significatif»	si $d$ ou $r$ est calculable depuis les moyennes, les écarts-types et les effectifs donnés
Nombre de variables dépendantes non déclaré	choix de la variable dépendante après avoir vu les résultats	les données supplémentaires, le préenregistrement, la section «mesures»
Exclusions de participants décrites après les résultats	critère d'exclusion choisi en fonction de son effet sur la valeur $p$	si le critère porte sur la variable dépendante, et si l'analyse tient sans exclusion
«Nous avons également constaté» en série	analyses exploratoires présentées comme des résultats	lesquelles de ces analyses figuraient dans le plan annoncé
Graphique sans mesure de dispersion	une différence de moyennes présentée sans sa variabilité	l'écart-type ou l'intervalle de confiance, dans le texte ou les tableaux
Conclusion causale sur un devis corrélationnel	glissement de «est associé à» vers «cause»	le devis réel dans la méthode, et les confondants discutés
Généralisation à une population non échantillonnée	passage de «des étudiants genevois» à «les êtres humains»	la section «participants», et l'existence de tests interculturels
Communiqué de presse plus affirmatif que l'article	déformation en aval, souvent hors du contrôle des auteurs	le texte de l'article lui-même, seule source ayant autorité

Tableau B.1 — Dix signaux d'alerte, ce qu'ils peuvent indiquer et la vérification qu'ils appellent. Un signal appelle une vérification; il ne constitue jamais, à lui seul, un verdict.

Ces signaux ne sont pas indépendants: ils apparaissent en grappes, parce qu'ils découlent souvent d'une même cause — un effectif insuffisant, qui rend nécessaire une latitude analytique pour obtenir un résultat publiable. Le dernier est d'une autre nature: il ne concerne pas les auteurs mais la chaîne de communication, et c'est l'objet de la section suivante.

De l'article au titre de presse

Voici l'exercice le plus formateur de l'annexe. Il ne demande aucun calcul, et il change durablement la manière dont on lit un journal.

Exemple B.1 · Une chaîne de reformulations, entièrement construite

Avertissement. Le résultat qui suit et les quatre reformulations sont construits pour cet exemple. Ils ne proviennent d'aucune étude, d'aucun communiqué et d'aucun média existants; aucun auteur, aucune revue et aucun chiffre publié n'est en cause. Le paradigme utilisé — comparer l'auto-test à la relecture — est en revanche celui de l'effet de test, l'un des résultats les mieux établis de la discipline (chapitre 9).

Point de départ — le résultat, correctement énoncé. «Chez 240 étudiants de première année d'une université suisse répartis au hasard en deux groupes, un exercice d'auto-test de dix minutes après la lecture d'un texte de psychologie est suivi, une semaine plus tard, d'un score de rappel supérieur de $1, 4$ point sur $20$ en moyenne à celui du groupe ayant relu le texte pendant la même durée ( $d = 0, 31$ , $I C_{95 %} = [0, 06; 0, 56]$ ).»

C'est un énoncé modeste et complet: une population, une manipulation, un délai, une mesure, une magnitude, une incertitude.

Reformulation 1 — le communiqué de l'université. «Se tester est plus efficace que relire pour retenir un texte.»

Défendable: la comparaison portait bien sur ces deux conditions et la différence allait bien dans ce sens. Ce qui disparaît: la magnitude et l'intervalle. Or cet intervalle descend jusqu'à $0, 06$ , une valeur négligeable; l'étude est compatible avec un avantage réel presque nul. En perdant le chiffre, on a perdu l'information.

Reformulation 2 — la dépêche d'agence. «Une étude suisse montre que l'auto-test améliore la mémorisation des étudiants.»

Défendable: c'est ce que dit le communiqué, en une phrase. Ce qui disparaît: la population et les conditions. «Les étudiants» a remplacé «240 étudiants de première année d'une université», «la mémorisation» a remplacé «le rappel d'un texte de psychologie une semaine plus tard». Un cas particulier est devenu une catégorie.

Reformulation 3 — l'article de site d'actualité. «S'auto-tester améliore les résultats scolaires.»

Défendable: la mémorisation contribue évidemment aux résultats scolaires. Ce qui a été ajouté: une variable qui n'a jamais été mesurée. Aucune note, aucun examen, aucune moyenne semestrielle n'a été relevée dans l'étude construite ici. On a substitué à la variable dépendante mesurée une variable dépendante désirable.

Reformulation 4 — le titre. «Réviser en relisant ses cours ne sert à rien.»

Défendable: si $A$ est meilleur que $B$ , il est tentant d'écrire que $B$ est mauvais. Le contresens: le groupe qui a relu a lui aussi appris quelque chose — l'étude ne le compare à aucun groupe sans révision et ne dit donc rigoureusement rien sur la valeur absolue de la relecture. Une différence relative est devenue une affirmation absolue, et le titre affirme précisément ce que le devis ne pouvait pas mesurer.

Le bilan. Chacune des quatre étapes est petite et se défend isolément. Mises bout à bout, elles transforment «un avantage moyen de $1, 4$ point sur $20$ , dont l'incertitude descend jusqu'à presque rien, dans une tâche précise et chez une population précise» en «relire ses cours ne sert à rien». Le mécanisme n'est ni le mensonge ni l'incompétence: c'est une suite de quatre pertes d'information — la magnitude, la population, la variable, la référence — dont chacune est un raccourci acceptable et dont la somme est un contresens.

La leçon opérationnelle: quand vous lisez un titre, ne cherchez pas s'il est «vrai», demandez quelle information a été retirée à chaque étape. Les quatre pertes de l'exemple sont les quatre les plus fréquentes, et vous les retrouverez presque à chaque fois.

Exercice

Exemple construit pour la question, qui ne renvoie à aucune publication existante. Un titre annonce: «Le stress détruit la mémoire». L'article correspondant rapporte que, dans un échantillon de 88 étudiants, un test de rappel de mots administré juste après une tâche de stress social donne en moyenne $0, 9$ mot rappelé de moins sur 20 que dans la condition témoin. Quelles déformations le titre contient-il?

Plusieurs réponses possibles

La hiérarchie des preuves

Figure B.1. Hiérarchie des preuves adaptée à la psychologie. La largeur de chaque étage figure l'abondance relative de ce type de preuve dans la littérature, son épaisseur et sa teinte son poids probatoire; les deux sont calculées à partir des colonnes déclarées dans le tableau du code de la figure, et sont des conventions pédagogiques, non des mesures. Chaque étage porte ce qu'il établit et ce qu'il ne peut pas établir, si bien conduit soit-il.

Trois commentaires, dont deux corrigent des lectures naïves de ce genre de schéma.

Pourquoi une réplication multi-sites préenregistrée pèse plus qu'une expérience unique brillante. Non pas parce qu'elle est plus grande — la taille seule ne fait rien —, mais parce qu'elle neutralise séparément les trois mécanismes qui produisent les faux résultats. Le préenregistrement supprime les degrés de liberté du chercheur, puisque le plan d'analyse est fixé avant les données. L'effectif cumulé porte la puissance à un niveau où l'estimation n'est plus sélectionnée par le seuil, ce qui élimine la malédiction du vainqueur. Et la multiplicité des sites teste ce qu'une expérience unique ne peut pas tester: la stabilité de l'effet entre laboratoires, populations et expérimentateurs. Une expérience unique, même conduite avec un soin exemplaire, ne peut établir aucun de ces trois points sur elle-même.

Pourquoi une méta-analyse n'est pas automatiquement au sommet. C'est le contresens le plus répandu sur les hiérarchies de preuve. Une méta-analyse combine les résultats existants en les pondérant par leur précision; elle hérite donc des biais de ce qu'elle agrège. Si le biais de publication a filtré les résultats nuls, l'agrégation ne fait qu'accorder un intervalle de confiance étroit à un chiffre faux — une méta-analyse d'études biaisées est une moyenne de biais, et sa précision apparente la rend plus dangereuse, pas moins. D'où l'étage supérieur de la figure: non pas «méta-analyse», mais méta-analyse de rapports enregistrés, où la revue accepte chaque protocole avant la collecte et s'engage à publier quel que soit le résultat, ce qui supprime à la source le filtre qu'aucune correction ne rattrape après coup. Devant une méta-analyse ordinaire, on regarde le funnel plot, l'hétérogénéité, et l'estimation restreinte aux seules études préenregistrées (chapitre 3).

Ce qu'une étude de cas établit malgré son rang. L'étage le plus bas n'est pas l'étage du néant. Un cas unique peut établir de façon décisive l'existence d'une dissociation, et cet argument est logique, non statistique: si un patient échoue à mémoriser des faits nouveaux tout en apprenant une habileté motrice, alors ces deux capacités ne peuvent pas reposer sur un seul et même système, et aucune taille d'échantillon n'est requise pour le conclure (chapitre 4). Une double dissociation est plus forte encore, car elle exclut l'explication par la simple difficulté des tâches. Un cas suffit à réfuter une affirmation universelle; il ne suffit jamais à en établir une. C'est la raison pour laquelle la hiérarchie doit se lire comme un classement de ce que chaque niveau autorise à conclure, et non comme un classement de la valeur des travaux.

Où en sont les grands classiques

Le tableau qui suit rassemble, sans les réécrire, les statuts établis dans les chapitres du cours pour les résultats les plus souvent cités hors de la discipline. Chaque ligne renvoie au chapitre qui l'établit et où se trouvent l'argument et les nuances; ce tableau n'est qu'un index.

Résultat	Ce qu'on en dit couramment	Où en est la preuve	Chapitre
Épuisement du moi	«la volonté est une ressource qui s'épuise»	contesté ou non répliqué: n'a pas survécu à une réplication multi-laboratoires préenregistrée	3, 11
Postures de pouvoir	«deux minutes de posture modifient hormones et prise de risque»	effets hormonaux et comportementaux non retrouvés à plus grand effectif (contesté); seul subsiste un effet subjectif de sentiment de puissance, plausible mais discuté	1, 3
Rétroaction faciale	«sourire rend heureux»	la version forte a échoué en réplication multi-laboratoires; il ne subsiste au mieux qu'un effet petit et conditionnel	12
Effet Mozart	«écouter Mozart rend les enfants plus intelligents»	contesté: l'effet initial était un bref effet d'éveil et d'humeur, non spécifique à Mozart	2
Test du marshmallow	«savoir attendre à quatre ans prédit la réussite»	pouvoir prédictif fortement réduit une fois le milieu socio-économique pris en compte	3
Prison de Stanford	«la situation transforme n'importe qui en bourreau»	contesté, méthode compromise (consignes explicites aux gardiens): ne peut pas servir de preuve, reste un matériel pédagogique	2
Obéissance de Milgram	«65 % des gens vont jusqu'au choc maximal»	le phénomène est plausible et convergent; la valeur de $65 %$ et l'interprétation en obéissance pure sont discutées (variantes, archives)	2
Impuissance apprise	«l'animal apprend qu'il est impuissant»	le phénomène comportemental est robuste, son interprétation d'origine a été révisée par ses auteurs en 2016: c'est la détection du contrôle qui est apprise	12
Menace du stéréotype	«rappeler un stéréotype fait chuter la performance»	effets faibles ou nuls dans les grandes réplications	3
État d'esprit de développement	«changer d'état d'esprit transforme la réussite scolaire»	effets moyens très faibles dans les grands essais préenregistrés, concentrés sur certains sous-groupes	3
Entraînement cérébral	«les jeux d'entraînement rendent plus intelligent»	on progresse à la tâche entraînée, mais le transfert lointain n'est pas établi	3, 9
Effet Dunning-Kruger	«les incompétents se croient compétents»	en partie artefact statistique: la forme caractéristique s'obtient en partie par régression vers la moyenne	2
Styles d'apprentissage	«enseigner selon le style visuel, auditif ou kinesthésique»	aucune preuve de l'interaction annoncée, alors que l'hypothèse est ancienne, largement enseignée et facile à tester	1, 9
Loi de Yerkes-Dodson	«il existe un niveau de stress optimal»	base empirique bien plus mince que sa popularité: une expérience de 1908 chez la souris, généralisée par citation	12
Cas de Phineas Gage	«une barre de fer a changé sa personnalité»	fait clinique réel, détails du changement de personnalité contestés (sources rétrospectives et contradictoires)	2, 4
Neuromythes: 10 % du cerveau, cerveau gauche contre droit, «tout se joue avant trois ans»	présentés comme des acquis des neurosciences	faux; la latéralisation et les périodes sensibles sont réelles, mais pas sous la forme popularisée	1, 4

Tableau B.2 — Index des statuts probatoires établis par le cours. La colonne «chapitre» renvoie à l'endroit où l'argument est développé; cette annexe n'établit aucun statut par elle-même.

Ce tableau est déprimant si on le lit seul, et il ne doit pas l'être. Le cours s'appuie sur une liste au moins aussi longue de résultats robustes: effet d'espacement et effet de test, courbe d'oubli, limites de la mémoire de travail, effet de désinformation, cécité au changement, loi de Weber, détection du signal, conditionnements classique et opérant, modèle de Rescorla-Wagner, loi d'appariement, négligence des taux de base, aversion aux pertes, loi de Zipf, effets de typicalité. Que la discipline sache dire lesquels de ses classiques ne tiennent pas est le signe qu'elle fonctionne, pas qu'elle échoue.

Que faire quand on ne sait pas

Il restera beaucoup de cas où les huit questions ne suffisent pas à trancher. La conduite honnête tient en cinq points.

Distinguer «faux» de «non établi». Ce sont deux verdicts différents, appuyés sur des preuves différentes. «Non établi» signifie que les données disponibles ne permettent pas de conclure — l'effet peut exister. «Faux» exige une preuve positive de l'absence: un intervalle de confiance étroit autour de zéro, un test d'équivalence, une série de réplications bien dimensionnées et convergentes. Le chapitre 3 le formule ainsi: l'absence de preuve n'est pas la preuve de l'absence, et un résultat non significatif obtenu sur trente personnes ne prouve rigoureusement rien.

Chercher une réplication et une méta-analyse récentes. C'est le geste au meilleur rendement de toute cette annexe. Trois minutes dans un moteur de recherche académique, en triant par date, suffisent souvent à faire passer un résultat d'un statut à un autre. Regardez qui a conduit la réplication: une réplication par l'équipe d'origine n'a pas la même valeur informative qu'une réplication indépendante.

Regarder si le champ a préenregistré. Un domaine dont les études préenregistrées confirment la littérature antérieure est un domaine auquel on peut faire crédit; un domaine dont les études préenregistrées trouvent systématiquement des effets plus petits vous dit ce que valait cette littérature — et vous permet d'ajuster votre confiance sur des travaux que vous n'avez pas lus.

Accepter de suspendre son jugement. «Je ne sais pas, et voici précisément ce qui me le ferait savoir» est une réponse complète, pas une dérobade. En rédigeant un travail, écrivez «les données disponibles ne permettent pas de trancher entre A et B; une réplication préenregistrée avec environ $n$ participants par groupe le permettrait». C'est une phrase qu'aucun examinateur ne peut vous reprocher, parce qu'elle est vraie et qu'elle est vérifiable.

L'incertitude n'est pas le relativisme

De ce que beaucoup de résultats sont fragiles, certains concluent que rien ne vaut rien et que tout se vaut. C'est le contresens exact de cette annexe, et c'est intellectuellement paresseux.

Toutes les affirmations ne se valent pas. L'effet de test, répliqué dans des dizaines de laboratoires, sur des matériaux et des populations variés, avec des tailles d'effet stables, n'a pas le même statut qu'un effet obtenu une fois sur trente étudiants et jamais retrouvé. Un résultat contredit par des réplications préenregistrées à grand effectif n'est pas «une opinion parmi d'autres»: il est abandonné, et le dire n'est pas de l'arrogance. La gradation existe, elle est mesurable, et la reconnaître est exactement le contraire de tout croire comme de ne rien croire.

Le relativisme a d'ailleurs une conséquence pratique commode pour celui qui le professe: il dispense de faire le travail. Attribuer un statut probatoire demande de lire la méthode, de calculer une puissance et de chercher une réplication. Décréter que «de toute façon les études se contredisent» ne demande rien.

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.

Exercice B.1 · Juger un résumé avec les huit questions

Le résumé qui suit est entièrement construit pour cet exercice: il ne correspond à aucune étude, aucun auteur et aucune revue existants, et aucun de ses chiffres n'est extrait d'une publication.

> «Effet d'un exercice respiratoire bref sur la mémoire de travail. Quarante-quatre étudiants ont été répartis entre une condition "respiration guidée" (cinq minutes) et une condition témoin (lecture d'un texte neutre), puis ont accompli une tâche d'empan. Les participants de la condition respiration obtiennent un empan significativement supérieur ( $p = 0, 04$ ). Deux participants ont été exclus de l'analyse en raison de scores atypiques. Ces résultats montrent que quelques minutes de respiration guidée améliorent les capacités cognitives.»

Appliquez les huit questions dans l'ordre. Pour chacune, dites ce que le résumé permet de vérifier, ce qu'il faudrait aller chercher dans l'article, et ce que son silence implique.
Calculez la puissance de cette étude contre un effet réel de $d = 0, 30$ , puis contre $d = 0, 50$ (on prendra $21$ participants par groupe après exclusion, $α = 0, 05$ bilatéral, puissance $Φ (δ - 1, 96) + Φ (- δ - 1, 96)$ avec $δ = d n /2$ ).
Quelle est la plus petite taille d'effet que cette étude pouvait publier?
Concluez par un statut probatoire argumenté, en disant explicitement ce qui vous ferait changer d'avis.

Solution

1. Les huit questions.

(1) Question et prédiction. Le résumé n'annonce aucune prédiction quantitative: «améliorent les capacités cognitives» n'exclut presque aucun résultat possible. Par le théorème 1.1, une telle prédiction apporte une information voisine de zéro bit. À chercher dans l'article: une hypothèse directionnelle et chiffrée dans l'introduction. Le silence implique: qu'on ne peut pas savoir si l'article teste une théorie ou décrit une observation.

(2) Devis. Répartition entre deux conditions: le devis est expérimental si la répartition est aléatoire, ce que le résumé ne dit pas («ont été répartis» n'est pas «ont été répartis au hasard»). À chercher: le mot «aléatoire» dans la méthode et la procédure de randomisation. Le silence implique: que l'inférence causale n'est pas encore acquise.

(3) Participants et généralisation. Quarante-quatre étudiants, université non précisée, recrutement non précisé — profil WEIRD typique (chapitre 2). Or la conclusion porte sur «les capacités cognitives» sans restriction de population. La généralisation annoncée dépasse largement l'échantillon.

(4) Mesure. Une tâche d'empan est une opérationnalisation étroite et défendable de la mémoire de travail, mais la conclusion parle des «capacités cognitives», qui est un construit bien plus large. Il y a ici un glissement de construit à l'intérieur même du résumé. À chercher: la description exacte de la tâche, sa fidélité, et le fait qu'une seule mesure ait été prise.

(5) Taille d'effet. Absente, ainsi que l'intervalle de confiance. C'est le défaut de rapportage le plus grave du résumé: sans magnitude, le lecteur ne peut rien traduire ni comparer. À chercher: moyennes, écarts-types et effectifs, à partir desquels $d$ se recalcule.

(6) Puissance. Vingt et un participants par groupe: voir la question 2. L'effectif est très inférieur aux $175$ par groupe que demanderait un effet de $d = 0, 30$ .

(7) Préenregistrement. Non mentionné. De plus, l'exclusion de deux participants «en raison de scores atypiques» est décrite après les résultats et porte, selon toute vraisemblance, sur la variable dépendante elle-même — c'est le signal d'alerte «exclusions décrites après les résultats» du tableau B.1. Le silence implique: que toutes les analyses doivent être traitées comme exploratoires, et que le critère d'exclusion a pu être choisi en fonction de son effet.

(8) Réplication. Rien n'est dit. C'est la question décisive, et elle se règle hors de l'article.

2. Puissance. Avec $n = 21$ par groupe, $δ = d 10, 5 = 3, 24 d$ .

$d$	$δ$	puissance
$0, 30$	$0, 97$	$16, 3 %$
$0, 50$	$1, 62$	$36, 7 %$

Contre l'effet moyen typique de la discipline, cette étude avait donc environ une chance sur six de trouver quelque chose. Ce n'est pas une étude qui a réussi: c'est une étude qui ne pouvait pratiquement pas réussir, et qui a néanmoins rapporté un résultat significatif.

3. Le plancher publiable. Le seuil bilatéral est franchi lorsque l'effet estimé dépasse $1, 96 2/21 = 1, 96 \times 0, 309 = 0, 605$ . Autrement dit, cette étude était dans l'incapacité mécanique de publier autre chose qu'un effet supérieur à $0, 60$ , c'est-à-dire un «grand» effet au sens de Cohen. Le fait qu'elle en rapporte un n'est donc pas une information sur la nature: c'est une conséquence de son effectif. Et si l'effet réel valait $0, 30$ , l'estimation publiée le surestimerait d'un facteur voisin de $2$ .

4. Statut et position. Je classe cette affirmation en non établie, et je précise: non établie ne veut pas dire fausse.

Les raisons, par ordre de poids. D'abord la puissance: $16 %$ contre un effet plausible, ce qui rend le résultat peu informatif quelle que soit la probité des auteurs. Ensuite le plancher publiable de $0, 60$ , qui garantit que l'estimation, non rapportée, est gonflée. Ensuite l'absence de taille d'effet et d'intervalle, qui empêche le lecteur de faire lui-même ce raisonnement et constitue en soi un défaut. Ensuite l'exclusion décrite après les résultats et portant vraisemblablement sur la variable dépendante, en l'absence de préenregistrement. Enfin le glissement de construit: même si l'effet sur l'empan était réel, la conclusion «améliorent les capacités cognitives» ne suivrait pas, car une amélioration d'empan mesurée immédiatement après l'intervention n'établit ni la durée, ni le transfert à d'autres tâches — c'est exactement le problème du transfert lointain de l'entraînement cérébral (chapitres 3 et 9).

Ce qui me ferait changer d'avis. Une réplication préenregistrée, indépendante de l'équipe d'origine, d'environ $175$ participants par groupe pour $80 %$ de puissance contre $d = 0, 30$ , avec l'empan comme variable dépendante primaire unique, des critères d'exclusion fixés à l'avance et ne portant pas sur la variable dépendante, un délai de mesure déclaré, et la publication de $d$ avec son $I C_{95 %}$ . Si un tel travail trouvait un intervalle entièrement au-dessus de zéro, je passerais l'affirmation — dans sa version étroite, portant sur l'empan et non sur «les capacités cognitives» — au statut plausible. S'il trouvait un intervalle étroit contenant zéro, je passerais au statut contesté. C'est cette phrase, et non le verdict lui-même, qui rend l'appréciation scientifique.

Exercice B.2 · Remonter la chaîne d'une déformation

La chaîne suivante est construite pour l'exercice: le titre, la dépêche et le résultat sont inventés, et ne renvoient à aucune publication, aucun média et aucun laboratoire existants.

Le titre: «Les enfants qui dorment mal deviennent de mauvais élèves.»

La dépêche: «Selon une étude menée auprès de 1 200 écoliers, les enfants dormant moins de sept heures par nuit obtiennent de moins bons résultats scolaires. Les chercheurs recommandent d'avancer l'heure du coucher.»

L'article: «Dans une cohorte de 1 200 écoliers de 9 à 11 ans, la durée de sommeil déclarée par les parents est corrélée à la moyenne scolaire de fin d'année, $r = 0, 14$ ( $I C_{95 %} = [0, 08; 0, 20]$ ). L'association reste de même ordre après ajustement sur l'âge et le sexe, et diminue après ajustement sur le niveau socio-économique du ménage. Aucune manipulation expérimentale n'a été conduite.»

Identifiez, étape par étape, chaque déformation introduite entre l'article, la dépêche et le titre, en la nommant.
Traduisez $r = 0, 14$ en quelque chose d'imaginable, et dites ce que cette magnitude autorise à affirmer.
La recommandation «avancer l'heure du coucher» est-elle soutenue par l'article? Justifiez.
Récrivez un titre défendable, en une phrase, sans être ennuyeux.

Solution

1. Les déformations, étape par étape.

De l'article à la dépêche. Trois déformations. (i) Passage du continu au dichotomique: l'article rapporte une corrélation sur une variable continue, la dépêche invente un seuil de sept heures qui ne figure nulle part. (ii) Disparition de la magnitude et de l'ajustement: $r = 0, 14$ disparaît, et surtout la phrase «diminue après ajustement sur le niveau socio-économique» disparaît — or c'est l'information la plus importante de l'article, puisqu'elle désigne un confondant plausible. (iii) Recommandation causale ajoutée: «les chercheurs recommandent d'avancer l'heure du coucher» transforme une association observée en une intervention, ce que le devis n'autorise pas.

De la dépêche au titre. Deux déformations. (iv) Verbe causal et temporel: «deviennent» affirme une causalité et une évolution dans le temps, là où il n'y a qu'une association mesurée à un instant. (v) Catégorisation des individus: «les enfants qui dorment mal» et «de mauvais élèves» remplacent deux distributions largement recouvrantes par deux catégories tranchées — c'est l'erreur que le théorème 3.1 interdit.

Notons aussi une déformation de la mesure, présente dès la dépêche: la durée de sommeil est déclarée par les parents, et non mesurée. Un parent qui juge son enfant en difficulté scolaire peut estimer différemment son sommeil, ce qui suffirait à produire une petite corrélation sans aucun lien réel.

2. Traduire $r = 0, 14$ . Le carré de la corrélation, $r^{2} = 0, 0196$ , indique que la durée de sommeil déclarée rend compte d'environ $2 %$ de la variance des moyennes scolaires; $98 %$ de cette variance tient à autre chose. Converti en différence standardisée, $r = 0, 14$ correspond à $d \approx 0, 28$ , soit une probabilité de supériorité de l'ordre de $58 %$ contre $50 %$ par le hasard: si l'on tire au hasard un enfant dormant beaucoup et un enfant dormant peu, le premier a la meilleure moyenne dans environ $58$ cas sur $100$ . C'est une association réelle et détectable sur $1200$ enfants, et elle ne permet de prédire pratiquement rien pour un enfant donné. L'intervalle $[0, 08; 0, 20]$ confirme d'ailleurs que l'association est petite dans toute sa plage plausible: l'étude est précise, et ce qu'elle établit avec précision est que l'effet est faible.

3. La recommandation n'est pas soutenue, et c'est net. Trois raisons. D'abord, aucune manipulation n'a été conduite: l'article le dit lui-même. Ensuite, l'ajustement sur le niveau socio-économique diminue l'association, ce qui est exactement la signature d'un confondant partiel — le milieu peut agir à la fois sur les horaires de coucher et sur les résultats scolaires, sans qu'aucune flèche ne relie les deux (chapitre 2). Enfin, la causalité inverse est au moins aussi plausible: un enfant en difficulté scolaire peut dormir moins parce qu'il travaille tard, s'inquiète, ou parce que la difficulté et le sommeil partagent une cause commune. Recommander d'avancer le coucher revient à affirmer qu'une intervention sur $X$ déplacera $Y$ , ce qui n'est testable que par une expérience — ici absente. Position: la recommandation excède le devis, et il faut le dire, même si l'idée d'un coucher plus tôt est par ailleurs raisonnable pour d'autres motifs.

4. Un titre défendable. «Sommeil et résultats scolaires: une association réelle mais faible, et qui s'explique en partie par le milieu familial.» Il donne la direction, il donne la magnitude («faible»), il nomme le confondant identifié, et il n'affirme aucune causalité. Il n'est pas plus long que l'original. Le contre-exemple à éviter reste «le sommeil n'a aucun effet sur les résultats scolaires»: l'article ne l'établit pas non plus, et retomber dans le verdict inverse serait commettre la même faute en sens contraire.

Exercice B.3 · Puissance, valeur prédictive, et ce que vous croyez

Une équipe rapporte, dans une étude construite pour cet exercice, un effet de $d = 0, 62$ sur $30$ participants par groupe, avec $p = 0, 03$ , sans préenregistrement. L'état de la littérature du domaine rend plausible, si l'effet existe, une taille réelle de l'ordre de $d = 0, 30$ , et vous estimez qu'environ une hypothèse sur sept explorée dans ce domaine est vraie, soit $π = 0, 15$ . Le seuil est bilatéral, $α = 0, 05$ . On rappelle $δ = d n /2$ , la puissance $Φ (δ - 1, 96) + Φ (- δ - 1, 96)$ et le théorème 3.3.

Calculez la puissance de cette étude contre $d = 0, 30$ .
Calculez la valeur prédictive positive du résultat significatif rapporté.
Quelle valeur prédictive obtiendrait la même étude si elle avait été dimensionnée pour $80 %$ de puissance? Combien de participants par groupe cela aurait-il exigé?
L'effet publié vaut $d = 0, 62$ . Que vaut cette estimation, et quel facteur de surestimation attendez-vous?
Dites ce que vous croyez, et ce qui vous ferait changer d'avis.

Solution

1. La puissance. $δ = 0, 30 30/2 = 0, 3015 = 0, 30 \times 3, 873 = 1, 162$ . La puissance vaut

Φ (1, 162 - 1, 960) + Φ (- 1, 162 - 1, 960) = Φ (- 0, 798) + Φ (- 3, 122) = 0, 2124 + 0, 0009 = 0, 213,

soit $21, 3 %$ . Quatre fois sur cinq, cette étude ne trouve rien alors même que l'effet existe.

2. La valeur prédictive. Par le théorème 3.3, avec $π = 0, 15$ , $1 - β = 0, 213$ et $α = 0, 05$ :

P (H_{1} ∣ S) = \frac{0 , 15 \times 0 , 213}{0 , 15 \times 0 , 213 + 0 , 85 \times 0 , 05} = \frac{0 , 0320}{0 , 0320 + 0 , 0425} = \frac{0 , 0320}{0 , 0745} = 0, 430,

soit $43, 0 %$ . Un résultat significatif a ici moins d'une chance sur deux d'être vrai — et ce calcul suppose une étude irréprochable, sans arrêt optionnel, sans exclusion opportuniste, sans variable dépendante choisie après coup. L'absence de préenregistrement interdit précisément d'écarter ces trois possibilités, de sorte que le taux effectif de faux positifs dépasse vraisemblablement $0, 05$ et que $43 %$ est un plafond, non une estimation.

3. Si l'étude avait été correctement dimensionnée. Avec $1 - β = 0, 80$ :

P (H_{1} ∣ S) = \frac{0 , 15 \times 0 , 80}{0 , 15 \times 0 , 80 + 0 , 85 \times 0 , 05} = \frac{0 , 120}{0 , 1625} = 0, 738,

soit $73, 8 %$ . Le même résultat significatif, obtenu dans le même domaine avec la même plausibilité a priori, passerait de «pile ou face» à «près de trois chances sur quatre», sans que rien change d'autre que l'effectif. Celui-ci vaut $n \approx 15, 70/0, 3 0^{2} = 174, 4$ , soit $175$ participants par groupe: environ six fois l'effectif réel, $350$ participants au lieu de $60$ .

4. Ce que vaut $d = 0, 62$ . Le seuil de significativité, à $n = 30$ par groupe, est atteint dès que l'effet estimé dépasse $1, 96 2/30 = 1, 96 \times 0, 258 = 0, 506$ . L'estimation rapportée, $0, 62$ , est donc à peine au-dessus du minimum publiable: elle ne témoigne d'aucune force particulière du phénomène, seulement du fait que l'étude a franchi son propre plancher. Si l'effet réel vaut $0, 30$ , le facteur de surestimation attendu est de l'ordre de $2$ , ce que l'on retrouve ici presque exactement ( $0, 62/0, 30 = 2, 07$ ). L'intervalle de confiance, que l'article ne donne pas, vaudrait approximativement $0, 62 \pm 1, 96 \times 0, 258$ , soit $[0, 11; 1, 13]$ : compatible avec un effet presque négligeable comme avec un effet énorme, donc très peu informatif.

5. Ce que je crois. Je ne crois pas que cet effet soit établi, et je ne crois pas non plus qu'il soit nul. Je lui attribue le statut non établi, avec une probabilité subjective d'existence légèrement inférieure à celle d'un tirage à pile ou face — c'est littéralement le chiffre de la question 2, corrigé vers le bas par l'absence de préenregistrement.

Concrètement, cela veut dire trois choses. Je ne citerai pas ce résultat comme un fait dans un travail écrit; je peux le citer comme une hypothèse à tester, en donnant sa puissance. Je ne le tiens pas pour réfuté et je ne dirai pas «c'est faux»: aucune donnée ne l'établit, et confondre «non établi» avec «faux» serait commettre en sens inverse l'erreur que je reproche aux auteurs. Et je considère que la question reste ouverte et vaut la peine d'être tranchée, précisément parce que la valeur prédictive de $43 %$ signifie qu'il y a presque une chance sur deux qu'il y ait là quelque chose.

Ce qui me ferait changer d'avis, dans les deux directions. Une réplication directe préenregistrée, indépendante, d'au moins $175$ participants par groupe, avec la même variable dépendante primaire et le protocole d'origine, rapportant $d$ et son $I C_{95 %}$ . Si l'intervalle obtenu était entièrement au-dessus de zéro, je passerais au statut plausible, en retenant la magnitude de la réplication et non celle de l'original. Si l'intervalle était étroit et contenait zéro — disons $[- 0, 08; 0, 20]$ —, je passerais au statut contesté ou non répliqué, et je considérerais l'effet publié comme un artefact de la malédiction du vainqueur. Notez que dans les deux cas, c'est la réplication qui porte l'information, et non l'étude d'origine: c'est la conclusion pratique de toute cette annexe.

Références

Gazzaniga, M., Heatherton, T. et Halpern, D., Psychological Science, W. W. Norton, New York, chapitres sur la méthode scientifique et l'évaluation des affirmations scientifiques.
Schacter, D. L., Gilbert, D. T. et Wegner, D. M., Psychologie, De Boeck Supérieur, Louvain-la-Neuve, chapitre «Méthodes de recherche en psychologie».
Cohen, J., Statistical Power Analysis for the Behavioral Sciences, 2e éd., Lawrence Erlbaum, Hillsdale, 1988 (tailles d'effet, puissance, tables d'effectifs).
Ioannidis, J. P. A., «Why most published research findings are false», PLoS Medicine, 2(8), 2005; Simmons, J. P., Nelson, L. D. et Simonsohn, U., «False-positive psychology», Psychological Science, 22(11), 2011; Kerr, N. L., «HARKing: hypothesizing after the results are known», Personality and Social Psychology Review, 2(3), 1998.
Open Science Collaboration, «Estimating the reproducibility of psychological science», Science, 349(6251), 2015; rapports des projets Many Labs et des Registered Replication Reports.
Chapitres 1, 2, 3, 4, 9, 11 et 12 du présent cours, où sont établis les statuts probatoires repris dans le tableau B.2; Fonds national suisse, directives sur l'Open Research Data.