L'apprentissage · Psychologie générale

Objectifs du chapitre

À la fin de ce chapitre, vous serez capable de:

définir l'apprentissage comme un changement durable dû à l'expérience, et dire ce que chaque terme de cette définition exclut (maturation, fatigue, effet pharmacologique);
décrire le paradigme du conditionnement classique avec la terminologie exacte (SI, RI, SC, RC) et expliquer pourquoi l'extinction n'efface pas ce qui a été appris;
énoncer et appliquer le modèle de Rescorla-Wagner, calculer une valeur associative essai par essai, établir la solution $V_{n} = λ [1 - (1 - α β)^{n}]$ et en déduire le nombre d'essais nécessaires pour atteindre une fraction donnée de l'asymptote;
expliquer le blocage par l'erreur de prédiction, sans hypothèse supplémentaire, et dire ce que le modèle ne parvient pas à expliquer;
classer sans erreur des situations dans le tableau renforcement / punition, positif / négatif, et reconnaître la signature de chacun des quatre programmes de renforcement;
utiliser la loi d'appariement pour prévoir la répartition des réponses entre deux options, et interpréter les écarts par sa forme généralisée;
situer l'apport et les limites du béhaviorisme, et évaluer le statut de preuve des grandes études historiques de ce domaine.

Ce qu'on appelle apprendre

Une définition, et ce qu'elle exclut

Le mot «apprentissage» désigne dans la langue courante l'acquisition volontaire d'un savoir scolaire. En psychologie, il recouvre quelque chose de beaucoup plus large et de beaucoup plus ancien: la manière dont un organisme, quel qu'il soit, se modifie sous l'effet de ce qui lui arrive.

Chacun des trois termes soulignés fait un travail précis, et chacun exclut quelque chose.

Durable exclut les fluctuations passagères. Vous marchez plus lentement à la fin d'une longue randonnée: votre comportement a changé, mais par fatigue, et il redeviendra ce qu'il était après une nuit de sommeil. De même pour l'effet d'une substance: la caféine modifie votre temps de réaction pendant quelques heures. Un effet pharmacologique n'est pas un apprentissage, même s'il est parfaitement mesurable — nous verrons cependant que le contexte dans lequel une substance est consommée, lui, peut être appris.

Dû à l'expérience exclut la maturation. Un nourrisson se met à marcher vers douze mois; un adolescent voit sa voix muer. Ces changements sont durables et ils portent sur le comportement, mais ils se produisent parce que l'organisme se développe selon un programme largement endogène, non parce qu'il a rencontré tel événement plutôt que tel autre. La frontière n'est jamais absolument nette — marcher demande aussi de l'exercice — et c'est précisément pour cela que les devis expérimentaux du chapitre 2 servent à la trancher: si l'on peut faire varier l'expérience en gardant l'âge constant, on saura à quoi attribuer le changement.

Potentiel de comportement est l'ajout le plus important, et il est venu tard. Un organisme peut avoir appris sans rien montrer. Vous connaissez le chemin de la gare sans le parcourir en ce moment. Cette clause, nous le verrons à la fin du chapitre, a été imposée aux béhavioristes par des expériences qu'ils ne pouvaient pas expliquer autrement.

Les deux formes les plus simples

On commence par les formes les plus simples parce qu'elles sont présentes chez presque tous les animaux, y compris ceux qui ne possèdent que quelques milliers de neurones, et parce qu'elles ne demandent d'apprendre aucune relation entre deux événements: un seul stimulus suffit.

Vous entendez le train qui passe derrière l'immeuble le premier jour, plus le deuxième mois: habituation. Après un cambriolage, le moindre craquement dans l'escalier vous fait sursauter: sensibilisation. Ces deux processus ne sont pas de la fatigue sensorielle: l'habituation est spécifique au stimulus — changez la fréquence du son et la réponse revient, ce qu'on appelle la déshabituation — et elle se reconstitue après un repos, exactement comme un apprentissage.

L'habituation est aussi l'outil de mesure le plus employé chez le nourrisson préverbal: on présente un stimulus jusqu'à ce que le temps de regard chute, puis on en change un aspect; si le regard remonte, c'est que le bébé a distingué les deux. Le paradigme est robuste, mais un temps de regard plus long signale une discrimination, pas nécessairement un concept.

Le conditionnement classique

Le paradigme de Pavlov

Ivan Pavlov étudiait la digestion du chien lorsqu'il remarqua un phénomène qui gênait ses mesures: ses animaux se mettaient à saliver avant de recevoir la nourriture, à la vue de l'expérimentateur ou au bruit de ses pas. Plutôt que d'éliminer cette «sécrétion psychique», il en fit son objet et construisit, dès les premières années du XX^e siècle, le paradigme qui porte son nom.

La terminologie française traduit unconditioned et conditioned par «inconditionnel» et «conditionnel», ce qui rend mieux le sens original — le réflexe est conditionnel à un apprentissage — que le calque «conditionné» que l'on rencontre aussi. Retenez que RI et RC ne sont jamais tout à fait identiques, et qu'il arrive même que la RC soit l'opposé de la RI, un point qui aura son importance pour la tolérance aux substances.

Les phénomènes de base

Cinq phénomènes se retrouvent dans toutes les préparations et chez toutes les espèces où l'on a cherché à les produire. Leur régularité est l'un des résultats les mieux établis de la psychologie.

L'acquisition est la montée de la force de la RC au fil des essais appariés. La courbe est négativement accélérée: elle monte vite au début, puis de moins en moins, et tend vers un plafond. Nous verrons dans la section suivante que cette forme n'est pas un détail graphique mais la signature d'un mécanisme.

L'extinction est la diminution de la RC lorsque le SC est présenté à répétition sans le SI. Elle est également négativement accélérée, et elle est en général plus rapide que l'acquisition.

La récupération spontanée est la réapparition partielle de la RC après un intervalle de repos, sans aucun réapprentissage. C'est le phénomène décisif du chapitre.

La généralisation est le fait qu'un stimulus voisin du SC déclenche lui aussi la RC, d'autant plus fortement qu'il lui ressemble; le tracé de la force de la RC en fonction de la ressemblance s'appelle le gradient de généralisation. La discrimination est le processus inverse: si le $SC_{+}$ est apparié au SI et le $SC_{-}$ ne l'est jamais, l'animal finit par répondre au premier et non au second.

Le conditionnement d'ordre supérieur est l'appariement d'un nouveau stimulus neutre avec un SC déjà établi, sans SI. Un deuxième signal acquiert alors, plus faiblement, le pouvoir de déclencher la RC. C'est ce qui permet à des chaînes entières de signaux — un logo, un mot, un lieu — d'acquérir une valeur affective sans avoir jamais été appariés directement à quoi que ce soit de biologiquement significatif.

L'extinction n'efface pas l'apprentissage

L'erreur la plus répandue consiste à lire l'extinction comme un désapprentissage, un retour à l'état initial. Trois faits l'interdisent:

la récupération spontanée: après une simple pause, la RC revient partiellement, sans nouvel appariement;
le renouvellement contextuel (renewal): si l'extinction a lieu dans un contexte B et que l'on teste ensuite dans le contexte A où l'acquisition avait eu lieu, la RC réapparaît;
la réacquisition plus rapide (effet d'épargne): réapparier SC et SI ramène la RC à son niveau plus vite qu'au premier apprentissage.

L'interprétation reçue est que l'extinction installe un nouvel apprentissage inhibiteur, qui coexiste avec le premier au lieu de le remplacer, et dont l'expression dépend du contexte et du temps. Cette lecture est robuste au sens où les trois phénomènes se répliquent sans difficulté; elle a une conséquence clinique directe, discutée plus bas à propos des thérapies par exposition.

Figure 8.1. Force de la réponse conditionnelle au fil des essais, échantillonnée depuis le modèle de Rescorla-Wagner avec αβ = 0,30. Acquisition (λ = 1), extinction (λ = 0), récupération spontanée après une pause, puis réacquisition. La courbe atteint 90 % de l'asymptote en 7 essais lors de la première acquisition, mais en 5 essais seulement lors de la réacquisition, parce qu'elle repart d'une valeur non nulle: c'est l'effet d'épargne. Le saut vertical à la pause est le seul élément du tracé que le modèle ne produit pas — il est imposé, précisément parce que la récupération spontanée est l'un des phénomènes qu'il n'explique pas.

Exercice

Un chien a été conditionné à saliver au son d'un métronome, puis le métronome a été présenté seul jusqu'à ce que la salivation cesse complètement. Vingt-quatre heures plus tard, on présente à nouveau le métronome. Que prévoyez-vous, et pourquoi?

Ce qui s'apprend réellement

La contiguïté ne suffit pas

Pendant un demi-siècle, la réponse à la question «à quelle condition un SC devient-il efficace?» a paru évidente: il faut qu'il soit contigu au SI. La contiguïté est effectivement nécessaire dans la plupart des préparations — un SC qui suit le SI produit peu ou pas de RC. Mais elle n'est pas suffisante, et c'est une expérience de contrôle d'apparence anodine qui l'a montré.

Comparez deux groupes de rats. Dans les deux, le SC est suivi du SI dans 40 % des essais. Mais dans le premier groupe, le SI ne survient jamais en dehors du SC, tandis que dans le second, il survient aussi souvent en l'absence du SC. Le nombre d'appariements est identique; seule la contingence diffère, c'est-à-dire l'écart entre $P (SI ∣ SC)$ et $P (SI ∣ pas de SC)$ . Le premier groupe développe une RC, le second non. C'est le résultat obtenu par Robert Rescorla à la fin des années 1960, et il est robuste: le SC n'est appris que dans la mesure où il informe. Quand $P (SI ∣ SC) = P (SI ∣ pas de SC)$ , le SC ne prédit rien et rien ne s'apprend, quel que soit le nombre d'appariements.

Un second résultat va plus loin encore, parce qu'il montre que la valeur prédictive d'un stimulus dépend de ce que les autres stimuli présents prédisent déjà.

Dans le groupe témoin qui n'a pas reçu la phase 1, $X$ acquiert une RC substantielle. Dans le groupe expérimental, $X$ n'en acquiert presque aucune, bien qu'il ait été apparié au SI exactement le même nombre de fois, avec la même contiguïté. Ce qui manque à $X$ , ce n'est pas l'appariement: c'est la nouveauté de l'information.

Le modèle de Rescorla-Wagner

En 1972, Robert Rescorla et Allan Wagner ont proposé une règle d'une simplicité étonnante qui rend compte de tout cela d'un coup.

La formule (8.1) dit une chose et une seule: on n'apprend que ce qui surprend. Si le renforcement était déjà entièrement prévu par les stimuli présents, l'erreur est nulle, $Δ V_{i} = 0$ , et rien ne change — même si le stimulus est là, même s'il est parfaitement contigu au SI.

Le paramètre $λ$ représente l'intensité du renforcement, autrement dit la valeur associative maximale que ce SI peut soutenir; $α$ dépend du stimulus (un son fort s'apprend plus vite qu'un son faible) et $β$ du renforcement. Le produit $α β$ est le taux d'apprentissage: c'est la fraction de l'erreur qui est corrigée à chaque essai. Il est commode de traiter $α β$ comme un seul paramètre lorsqu'un seul stimulus est en jeu.

Pour un stimulus isolé, la règle admet une solution explicite.

Démonstration. Considérons un unique stimulus, de sorte que $\sum_{j} V_{j} = V$ , avec $V_{0} = 0$ et $λ$ constant. La règle (8.1) s'écrit $V_{n} = V_{n - 1} + α β (λ - V_{n - 1})$ , soit

V_{n} = (1 - α β) V_{n - 1} + α β λ .

Montrons par récurrence sur $n$ que

V_{n} = λ [1 - (1 - α β)^{n}] . (8.2)

Initialisation. Pour $n = 0$ , le membre de droite vaut $λ (1 - 1) = 0 = V_{0}$ .

Hérédité. Supposons (8.2) vraie au rang $n$ . Alors

V_{n + 1} = (1 - α β) V_{n} + α β λ = (1 - α β) λ [1 - (1 - α β)^{n}] + α β λ = λ [(1 - α β) - (1 - α β)^{n + 1} + α β] = λ [1 - (1 - α β)^{n + 1}],

ce qui est (8.2) au rang $n + 1$ . La propriété est donc vraie pour tout $n \geq 0$ . Comme $0 < 1 - α β < 1$ , la suite $(1 - α β)^{n}$ décroît vers $0$ et $V_{n} \to λ$ par valeurs inférieures. $□$

Deux choses méritent d'être lues dans (8.2). D'abord, la courbe est négativement accélérée: l'erreur restante $λ - V_{n} = λ (1 - α β)^{n}$ décroît géométriquement, donc les gains $Δ V_{n}$ décroissent eux aussi géométriquement. On apprend beaucoup au premier essai parce que la surprise y est maximale, et de moins en moins ensuite parce qu'il reste de moins en moins à apprendre. La forme empirique de la courbe d'acquisition, connue depuis Pavlov, cesse d'être une observation pour devenir une conséquence du mécanisme.

Ensuite, (8.2) permet de calculer exactement le nombre d'essais nécessaires pour atteindre une fraction $f$ de l'asymptote. Il faut $λ [1 - (1 - α β)^{n}] \geq f λ$ , soit $(1 - α β)^{n} \leq 1 - f$ , et en prenant le logarithme des deux membres (le logarithme est croissant, mais $ln (1 - α β) < 0$ , donc l'inégalité change de sens):

n \geq \frac{ln ( 1 - f )}{ln ( 1 - α β )} . (8.3)

Le nombre d'essais est le plus petit entier qui vérifie (8.3). Remarquez qu'il ne dépend pas de $λ$ : l'intensité du renforcement fixe le niveau atteint, pas la vitesse relative à laquelle on y parvient.

Exemple 8.1 · Cinq essais, chiffre par chiffre

Un rat reçoit un son (SC) suivi d'un choc léger (SI). On pose $α = 0, 5$ , $β = 0, 4$ — donc $α β = 0, 20$ — et $λ = 1$ . La valeur associative part de $V_{0} = 0$ .

Essai	Erreur $λ - V_{n - 1}$	$Δ V_{n} = 0, 20 \times$ erreur	$V_{n}$
1	1,000	0,200	0,200
2	0,800	0,160	0,360
3	0,640	0,128	0,488
4	0,512	0,102	0,590
5	0,410	0,082	0,672

Contrôle par la formule (8.2): $V_{5} = 1 \times [1 - 0, 8^{5}] = 1 - 0, 32768 = 0, 672$ . Les gains successifs sont dans un rapport constant de $0, 8$ : $0, 160/0, 200 = 0, 128/0, 160 = 0, 8$ . C'est la décroissance géométrique de l'erreur.

Combien d'essais pour atteindre $90 %$ de l'asymptote? Par (8.3),

n \geq \frac{ln 0 , 10}{ln 0 , 80} = \frac{- 2 , 3026}{- 0 , 2231} = 10, 32,

donc $n = 11$ essais. Vérification: $V_{10} = 1 - 0, 8^{10} = 0, 893$ (insuffisant) et $V_{11} = 1 - 0, 8^{11} = 0, 914$ (suffisant).

Le blocage, sans hypothèse supplémentaire

Voici l'application décisive. Reprenons le paradigme de Kamin et appliquons (8.1) littéralement.

En phase 1, $A$ est seul: sa valeur monte vers $λ$ . En phase 2, $A$ et $X$ sont présents ensemble, donc l'erreur de prédiction est $λ - (V_{A} + V_{X})$ . Or $V_{A}$ vaut déjà presque $λ$ et $V_{X}$ vaut $0$ : l'erreur est presque nulle. Par (8.1), $Δ V_{X} = α_{X} β \times (presque 0) = presque 0$ . Le stimulus $X$ n'apprend rien, non parce qu'il serait ignoré, mais parce qu'il n'y a plus rien à apprendre.

Aucune hypothèse n'a été ajoutée. Le blocage n'est pas un phénomène de plus à expliquer: c'est ce que la règle prédit dès qu'on prend au sérieux le fait que la somme porte sur tous les stimuli présents.

Figure 8.2. Le paradigme de blocage, avec les valeurs associatives calculées par le modèle de Rescorla-Wagner (α = 0,5, β = 0,5, λ = 1, dix essais par phase). Dans le groupe pré-entraîné, la phase 1 porte V(A) à 0,94; l'erreur de prédiction au début de la phase 2 ne vaut plus que 0,06, et X n'atteint que 0,03 au test. Dans le groupe témoin, où l'erreur initiale vaut 1, X et A se partagent l'apprentissage et X atteint 0,50.

Exemple 8.2 · Le blocage en chiffres

Posons $α_{A} = α_{X} = 0, 5$ , $β = 0, 5$ — donc $α β = 0, 25$ — et $λ = 1$ .

Phase 1 (groupe bloqué), dix essais de $A$ seul. Par (8.2), $V_{A} = 1 - 0, 7 5^{10} = 0, 944$ .

Phase 2, premier essai du composé. L'erreur vaut $λ - (V_{A} + V_{X}) = 1 - (0, 944 + 0) = 0, 056$ , d'où

Δ V_{X} = 0, 25 \times 0, 056 = 0, 014.

Après dix essais du composé, $V_{X} = 0, 028$ et $V_{A} = 0, 972$ : le nouveau stimulus a récupéré moins de $3 %$ de l'asymptote.

Groupe témoin, qui n'a pas reçu la phase 1. Au premier essai du composé, l'erreur vaut $1$ et les deux stimuli gagnent chacun $0, 25$ . Comme ils sont toujours présentés ensemble et ont la même saillance, ils progressent identiquement et se partagent l'asymptote: après dix essais, $V_{A} = V_{X} = 0, 500$ .

Le rapport est donc de $1$ à $18$ environ entre les deux groupes pour le même nombre d'appariements. Notez au passage que le modèle prédit un blocage presque total et non total: si la phase 1 avait duré assez longtemps pour que $V_{A} = λ$ exactement, $X$ n'aurait rigoureusement rien appris.

Explorateur du modèle de Rescorla-Wagner

À chaque essai, ΔV = αβ (λ − ΣV): la valeur associative ne progresse que dans la mesure où le renforcement est encore une surprise. En mode composé, un stimulus A déjà entraîné pendant 15 essais est présenté avec un nouveau stimulus X: l'erreur de prédiction étant presque nulle, X n'acquiert presque rien. C'est le blocage.

Valeur associative V

0,988

Erreur de prédiction λ − ΣV

0,012

Valeur asymptotique

1,000

Essais pour 90 % de l'asymptote

Taux d'apprentissage αβ

0,200

Saillance du stimulus α0,50

Intensité du renforcement β0,40

Asymptote λ1,00

Nombre d'essais n20

Modestimulus seul

Exercice

Un stimulus isolé est apparié à un SI avec $α = 0, 4$ , $β = 0, 5$ et $λ = 1$ . Quelle est l'erreur de prédiction au début du quatrième essai, c'est-à-dire $λ - V_{3}$ ?

Ce que le modèle n'explique pas

Un modèle qui expliquerait tout n'expliquerait rien. Rescorla-Wagner a des échecs connus, et ils sont instructifs.

L'inhibition latente. Un stimulus longuement présenté seul, sans conséquence, s'apprend ensuite plus lentement lorsqu'on l'apparie à un SI. Le modèle ne peut pas produire cet effet: en l'absence de renforcement, $λ = 0$ et $V$ reste nul, donc rien n'a changé pour la suite. Il faut supposer que la présentation répétée modifie la saillance $α$ , ce que le modèle traite comme une constante. Les modèles ultérieurs (Mackintosh, Pearce et Hall) ont précisément fait de l'attention portée au stimulus une variable apprise.
L'extinction. Le modèle la traite comme un simple retour en arrière: $λ = 0$ , l'erreur devient négative, $V$ redescend vers zéro par le même chemin. Il ne prédit donc ni la récupération spontanée, ni le renouvellement contextuel, ni la rapidité de la réacquisition au-delà de ce que produit le simple fait de repartir d'une valeur non nulle. C'est ce que la figure 8.1 rend visible: le saut à la pause a dû être imposé.
Il ne rend pas compte non plus de la sensibilité au moment où le SI arrive à l'intérieur de l'essai, que les modèles temporels intègrent, ni de certains effets de configuration où le composé $A + X$ est traité comme un stimulus à part entière.

Statut du modèle

Le modèle de Rescorla-Wagner est un modèle historique majeur, partiellement dépassé, toujours enseigné. Il est faux au sens strict: on connaît des phénomènes qu'il ne produit pas. Mais son idée centrale — l'apprentissage est proportionnel à l'erreur de prédiction — s'est révélée bien plus générale que son domaine d'origine. On la retrouve sous une forme quasi identique dans l'apprentissage par renforcement en intelligence artificielle (l'erreur de différence temporelle) et dans les enregistrements de neurones dopaminergiques du mésencéphale, dont la décharge suit l'écart entre récompense reçue et récompense prédite plutôt que la récompense elle-même. Ce dernier rapprochement est robuste au niveau du phénomène électrophysiologique; l'affirmation plus forte selon laquelle la dopamine «serait» un signal d'erreur de prédiction, et rien d'autre, est plausible mais discutée.

Quant au blocage lui-même: l'effet est classique et largement reproduit, mais une série de tentatives de réplication publiée en 2016 par l'équipe de Tom Beckers a échoué à le retrouver dans quinze expériences successives, ce qui a conduit à le décrire comme plus dépendant des conditions expérimentales qu'on ne le pensait. Statut: phénomène réel, généralité discutée. C'est une raison de plus d'enseigner le modèle pour son idée plutôt que pour son palmarès.

Applications du conditionnement classique

Peurs apprises

Qu'une peur puisse s'acquérir par appariement est bien établi: un stimulus neutre associé à un événement aversif déclenche ensuite des réactions défensives et végétatives. Chez l'humain adulte, le conditionnement de peur mesuré par la réponse électrodermale ou le sursaut potentialisé est un paradigme robuste, l'un des mieux caractérisés de la psychologie expérimentale.

Le chemin par lequel ce résultat est arrivé dans les manuels est en revanche déplorable. En 1920, John Watson et Rosalie Rayner ont exposé un nourrisson d'environ neuf mois, désigné sous le nom d'«Albert B.», à un rat blanc apparié à un bruit violent produit dans son dos. L'étude est habituellement présentée comme la démonstration que les peurs humaines sont conditionnées. Elle ne démontre rien de tel, et ce pour trois raisons.

La méthode. Un seul sujet, aucun groupe témoin, aucune mesure standardisée; les réactions sont cotées à partir d'un film et d'observations qualitatives des auteurs eux-mêmes, qui rapportent des résultats incohérents d'une séance à l'autre, et la généralisation annoncée à d'autres objets pileux n'a jamais été correctement répliquée.

L'éthique. On a délibérément induit une détresse chez un nourrisson, sans consentement éclairé au sens actuel et sans procédure de désensibilisation — l'enfant a quitté l'hôpital sans que la peur ait été traitée. Une telle étude ne recevrait aujourd'hui l'autorisation d'aucune commission cantonale d'éthique et contreviendrait à la loi fédérale relative à la recherche sur l'être humain (LRH).

Les conclusions. L'identité de l'enfant et son état de santé ont fait l'objet, dans les années 2000 et 2010, de recherches d'archives contradictoires, dont certaines suggèrent qu'il n'était pas le nourrisson «en bonne santé, normal» décrit par les auteurs.

Statut à retenir: épisode historique. Le conditionnement de peur est réel et solidement établi par d'autres travaux; cette étude-ci n'en est pas la preuve et sert surtout à montrer ce qu'était la recherche avant l'existence d'un cadre éthique.

Aversions gustatives

Si vous avez été malade quelques heures après avoir mangé un plat inhabituel, il est probable que vous n'en supportiez plus l'odeur, même en sachant parfaitement que le plat n'était pas en cause. L'aversion gustative conditionnée possède deux propriétés qui ont ébranlé la théorie de l'apprentissage:

elle s'acquiert en un seul essai;
elle tolère un délai de plusieurs heures entre le goût et le malaise, là où la plupart des conditionnements exigent quelques secondes.

Les travaux de John Garcia dans les années 1960 ont ajouté un troisième fait, plus dérangeant encore: un rat associe volontiers un goût à un malaise digestif, et un son ou une lumière à un choc dans les pattes, mais très difficilement l'inverse. Les associations ne sont donc pas équipotentielles: l'organisme arrive avec des dispositions, façonnées par son histoire évolutive, qui rendent certaines relations faciles à apprendre et d'autres presque impossibles. C'est ce qu'on appelle la préparation (preparedness). Le résultat est robuste et il a coûté au béhaviorisme l'une de ses hypothèses fondatrices, celle d'un organisme équipotentiel sur lequel n'importe quelle association pouvait être gravée.

L'application pratique la plus connue est l'aversion gustative que développent des patients recevant une chimiothérapie à l'égard des aliments consommés avant les séances, phénomène bien documenté en oncologie et que l'on limite en proposant un aliment «bouc émissaire» inhabituel avant le traitement.

Tolérance conditionnée au contexte

Une partie de la tolérance aux substances psychoactives est conditionnée aux signaux qui accompagnent habituellement la consommation. Le mécanisme suppose que la RC soit compensatoire, c'est-à-dire opposée à l'effet de la substance: le contexte, devenu SC, déclenche une réponse anticipatoire qui contrecarre partiellement l'effet à venir. Dans un contexte nouveau, cette réponse compensatoire manque et la même dose produit un effet plus fort. Les travaux de Shepard Siegel sur le rat sont cohérents et ont été étendus à l'interprétation de certaines surdoses survenant dans un environnement inhabituel.

Statut: le phénomène est bien établi chez l'animal; son rôle dans les surdoses humaines est plausible mais discuté, parce que les données humaines sont rétrospectives et que d'autres facteurs (variabilité de la pureté, polyconsommation, période d'abstinence) suffisent à expliquer une part importante des cas. Il n'y a pas de raison de retenir un chiffre précis ici: la direction de l'effet est établie, son poids relatif ne l'est pas.

Thérapies par exposition

La conséquence clinique de tout ce qui précède est directe. Si l'extinction n'efface pas l'apprentissage mais lui superpose un apprentissage inhibiteur dépendant du contexte, alors une thérapie par exposition — que l'on peut décrire comme une extinction organisée — sera efficace, mais exposée au retour du symptôme lors d'un changement de contexte. C'est exactement ce que l'on observe: ces thérapies figurent parmi les interventions psychologiques dont l'efficacité est la mieux établie pour les troubles anxieux, avec des effets robustes dans les méta-analyses d'essais contrôlés, et la rechute après un changement de lieu, de période ou d'état interne est le problème pratique le mieux connu des cliniciens. D'où les recommandations issues du laboratoire: varier les contextes d'exposition, espacer les séances, ne pas se limiter à la disparition de la peur à l'intérieur d'une séance. Elles sont plausibles et étayées par le modèle animal; leur bénéfice clinique additionnel reste modeste et discuté.

Le conditionnement opérant

De la loi de l'effet à la boîte de Skinner

Le conditionnement classique explique comment un signal en vient à annoncer un événement. Il n'explique pas comment un comportement nouveau est sélectionné par ses conséquences. C'est l'objet du second grand paradigme.

Edward Thorndike, à la fin du XIX^e siècle, plaçait des chats dans des «boîtes à problème» dont ils devaient actionner un loquet pour sortir. Les temps de sortie décroissaient progressivement, sans le saut brusque qu'aurait produit une compréhension soudaine. Il en tira la loi de l'effet: les réponses suivies d'un état de choses satisfaisant sont renforcées, celles suivies d'un état de choses gênant sont affaiblies.

Burrhus F. Skinner en fit un programme de recherche et un instrument: la chambre de conditionnement, dite boîte de Skinner, où un animal dispose d'un levier ou d'un disque et où l'appareillage enregistre chaque réponse et distribue les renforcements selon une règle programmée. La sortie de l'appareil est un enregistrement cumulatif: le temps en abscisse, le nombre total de réponses en ordonnée, si bien que la pente de la courbe est le taux de réponse.

Le façonnement (shaping) est la procédure qui permet d'obtenir un comportement que l'animal n'émet jamais spontanément: on renforce d'abord une approximation grossière, puis, une fois celle-ci fréquente, on ne renforce plus que des approximations plus proches du but, et ainsi de suite. C'est ainsi que l'on obtient qu'un pigeon fasse un tour sur lui-même ou qu'un enfant tienne son crayon correctement.

L'expérimentation animale aujourd'hui

Les travaux de Pavlov, Thorndike et Skinner appartiennent à une époque sans encadrement légal de l'expérimentation animale. En Suisse, toute expérience sur animal est aujourd'hui soumise à la loi fédérale sur la protection des animaux (LPA) et à son ordonnance (OPAn): elle requiert une autorisation cantonale délivrée après préavis d'une commission cantonale pour les expériences sur animaux, une pesée d'intérêts entre le gain de connaissance et la contrainte imposée, et l'application du principe des 3R (replace, reduce, refine), soutenu au niveau national par le Centre suisse de compétence 3R. Les procédures aversives sont soumises aux exigences les plus strictes, et une part importante des travaux contemporains sur l'apprentissage utilise des renforcements appétitifs ou des dispositifs où l'animal choisit librement de participer.

Renforcement et punition: le tableau à double entrée

C'est ici que les étudiants se trompent le plus, et l'erreur vient d'un mot: négatif ne veut pas dire «désagréable», il veut dire «on retire quelque chose». Deux questions, dans cet ordre, suffisent à classer n'importe quelle situation.

Le comportement augmente-t-il ou diminue-t-il? Augmente: renforcement. Diminue: punition.
A-t-on ajouté un stimulus ou retiré un stimulus? Ajouté: positif. Retiré: négatif.

	Ajout d'un stimulus (positif)	Retrait d'un stimulus (négatif)
Le comportement augmente: renforcement	Renforcement positif. L'étudiante pose une question au séminaire, l'enseignant la félicite; elle pose davantage de questions ensuite.	Renforcement négatif. Vous bouclez votre ceinture, le signal sonore de la voiture s'arrête; vous la bouclez plus vite les fois suivantes.
Le comportement diminue: punition	Punition positive. Un enfant touche une plaque chaude, ressent une brûlure; il ne recommence pas.	Punition négative. Un adolescent rentre à deux heures du matin, ses parents lui retirent l'accès à la console pour une semaine; les retours tardifs se raréfient.

Trois pièges du vocabulaire

Renforcement négatif n'est pas une punition. Il augmente le comportement, en supprimant quelque chose de désagréable. Le comportement d'évitement — prendre un antalgique, quitter une réunion pénible, éviter une place publique — est presque toujours entretenu par renforcement négatif, ce qui explique sa remarquable résistance: chaque évitement est immédiatement suivi d'un soulagement, et l'occasion de constater que la situation redoutée n'était pas dangereuse ne se présente jamais.
La définition est fonctionnelle, pas hédonique. Un stimulus n'est un renforçateur que si le comportement augmente effectivement. L'attention d'un adulte, même sous forme de réprimande, renforce fréquemment le comportement d'un enfant qu'elle prétend punir.
La punition n'enseigne pas de comportement de remplacement. Elle supprime, elle n'installe rien. Combinée à ses effets secondaires — évitement de la personne qui punit, réponses émotionnelles, imitation de l'agression, dont l'existence est établie mais dont l'ampleur varie fortement selon l'intensité et la cohérence de la punition — cela suffit à expliquer pourquoi la littérature appliquée recommande le renforcement d'un comportement incompatible plutôt que la punition. En Suisse, la question du châtiment corporel relève par ailleurs du droit et non de la seule technique éducative.

Exemple 8.3 · Quatre situations à classer

Appliquons les deux questions dans l'ordre.

Un chien saute sur les visiteurs; on cesse de lui prêter attention quand il saute, et les sauts diminuent. Le comportement diminue: punition. On retire un stimulus (l'attention): punition négative — ce que la pratique appelle une extinction lorsque l'attention était bien le renforçateur qui entretenait le saut.
Un employé remplit son rapport à temps pour éviter un rappel hebdomadaire de son supérieur; il le rend de plus en plus tôt. Le comportement augmente: renforcement. On retire un stimulus aversif (le rappel): renforcement négatif.
Une élève reçoit un point bonus chaque fois qu'elle rend un exercice; elle en rend davantage. Augmente, on ajoute: renforcement positif.
Un automobiliste reçoit une amende pour excès de vitesse; il ralentit durablement. Diminue, on ajoute: punition positive.

Notez le cas 1: la même procédure peut être décrite comme punition négative ou comme extinction opérante selon que l'on considère l'attention comme un stimulus retiré ou comme le renforçateur cessant d'être délivré. Ce flottement terminologique existe dans la littérature; ce qui compte, et qui ne flotte pas, c'est la description exacte de la contingence.

Exercice

Un enfant fait une crise dans un magasin; le parent lui achète le paquet de bonbons demandé et la crise cesse immédiatement. En analysant séparément le comportement de l'enfant et celui du parent, quelles affirmations sont exactes?

Plusieurs réponses possibles

Les programmes de renforcement

Dans la vie ordinaire, un comportement n'est presque jamais renforcé à chaque occurrence. La règle qui décide quand un renforcement est délivré s'appelle un programme (schedule), et chaque programme produit une allure de réponse caractéristique, visible directement sur l'enregistrement cumulatif.

Les quatre signatures sont parmi les régularités les plus reproductibles de la psychologie du comportement, et elles s'expliquent simplement.

PF: taux élevé pendant les séries — puisque c'est le nombre de réponses qui rapproche du renforcement — suivi d'une pause post-renforcement d'autant plus longue que l'exigence est élevée. Sur la courbe cumulative, cela donne un escalier.
PV: le taux le plus élevé et le plus régulier des quatre, sans pause, parce que le renforcement suivant peut toujours être imminent.
IF: presque aucune réponse juste après un renforcement, puis une accélération à mesure que l'intervalle s'écoule. La courbe prend la forme d'un feston (scalloping). Répondre plus vite ne sert à rien; ce qui compte est d'être présent à la fin de l'intervalle.
IV: taux modéré et remarquablement constant, la courbe étant presque une droite, parce que le renforcement peut devenir disponible à n'importe quel moment.

Figure 8.3. Enregistrements cumulatifs simulés des quatre programmes sur une séance de 300 s (exigence moyenne: 25 réponses ou 40 s). Les traits obliques marquent les renforcements. Les programmes à proportion produisent les taux les plus élevés; la proportion fixe montre les paliers des pauses post-renforcement, la proportion variable une pente régulière et maximale; l'intervalle fixe montre le festonnage — plat après chaque renforcement, accéléré en fin d'intervalle — et l'intervalle variable une droite de pente modérée.

Deux conséquences importent au-delà du laboratoire. D'abord, les programmes à proportion produisent des taux de réponse plus élevés que les programmes à intervalle, parce qu'ils rendent le renforcement contingent au nombre de réponses. C'est la logique du salaire à la pièce comparé au salaire horaire.

Ensuite, et surtout, les programmes variables, et particulièrement la proportion variable, produisent une résistance à l'extinction bien supérieure au renforcement continu. La raison est directe: sous renforcement continu, une seule réponse non renforcée est déjà une information; sous proportion variable, de longues séries non renforcées font partie du régime normal, et rien ne distingue le début d'une extinction d'une série un peu longue. On ne peut pas s'apercevoir que la règle a changé. Cette propriété — dite «effet du renforcement partiel» — est robuste, et elle est le principe de fonctionnement des machines à sous et des mécanismes de récompense aléatoire des jeux vidéo, dont c'est aussi ce qui les rend difficiles à abandonner.

Exercice

Un moniteur veut apprendre à un chien à rapporter une balle. Remettez dans l'ordre les étapes d'un façonnement correct.

Glissez les éléments pour les mettre dans le bon ordre

N'accepter ensuite que la prise en gueule, puis la prise suivie d'un retour vers le moniteur

Définir la réponse cible et choisir un renforçateur dont on a vérifié qu'il augmente effectivement le comportement

Renforcer toute orientation de la tête vers la balle, jusqu'à ce qu'elle devienne fréquente

Une fois la réponse cible acquise, passer d'un renforcement continu à une proportion variable pour la rendre résistante à l'extinction

Cesser de renforcer la simple orientation et ne renforcer que les déplacements vers la balle

Le choix: la loi d'appariement

Les programmes précédents décrivent une seule option. Mais un organisme se trouve presque toujours devant plusieurs sources de renforcement concurrentes: deux disques dans une chambre de conditionnement, deux lieux de pêche, deux activités un soir de semaine. Comment répartit-il son activité? Richard Herrnstein a donné à cette question, dans les années 1960 et 1970, une réponse quantitative d'une simplicité remarquable.

Théorème 8.2 · Loi d'appariement

Soit un organisme placé devant deux options concurrentes, chacune associée à un programme à intervalle variable. Notons $B_{1}$ et $B_{2}$ les nombres de réponses allouées à chaque option et $R_{1}$ et $R_{2}$ les nombres de renforcements qu'elles procurent. À l'équilibre,

\frac{B _{1}}{B _{1} + B _{2}} = \frac{R _{1}}{R _{1} + R _{2}} . (8.4)

La proportion de réponses allouées à une option égale la proportion de renforcements qu'elle procure. Sous forme généralisée, pour absorber les écarts systématiques,

\frac{B _{1}}{B _{2}} = b (\frac{R _{1}}{R _{2}})^{s}, (8.5)

où $b > 0$ est un paramètre de biais (préférence pour une option indépendante des renforcements: couleur, position, effort) et $s > 0$ un paramètre de sensibilité. L'appariement strict (8.4) correspond à $b = 1$ et $s = 1$ ; $s < 1$ décrit le sous-appariement et $s > 1$ le sur-appariement.

Démonstration de la conséquence testable. Partons de (8.4) et multiplions en croix:

B_{1} (R_{1} + R_{2}) = R_{1} (B_{1} + B_{2}) ⟺ B_{1} R_{1} + B_{1} R_{2} = R_{1} B_{1} + R_{1} B_{2} ⟺ B_{1} R_{2} = R_{1} B_{2},

d'où la forme en rapports:

\frac{B _{1}}{B _{2}} = \frac{R _{1}}{R _{2}} . (8.6)

Supposons maintenant que l'on double le taux de renforcement de la première option, $R_{1}^{'} = 2 R_{1}$ , en laissant $R_{2}$ inchangé. Le nouveau rapport des réponses vaut

\frac{B _{1}^{'}}{B _{2}^{'}} = \frac{R _{1}^{'}}{R _{2}} = \frac{2 R _{1}}{R _{2}} = 2 \frac{B _{1}}{B _{2}} :

le rapport des réponses double lui aussi. C'est une prédiction quantitative, réfutable par une simple expérience de choix. Sous la forme généralisée (8.5), le même doublement multiplie le rapport des réponses par $2^{s}$ , qui ne vaut $2$ que si $s = 1$ : mesurer $s$ revient à mesurer de combien l'organisme s'écarte de l'appariement strict. $□$

Attention à ce que (8.4) ne dit pas: elle ne dit pas que l'organisme maximise ses renforcements. Sur des programmes à intervalle variable, appariement et maximisation coïncident à peu près, parce que délaisser complètement l'option la moins riche ferait perdre les renforcements qui s'y accumulent. Dans d'autres situations, appariement et maximisation divergent, et c'est l'appariement que l'on observe.

Exemple 8.4 · Deux distributeurs, quatre cents réponses

Une pigeonne dispose de deux disques. Le disque 1 est associé à un programme à intervalle variable qui délivre en moyenne $24$ renforcements par heure, le disque 2 à un programme qui en délivre $8$ . Au cours d'une séance, elle émet $400$ picages au total.

Appariement strict. Par (8.4),

\frac{B _{1}}{400} = \frac{24}{24 + 8} = \frac{24}{32} = 0, 75,

donc $B_{1} = 300$ picages sur le disque 1 et $B_{2} = 100$ sur le disque 2. Le rapport des réponses, $300/100 = 3$ , égale bien le rapport des renforcements, $24/8 = 3$ , conformément à (8.6).

Sous-appariement. Supposons maintenant que l'on estime, pour cet animal, $b = 1$ et $s = 0, 80$ . Par (8.5),

\frac{B _{1}}{B _{2}} = 1 \times 3^{0, 80} = 2, 408,

d'où $B_{1} = 400 \times \frac{2 , 408}{3 , 408} = 283$ et $B_{2} = 117$ picages. L'animal préfère toujours le disque riche, mais moins nettement que ne le prévoit l'appariement strict: c'est le sous-appariement, l'écart le plus fréquemment rapporté. Il se lit directement sur les données: en traçant $ln (B_{1} / B_{2})$ contre $ln (R_{1} / R_{2})$ , la relation (8.5) devient une droite d'ordonnée à l'origine $ln b$ et de pente $s$ , et c'est ainsi qu'on estime les deux paramètres.

Exercice

Deux disques délivrent respectivement $45$ et $15$ renforcements par heure. Une pigeonne émet en tout $600$ picages pendant la séance. Combien de picages la loi d'appariement stricte prévoit-elle sur le disque le plus riche?

Statut de la loi d'appariement

Il s'agit d'une régularité empirique bien reproduite, obtenue d'abord chez le pigeon, puis retrouvée chez le rat, le singe et l'humain, et dans des données de terrain aussi diverses que la répartition d'animaux entre des zones d'alimentation ou le choix entre deux types de tirs au basketball. Ce qui est robuste, c'est la forme de la relation; ce qui l'est moins, c'est l'appariement strict: les écarts systématiques (sous-appariement le plus souvent, biais liés à la position ou à l'effort) sont la règle plutôt que l'exception, et c'est précisément la fonction de la forme généralisée (8.5) que de les absorber avec deux paramètres estimables. Une loi qui décrit bien les données grâce à des paramètres libres est descriptive avant d'être explicative: elle dit comment le choix se répartit, non pourquoi.

Au-delà du conditionnement

Apprendre en regardant

On peut acquérir un comportement sans jamais l'avoir émis ni en avoir subi les conséquences: il suffit d'observer quelqu'un d'autre le faire et en subir les conséquences. Albert Bandura a montré, dans les années 1960, que des enfants ayant vu un adulte se comporter agressivement envers une grande poupée gonflable reproduisaient ensuite des séquences d'actions spécifiques, y compris des gestes et des mots qu'ils n'avaient pas pu inventer, et que ce qu'ils reproduisaient dépendait de ce qu'ils avaient vu arriver au modèle: renforcement vicariant.

Statut: l'imitation de séquences observées en laboratoire est robuste, et c'est le résultat qui compte pour la théorie, car il oblige à admettre un apprentissage sans exécution ni renforcement direct. En revanche, l'extension habituelle de ces travaux à la question «les médias violents rendent-ils les enfants agressifs?» relève d'une littérature contestée: les effets mesurés dans les grandes méta-analyses sont faibles, les mesures d'agression en laboratoire ont une validité écologique discutable, et les méta-analyses des différents camps ne convergent pas. La distinction entre imiter une séquence observée et devenir durablement plus agressif est ici décisive.

Apprendre sans le montrer

Edward Tolman a placé des rats dans un labyrinthe complexe sans aucune récompense. Ils l'exploraient sans amélioration notable de leurs trajets. Lorsqu'une nourriture était introduite au but à partir d'un certain jour, leur performance chutait presque immédiatement au niveau du groupe récompensé depuis le début, au lieu de s'améliorer progressivement.

Deux conclusions en découlent. La première est l'apprentissage latent: quelque chose avait été appris pendant la phase sans récompense, mais rien ne le manifestait — d'où la clause «potentiel de comportement» de notre définition initiale. La seconde est que ce qui est appris ressemble davantage à une carte cognitive, une représentation des relations spatiales, qu'à une chaîne de réponses: un rat qui trouve son chemin bloqué prend d'emblée le détour qui pointe vers le but. Ces résultats sont robustes et ont été confortés depuis par la découverte de cellules de lieu et de cellules de grille dans l'hippocampe et le cortex entorhinal, dont l'activité code la position et la structure de l'espace.

De manière convergente, l'interprétation moderne du conditionnement classique lui-même n'est plus celle d'une substitution de stimulus produisant un réflexe: le SC crée une attente du SI. La preuve la plus nette en est la dévaluation du renforçateur, un effet robuste: après avoir appris à obtenir un aliment, si l'on rend cet aliment aversif hors de la situation d'apprentissage, l'animal cesse d'émettre la réponse dès le premier test, sans avoir jamais eu l'occasion d'apprendre que la réponse ne paie plus. Un réflexe ne ferait pas cela; une représentation de la conséquence, oui.

Ce que le béhaviorisme a apporté, et ce qu'il ne peut pas expliquer

Il est facile, un siècle plus tard, de se moquer d'un programme qui prétendait se passer de tout état interne. Ce serait manquer trois apports durables: méthodologique, l'exigence de définir les variables de façon opérationnelle, de mesurer plutôt que d'interpréter et de contrôler les conditions — les chapitres 2 et 3 en vivent encore; quantitatif, les lois de ce chapitre étant parmi les rares relations numériques précises que la psychologie ait produites; appliqué, le façonnement, les programmes de renforcement différentiel et les thérapies comportementales ayant produit des interventions qui fonctionnent, dans l'éducation spécialisée, la réadaptation ou le traitement des troubles anxieux.

Ce qu'il ne peut pas expliquer est tout aussi net. L'aversion gustative de Garcia a ruiné l'équipotentialité des associations; le blocage de Kamin a montré que le nombre d'appariements ne détermine rien; l'apprentissage latent de Tolman et la dévaluation du renforçateur ont imposé des représentations internes; et l'acquisition du langage (chapitre 10) ne se laisse pas décrire comme une chaîne de renforcements. Le résultat n'a pas été l'abandon du paradigme mais son absorption: on continue de mesurer des comportements, en admettant qu'ils sont produits par des représentations.

Applications actuelles

L'analyse appliquée du comportement (applied behavior analysis, ABA) applique les principes de ce chapitre à des objectifs individualisés, principalement dans l'éducation spécialisée. Son efficacité sur l'acquisition de compétences ciblées est étayée, mais la qualité méthodologique moyenne des études est inégale — peu d'essais randomisés, échantillons faibles, interventions hétérogènes regroupées sous une même étiquette — et certaines de ses formes historiques font l'objet de critiques argumentées, notamment de la part de personnes autistes elles-mêmes, quant aux objectifs poursuivis plutôt qu'aux techniques.

Les économies de jetons organisent un environnement où des comportements cibles rapportent des jetons échangeables contre des renforçateurs choisis. Elles produisent des effets clairs pendant leur application, en milieu institutionnel comme scolaire; le point faible connu est le maintien après retrait du dispositif, qui exige un plan de transfert explicite vers des renforçateurs naturels.

Enfin, une question qui prépare le chapitre 12: le renforcement extrinsèque peut-il réduire la motivation intrinsèque? Cet effet de sur-justification est réel mais borné à des conditions précises: il apparaît essentiellement pour des récompenses tangibles, attendues et contingentes au simple fait de participer, sur une activité que la personne trouvait déjà intéressante. Les récompenses verbales, inattendues, ou contingentes à un niveau de performance atteint, ne produisent pas cette baisse et peuvent l'inverser. L'affirmation générale «récompenser tue la motivation» est donc fausse telle quelle; l'affirmation restreinte à ces conditions est étayée par une méta-analyse de référence, dont les auteurs ont d'ailleurs été contestés sur l'inclusion de certaines études.

Synthèse

Apprendre, c'est changer durablement de comportement ou de potentiel de comportement sous l'effet de l'expérience: ni maturation, ni fatigue, ni effet pharmacologique. Habituation et sensibilisation en sont les formes minimales, à un seul stimulus.
Le conditionnement classique installe une RC en appariant un SC à un SI. L'extinction n'efface rien: la récupération spontanée, le renouvellement contextuel et la réacquisition rapide prouvent qu'un apprentissage inhibiteur s'ajoute au premier. Conséquence clinique directe pour les thérapies par exposition.
Ce qui s'apprend n'est pas la contiguïté mais la valeur prédictive. Le modèle de Rescorla-Wagner, $Δ V_{i} = α_{i} β (λ - \sum_{j} V_{j})$ , fait de l'erreur de prédiction le moteur de l'apprentissage; sa solution $V_{n} = λ [1 - (1 - α β)^{n}]$ produit la courbe négativement accélérée, et le blocage en découle sans hypothèse ajoutée. Modèle historique majeur, partiellement dépassé (inhibition latente, extinction), toujours enseigné pour son idée centrale.
Le conditionnement opérant sélectionne les comportements par leurs conséquences. Deux questions classent tout: le comportement augmente-t-il ou diminue-t-il (renforcement / punition), ajoute-t-on ou retire-t-on un stimulus (positif / négatif)? Le renforcement négatif augmente le comportement et entretient les conduites d'évitement.
Les quatre programmes de renforcement ont des signatures reproductibles: pause post-renforcement de la proportion fixe, taux maximal de la proportion variable, festonnage de l'intervalle fixe, régularité de l'intervalle variable. Les programmes variables sont les plus résistants à l'extinction.
La loi d'appariement $\frac{B _{1}}{B _{1} + B _{2}} = \frac{R _{1}}{R _{1} + R _{2}}$ décrit le choix entre options concurrentes; sa forme généralisée $\frac{B _{1}}{B _{2}} = b (\frac{R _{1}}{R _{2}})^{s}$ absorbe biais et sous-appariement. Régularité robuste dans sa forme, approximative dans sa version stricte.
Au-delà du conditionnement: apprentissage par observation, apprentissage latent et cartes cognitives imposent l'idée que le conditionnement produit des attentes plutôt que des réflexes. Le béhaviorisme lègue une exigence méthodologique, des lois quantitatives et des applications efficaces; il ne peut expliquer ni la préparation des associations, ni le langage, ni ce qui s'apprend sans se manifester.

Série d'exercices du chapitre 8

Exercice 1 sur 5

Exercice

Laquelle de ces observations serait la plus embarrassante pour l'idée que l'extinction efface l'association apprise?

Problème guidé

Un conditionnement, puis un second stimulus

Une caille est conditionnée à un signal lumineux A annonçant une petite quantité de nourriture. On estime la saillance du signal à $α = 0, 40$ et l'efficacité du renforcement à $β = 0, 50$ ; la quantité de nourriture utilisée soutient une asymptote $λ = 0, 80$ . La valeur associative part de zéro.

1
Quatre essais de conditionnement
Le taux d'apprentissage est le produit $α β$ . Appliquez $Δ V = α β (λ - V)$ quatre fois de suite, ou directement la solution $V_{n} = λ [1 - (1 - α β)^{n}]$ .
Exercice
Quelle est la valeur associative $V_{4}$ du signal A après quatre essais?
Vers quoi cela tend-il?
On ajoute un second stimulus
Interpréter le résultat

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.

Exercice 8.1 · Quatre essais et une asymptote

Un rat reçoit un son suivi d'une goutte de solution sucrée. On prend $α = 0, 30$ , $β = 0, 50$ et $λ = 1$ .

Calculez le taux d'apprentissage $α β$ , puis dressez le tableau des quatre premiers essais avec, pour chacun, l'erreur de prédiction, l'incrément $Δ V$ et la valeur $V$ atteinte.
Vérifiez la ligne 4 avec la solution $V_{n} = λ [1 - (1 - α β)^{n}]$ .
Quelle est la valeur asymptotique? Que se passerait-il si l'on utilisait une goutte deux fois plus sucrée, en supposant que cela porte $λ$ à $2$ et laisse $α β$ inchangé: la vitesse d'apprentissage change-t-elle, le niveau atteint change-t-il?
Montrez que le rapport de deux incréments consécutifs, $Δ V_{n + 1} /Δ V_{n}$ , est constant et donnez sa valeur.

Solution

1. $α β = 0, 30 \times 0, 50 = 0, 15$ .

Essai	Erreur $λ - V_{n - 1}$	$Δ V_{n} = 0, 15 \times$ erreur	$V_{n}$
1	1,0000	0,1500	0,1500
2	0,8500	0,1275	0,2775
3	0,7225	0,1084	0,3859
4	0,6141	0,0921	0,4780

2. $V_{4} = 1 \times [1 - 0, 8 5^{4}] = 1 - 0, 52200 = 0, 47800$ , ce qui coïncide avec la dernière ligne du tableau.

3. La valeur asymptotique est $λ = 1$ , puisque $(1 - α β)^{n} \to 0$ . Avec $λ = 2$ , la suite devient $V_{n} = 2 [1 - 0, 8 5^{n}]$ : le niveau atteint double, mais la vitesse relative est inchangée, car la fraction de l'asymptote atteinte, $1 - 0, 8 5^{n}$ , ne dépend pas de $λ$ . Après quatre essais on aurait $V_{4} = 0, 956$ , soit toujours $47, 8 %$ de l'asymptote. Conclusion à retenir: $λ$ fixe le plafond, $α β$ la vitesse.

4. L'erreur restante vaut $λ - V_{n} = λ (1 - α β)^{n}$ d'après (8.2), donc

Δ V_{n + 1} = α β (λ - V_{n}) = α β λ (1 - α β)^{n},

et le rapport de deux incréments consécutifs vaut $\frac{Δ V _{n + 1}}{Δ V _{n}} = 1 - α β = 0, 85$ , constant. Vérification sur le tableau: $0, 1275/0, 1500 = 0, 85$ et $0, 1084/0, 1275 = 0, 85$ . Les incréments forment une suite géométrique de raison $1 - α β$ : c'est exactement ce que signifie «courbe négativement accélérée».

Exercice 8.2 · Combien d'essais faut-il?

On garde le taux d'apprentissage $α β = 0, 15$ de l'exercice précédent.

Combien d'essais faut-il au minimum pour que $V$ atteigne $50 %$ de l'asymptote? Et $90 %$ ?
Un second animal, plus attentif au signal, a une saillance double: $α β = 0, 30$ . Combien d'essais lui faut-il pour atteindre $90 %$ ? Le nombre d'essais est-il divisé par deux?
Expliquez pourquoi la réponse à la question 1 ne dépend pas de $λ$ .
Un expérimentateur affirme: «avec assez d'essais, on peut faire atteindre n'importe quelle valeur associative à un stimulus, il suffit d'être patient». Que répondez-vous?

Solution

1. Il faut $(1 - α β)^{n} \leq 1 - f$ , soit $n \geq \frac{ln ( 1 - f )}{ln ( 1 - α β )}$ (le sens de l'inégalité change parce que $ln (0, 85) < 0$ ).

Pour $f = 0, 50$ :

n \geq \frac{ln 0 , 50}{ln 0 , 85} = \frac{- 0 , 6931}{- 0 , 1625} = 4, 27 ⟹ n = 5.

Contrôle: $1 - 0, 8 5^{4} = 0, 478$ (insuffisant), $1 - 0, 8 5^{5} = 0, 556$ (suffisant).

Pour $f = 0, 90$ :

n \geq \frac{ln 0 , 10}{ln 0 , 85} = \frac{- 2 , 3026}{- 0 , 1625} = 14, 17 ⟹ n = 15.

Contrôle: $1 - 0, 8 5^{14} = 0, 897$ et $1 - 0, 8 5^{15} = 0, 913$ .

2. Avec $α β = 0, 30$ : $n \geq \frac{ln 0 , 10}{ln 0 , 70} = \frac{- 2 , 3026}{- 0 , 3567} = 6, 46$ , donc $n = 7$ essais. Le nombre n'est pas divisé par deux ( $15/2 = 7, 5$ , et l'on trouve $7$ ): la relation entre le taux d'apprentissage et le nombre d'essais passe par $ln (1 - α β)$ , qui n'est pas proportionnel à $α β$ . L'approximation $ln (1 - x) \approx - x$ vaut pour de petits $x$ ; ici $ln (0, 70) = - 0, 357$ est sensiblement plus grand en valeur absolue que $- 0, 30$ , d'où un gain un peu supérieur au facteur deux.

3. Parce que la condition porte sur la fraction de l'asymptote atteinte:

\frac{V _{n}}{λ} = 1 - (1 - α β)^{n},

expression où $λ$ s'est simplifié. L'intensité du renforcement fixe le niveau final, jamais la vitesse à laquelle on s'en approche relativement.

4. C'est faux dans le cadre du modèle. Par (8.2), $V_{n}$ croît vers $λ$ par valeurs inférieures et ne le dépasse jamais: la patience ne permet d'atteindre que l'asymptote fixée par le renforcement. Pour aller plus haut, il faut un renforcement plus intense, c'est-à-dire un autre $λ$ . Il y a d'ailleurs pire pour l'expérimentateur patient: si le stimulus est présenté en composé avec un autre déjà entraîné, la somme $\sum_{j} V_{j}$ étant déjà égale à $λ$ , le nombre d'essais peut être aussi grand qu'on veut sans que $V$ bouge d'un millième. C'est le blocage.

Exercice 8.3 · Loi d'appariement et sous-appariement

Une pigeonne dispose de deux disques associés à des programmes à intervalle variable délivrant respectivement $R_{1} = 24$ et $R_{2} = 8$ renforcements par heure. Elle émet $400$ réponses au total pendant la séance.

Calculez la répartition prévue par la loi d'appariement stricte, et vérifiez que le rapport des réponses égale le rapport des renforcements.
On double le taux de la première option, $R_{1} = 48$ . Quelle répartition la loi stricte prévoit-elle? Le rapport $B_{1} / B_{2}$ a-t-il doublé?
Les données réelles de cet animal sont mieux décrites par la forme généralisée avec $b = 1$ et $s = 0, 80$ . Calculez la répartition prévue dans la situation initiale ( $R_{1} = 24$ , $R_{2} = 8$ ) et commentez le sens de l'écart.
Un collègue conclut de la question 3 que «la loi d'appariement est fausse». Prenez position.

Solution

1. $\frac{B _{1}}{400} = \frac{24}{24 + 8} = 0, 75$ , donc $B_{1} = 300$ et $B_{2} = 100$ réponses. Le rapport des réponses vaut $300/100 = 3$ et celui des renforcements $24/8 = 3$ : la forme en rapports (8.6) est vérifiée.

2. Avec $R_{1} = 48$ : $\frac{B _{1}}{400} = \frac{48}{56} = 0, 857$ , donc $B_{1} = 343$ et $B_{2} = 57$ réponses. Le rapport passe de $3$ à $48/8 = 6$ : il a exactement doublé, conformément à la conséquence démontrée après le théorème 8.2. C'est cette prédiction, et non l'égalité (8.4) elle-même, qui est le plus directement testable, car elle ne dépend pas du nombre total de réponses émises.

3. Par (8.5), $\frac{B _{1}}{B _{2}} = 1 \times 3^{0, 80}$ . Comme $3^{0, 80} = e^{0, 80 l n 3} = e^{0, 879} = 2, 408$ ,

B_{1} = 400 \times \frac{2 , 408}{3 , 408} = 283 et B_{2} = 400 - 283 = 117.

L'animal alloue $283$ réponses au lieu de $300$ à l'option riche: la préférence va dans le bon sens mais elle est moins marquée que ne le prévoit l'appariement strict. C'est le sous-appariement ( $s < 1$ ), l'écart de loin le plus fréquemment rapporté; on l'attribue notamment au coût du passage d'une option à l'autre et à l'imperfection de la discrimination entre les deux programmes.

4. La conclusion est trop rapide, et pour une raison de méthode qui dépasse ce chapitre. Une loi empirique ne se juge pas par «vraie ou fausse» mais par le domaine et la précision avec lesquels elle décrit les données. Ce qui est ici bien reproduit — chez plusieurs espèces, dans des situations très différentes — c'est la forme de la relation: une loi de puissance entre rapport de réponses et rapport de renforcements, qui devient une droite en coordonnées logarithmiques. Ce qui n'est pas exact, c'est la valeur $s = 1$ . Autrement dit, (8.4) est le cas particulier idéalisé d'une relation (8.5) qui, elle, résiste bien.

Il faut cependant reconnaître le coût de cette défense: en ajoutant deux paramètres libres estimés sur les données elles-mêmes, on gagne en ajustement ce qu'on perd en contenu réfutable. Une loi à deux paramètres libres décrit presque toutes les données monotones. La position défendable est donc la suivante: la loi d'appariement généralisée est un excellent résumé descriptif du comportement de choix, avec des paramètres qui ont une interprétation claire et se révèlent stables pour un individu et un dispositif donnés; elle n'est pas une explication du choix, et son statut ne doit pas être présenté comme celui d'une loi physique.

Exercice 8.4 · Classer six situations

Pour chacune des situations suivantes, dites s'il s'agit d'un renforcement ou d'une punition, positif ou négatif, en identifiant explicitement le comportement concerné et la conséquence. Attention: dans deux cas, deux personnes apprennent en même temps.

Un enfant range ses jouets; son père lui lit une histoire supplémentaire. Le rangement devient plus régulier.
Un étudiant prend un comprimé contre le mal de tête; la douleur disparaît. Il y recourt plus vite la prochaine fois.
Une automobiliste dépasse la vitesse autorisée et reçoit une amende. Elle ralentit durablement.
Une joueuse perd l'accès à son compte pendant une semaine après avoir insulté un adversaire. Les insultes cessent.
Un chat miaule à cinq heures du matin; sa propriétaire se lève et le nourrit. Les miaulements matinaux augmentent.
Un enseignant utilise l'ironie pour faire taire un élève bavard; l'élève se tait sur le moment, mais recommence chaque semaine, et la classe rit à chaque fois.

Solution

	Comportement	Conséquence	Analyse
1	ranger ses jouets	ajout d'une histoire	renforcement positif (le rangement augmente)
2	prendre un comprimé	retrait de la douleur	renforcement négatif (le comportement augmente)
3	dépasser la vitesse	ajout d'une amende	punition positive (le comportement diminue)
4	insulter	retrait de l'accès au compte	punition négative (le comportement diminue)
5	miauler (chat)	ajout de nourriture	renforcement positif
5 bis	se lever (propriétaire)	retrait des miaulements	renforcement négatif
6	bavarder (élève)	ajout du rire de la classe	renforcement positif, malgré l'intention
6 bis	ironiser (enseignant)	retrait immédiat du bavardage	renforcement négatif

Les deux cas doubles sont les situations 5 et 6. Elles illustrent le même piège: on analyse spontanément la contingence du «cible» et on oublie que la personne qui intervient est elle-même sous contingence. Le chat renforce le lever de sa propriétaire aussi sûrement qu'elle renforce ses miaulements, et c'est pourquoi le cercle est si stable.

La situation 6 mérite un mot de plus. L'enseignant a l'intention de punir, et l'analyse fonctionnelle dit qu'il renforce: le critère n'est pas l'intention ni le caractère désagréable de la conséquence, mais l'évolution de la fréquence du comportement, qui augmente ici de semaine en semaine. Le renforçateur effectif est vraisemblablement le rire de la classe, non l'ironie elle-même. Notez enfin le décalage temporel: l'ironie produit un arrêt immédiat du bavardage, ce qui renforce l'enseignant tout de suite, tandis que son effet contre-productif ne se voit qu'à l'échelle de plusieurs semaines. Les conséquences immédiates l'emportent presque toujours sur les conséquences différées, et c'est le mécanisme par lequel des pratiques éducatives inefficaces se maintiennent.

Exercice 8.5 · Établir la solution du modèle et l'exploiter

Soit un stimulus isolé conditionné selon le modèle de Rescorla-Wagner, avec $V_{0} = 0$ , un taux d'apprentissage $α β \in] 0, 1 [$ et une asymptote $λ > 0$ constante.

Écrivez la relation de récurrence liant $V_{n}$ à $V_{n - 1}$ et démontrez par récurrence sur $n$ que $V_{n} = λ [1 - (1 - α β)^{n}]$ .
Déduisez-en l'expression de l'erreur de prédiction restante après $n$ essais, puis démontrez que la suite $(V_{n})$ est strictement croissante et converge vers $λ$ .
Établissez la formule donnant le nombre minimal d'essais nécessaires pour atteindre une fraction $f \in] 0, 1 [$ de l'asymptote, et appliquez-la à $f = 0, 90$ pour $α β = 0, 25$ .
On suppose maintenant $V_{0} = v_{0}$ avec $0 < v_{0} < λ$ (cas de la réacquisition après une récupération spontanée). Généralisez la solution de la question 1, puis calculez, pour $α β = 0, 30$ , $λ = 1$ et $v_{0} = 0, 45$ , le nombre d'essais nécessaires pour atteindre $0, 90$ . Comparez avec le cas $v_{0} = 0$ et commentez ce que le modèle capture, et ce qu'il ne capture pas, de l'effet d'épargne.

Solution

1. La règle (8.1) pour un stimulus unique donne $V_{n} = V_{n - 1} + α β (λ - V_{n - 1})$ , soit, en regroupant,

V_{n} = (1 - α β) V_{n - 1} + α β λ .

Initialisation. Pour $n = 0$ : $λ [1 - (1 - α β)^{0}] = λ (1 - 1) = 0 = V_{0}$ .

Hérédité. Supposons la formule vraie au rang $n$ et posons $q = 1 - α β$ . Alors

V_{n + 1} = q V_{n} + (1 - q) λ = q λ (1 - q^{n}) + λ - q λ = q λ - q^{n + 1} λ + λ - q λ = λ (1 - q^{n + 1}),

ce qui est la formule au rang $n + 1$ . Par le principe de récurrence, elle vaut pour tout $n \geq 0$ . $□$

2. L'erreur restante est

λ - V_{n} = λ - λ (1 - q^{n}) = λ q^{n}, q = 1 - α β .

Comme $0 < q < 1$ et $λ > 0$ , cette erreur est strictement positive pour tout $n$ , donc $Δ V_{n + 1} = α β λ q^{n} > 0$ : la suite est strictement croissante. Elle est de plus majorée par $λ$ , donc convergente; et comme $q^{n} \to 0$ , sa limite est $λ$ . La convergence est géométrique de raison $q$ , ce qui est la traduction exacte de «courbe négativement accélérée». $□$

3. On cherche le plus petit entier $n$ tel que $V_{n} \geq f λ$ , c'est-à-dire $λ (1 - q^{n}) \geq f λ$ , soit $q^{n} \leq 1 - f$ . En prenant le logarithme naturel, qui est strictement croissant: $n ln q \leq ln (1 - f)$ . Comme $ln q < 0$ , la division renverse l'inégalité:

n \geq \frac{ln ( 1 - f )}{ln ( 1 - α β )}, d’o \overset{u}{ˋ} n_{m i n} = ⌈ \frac{ln ( 1 - f )}{ln ( 1 - α β )} ⌉ .

Pour $f = 0, 90$ et $α β = 0, 25$ :

n \geq \frac{ln 0 , 10}{ln 0 , 75} = \frac{- 2 , 3026}{- 0 , 2877} = 8, 004 ⟹ n_{m i n} = 9.

Le cas est instructif: la valeur exacte, $8, 004$ , est à peine supérieure à $8$ , et il faut vraiment $9$ essais. Contrôle: $1 - 0, 7 5^{8} = 0, 89989$ , tout juste insuffisant, et $1 - 0, 7 5^{9} = 0, 92492$ . Une réponse arrondie à « $8$ essais» serait fausse; c'est une bonne raison de garder quatre décimales avant d'appliquer la fonction partie entière supérieure.

4. Avec $V_{0} = v_{0}$ , la même récurrence donne, en posant $E_{n} = λ - V_{n}$ : $E_{n} = q E_{n - 1}$ , donc $E_{n} = E_{0} q^{n} = (λ - v_{0}) q^{n}$ et

V_{n} = λ - (λ - v_{0}) (1 - α β)^{n} .

(On retrouve bien la question 1 pour $v_{0} = 0$ .) La condition $V_{n} \geq f λ$ devient $(λ - v_{0}) q^{n} \leq λ (1 - f)$ , soit

n \geq \frac{ln ( \frac{λ ( 1 - f )}{λ - v _{0}} )}{ln ( 1 - α β )} .

Application: $λ = 1$ , $f = 0, 90$ , $v_{0} = 0, 45$ , $q = 0, 70$ . Le numérateur vaut $ln (\frac{0 , 10}{0 , 55}) = ln 0, 1818 = - 1, 7047$ et le dénominateur $ln 0, 70 = - 0, 3567$ , d'où $n \geq 4, 78$ et $n_{m i n} = 5$ essais. Avec $v_{0} = 0$ , la question 3 appliquée à $α β = 0, 30$ donne $n \geq 6, 46$ , soit $7$ essais. La réacquisition est donc plus rapide: $5$ essais au lieu de $7$ , ce que montre la figure 8.1.

Ce que le modèle capture, et ce qu'il ne capture pas. Il capture le fait qu'une valeur associative de départ non nulle réduit le nombre d'essais nécessaires, puisque l'erreur initiale est plus petite. Mais il ne capture pas l'essentiel de l'effet d'épargne, et ce pour deux raisons. D'abord, il ne prédit pas la récupération spontanée elle-même: à la fin d'une extinction complète il pose $V \approx 0$ , et rien dans la règle ne fait remonter cette valeur pendant une pause — le $v_{0} = 0, 45$ a dû être introduit à la main. Ensuite, l'effet d'épargne observé expérimentalement est plus marqué que ce que produirait ce simple décalage du point de départ. Les deux difficultés ont la même origine: le modèle traite l'extinction comme un désapprentissage, alors que les données du chapitre — récupération spontanée, renouvellement contextuel — imposent d'y voir un second apprentissage qui coexiste avec le premier. Un formalisme qui ne dispose que d'une seule variable $V$ par stimulus ne peut pas représenter deux apprentissages concurrents. C'est une limite structurelle, non un mauvais réglage des paramètres.

Références

Gazzaniga, M. S., Heatherton, T. F. et Halpern, D. F., Psychological Science, W. W. Norton, New York, chapitre sur l'apprentissage.
Schacter, D. L., Gilbert, D. T. et Wegner, D. M., Psychologie, De Boeck Supérieur, Louvain-la-Neuve, chapitre «Apprentissage».
Bouton, M. E., Learning and Behavior: A Contemporary Synthesis, Sinauer / Oxford University Press — référence sur l'extinction, le renouvellement contextuel et leurs conséquences cliniques.
Domjan, M., The Principles of Learning and Behavior, Cengage — traitement détaillé du modèle de Rescorla-Wagner, des programmes de renforcement et de la loi d'appariement.
Rescorla, R. A. et Wagner, A. R., «A theory of Pavlovian conditioning: variations in the effectiveness of reinforcement and nonreinforcement», in Black, A. H. et Prokasy, W. F. (dir.), Classical Conditioning II, Appleton-Century-Crofts, New York, 1972.
Polycopiés et supports de cours de psychologie générale, Facultés de psychologie et des sciences de l'éducation de l'UNIGE et de l'UNIL.

Objectifs du chapitre

Ce qu'on appelle apprendre

Une définition, et ce qu'elle exclut

Les deux formes les plus simples

Le conditionnement classique

Le paradigme de Pavlov

Les phénomènes de base

Ce qui s'apprend réellement

La contiguïté ne suffit pas

Le modèle de Rescorla-Wagner

Le blocage, sans hypothèse supplémentaire

Explorateur du modèle de Rescorla-Wagner

Ce que le modèle n'explique pas

Applications du conditionnement classique

Peurs apprises

Aversions gustatives

Tolérance conditionnée au contexte

Thérapies par exposition

Le conditionnement opérant

De la loi de l'effet à la boîte de Skinner

Renforcement et punition: le tableau à double entrée

Les programmes de renforcement

Le choix: la loi d'appariement

Au-delà du conditionnement

Apprendre en regardant

Apprendre sans le montrer

Ce que le béhaviorisme a apporté, et ce qu'il ne peut pas expliquer

Applications actuelles

Synthèse

Série d'exercices du chapitre 8

Un conditionnement, puis un second stimulus

Quatre essais de conditionnement

Vers quoi cela tend-il?

On ajoute un second stimulus

Interpréter le résultat

Exercices

Références