Théorèmes limites

Objectifs du chapitre

À la fin de ce chapitre, vous serez capable de:

• majorer une probabilité de queue par les inégalités de Markov et de Bienaymé–Tchebychev, et dire pourquoi ces bornes sont à la fois universelles et très lâches;
• énoncer la convergence en probabilité, démontrer la loi faible des grands nombres à partir de l'inégalité de Tchebychev, et distinguer la loi faible de la loi forte;
• reconnaître les situations où la loi des grands nombres ne s'applique pas, et estimer une quantité déterministe par la méthode de Monte-Carlo en connaissant la vitesse en $1/\sqrt{n}$;
• énoncer le théorème central limite sous ses deux formes équivalentes (somme et moyenne), nommer ses hypothèses, et dire ce qu'il n'affirme pas;
• juger de la qualité de l'approximation normale selon la loi de départ et la taille de l'échantillon, et appliquer la correction de continuité à une loi entière;
• calculer complètement la marge d'erreur d'un sondage, le cumul d'un grand nombre d'erreurs de mesure et la réserve d'un portefeuille d'assurance.

Pourquoi ce chapitre est la charnière du cours

Les sept premiers chapitres ont construit un vocabulaire: un espace probabilisé, des variables aléatoires, quelques lois usuelles, une espérance, une variance, une covariance. Tout cela décrit une expérience. La statistique, elle, ne s'intéresse jamais à une expérience: elle observe $n$ répétitions et cherche à remonter au modèle. Entre les deux il manque un pont, et ce pont, ce sont les théorèmes limites: des énoncés qui décrivent le comportement de $X_1+\cdots +X_n$ lorsque $n$ devient grand.

Ce chapitre en démontre ou en énonce trois. Les inégalités de Markov et de Tchebychev majorent une probabilité de queue sans rien savoir de la loi; elles sont grossières mais elles ne coûtent rien. La loi des grands nombres dit que la moyenne empirique se stabilise autour de l'espérance: c'est la justification de la phrase «la probabilité est une fréquence limite» qui a servi d'intuition depuis le chapitre 1, et c'est ce qui rend la statistique possible. Le théorème central limite dit bien davantage: il décrit la forme des fluctuations autour de cette limite, et cette forme est toujours la même — la gaussienne du chapitre 6 — quelle que soit la loi de départ. C'est ce dernier résultat qui donne aux chapitres 10 à 12 leurs intervalles de confiance et leurs tests.

Deux mots d'avertissement avant de commencer. D'abord, ces théorèmes sont asymptotiques: ils parlent de $n\to \infty$, et l'ingénieur travaille avec $n=30$ ou $n=1000$. Une bonne partie du chapitre consiste donc à mesurer à quelle vitesse l'approximation devient acceptable, chiffres à l'appui. Ensuite, ce sont les théorèmes les plus mal cités des mathématiques appliquées: la «loi des séries», la martingale du joueur et la phrase «avec 1000 personnes on connaît l'avis de huit millions» sont trois malentendus sur les trois énoncés. Nous les traiterons explicitement.

Les données numériques inventées de ce chapitre (portefeuille d'assurance, atelier, erreurs de mesure) sont des données fictives; les valeurs vérifiées par le calcul sont, elles, exactes et reproductibles.

Deux inégalités universelles

L'inégalité de Markov

Le point de départ est d'une simplicité désarmante: si une variable aléatoire est positive et que sa moyenne est petite, elle ne peut pas prendre souvent de grandes valeurs, sinon la moyenne serait grande. Cette phrase se quantifie exactement.

Démonstration. Introduisons l'indicatrice $1_{\{X\ge a\}}$, qui vaut $1$ si $X\ge a$ et $0$ sinon. L'inégalité déterministe

est vraie pour toute réalisation: si $X(\omega )\ge a$, le membre de droite vaut $a$ et le membre de gauche lui est supérieur ou égal; si $X(\omega )<a$, le membre de droite vaut $0$ et le membre de gauche est positif ou nul par hypothèse. C'est ici, et seulement ici, que la positivité de $X$ sert. En prenant l'espérance des deux membres, et en utilisant la croissance de l'espérance puis sa linéarité (chapitre 3),

car l'espérance d'une indicatrice est la probabilité de l'événement qu'elle indique. On divise par $a>0$. $\square$

L'hypothèse de positivité n'est pas décorative: pour une variable normale centrée, $\mathbb{E}[X]=0$ et (8.1) donnerait $\mathbb{P}(X\ge a)\le 0$, ce qui est faux. En revanche, l'inégalité s'applique à $|X|$, à $(X-\mu {)}^2$, à ${\mathrm{e}}^{tX}$ — et c'est en la déclinant sur ces variables auxiliaires que l'on obtient les inégalités plus fines, dont celle de Tchebychev.

L'inégalité de Bienaymé–Tchebychev

Démonstration. La variable $Y=(X-\mu {)}^2$ est positive ou nulle et son espérance vaut $\mathbb{E}[Y]=\mathrm{Var}(X)={\sigma }^2$, par définition même de la variance (chapitre 3). Les deux événements

sont le même événement, puisque la fonction $t\mapsto t^2$ est croissante sur les positifs. L'inégalité de Markov appliquée à $Y$ avec $a={\epsilon }^2$ donne donc

L'énoncé (8.3) mérite qu'on s'y arrête: il affirme qu'aucune variable aléatoire de variance finie ne place plus de $1/k^2$ de sa masse au-delà de $k$ écarts-types de sa moyenne. Plus de $75\%$ de la masse est dans $[\mu -2\sigma ,\mu +2\sigma ]$, plus de $88,9\%$ dans $[\mu -3\sigma ,\mu +3\sigma ]$, et cela sans hypothèse de symétrie, de continuité ou d'unimodalité. C'est ce qui donne à l'écart-type son statut d'unité de mesure universelle de la dispersion, et c'est ce qui justifie rétrospectivement la règle des –– du chapitre 6: cette règle-là est propre à la loi normale, celle-ci vaut pour toutes les lois.

À quel point ces bornes sont-elles lâches?

Comparons systématiquement, sur le cas le plus favorable à la borne — une variable normale, parfaitement symétrique et sans queue épaisse.

À deux écarts-types, la borne annonce $25\%$ et la réalité est de $4,6\%$; à quatre écarts-types, la borne est mille fois trop grande. Pire, pour $k\le 1$ elle ne dit rien du tout ($1/k^2\ge 1$).

La loi des grands nombres

Convergence en probabilité

Une suite de variables aléatoires n'a pas de limite au sens de l'Analyse I: à $\omega$ fixé on a bien une suite de nombres, mais c'est toute la famille de ces suites qu'il faut contrôler. Il existe donc plusieurs notions de convergence, et deux nous suffiront.

Lisons (8.4) mot à mot. On se donne une tolérance $\epsilon$ aussi petite qu'on veut; on regarde la probabilité que $Y_n$ s'en écarte; on demande que cette probabilité tende vers zéro. Autrement dit: pour $n$ grand, il est très improbable que $Y_n$ soit loin de $Y$. Ce n'est pas la même chose que dire que $Y_n(\omega )$ converge pour chaque : la convergence en probabilité autorise, à chaque rang , un petit ensemble d'issues où dérape, à condition que cet ensemble rétrécisse — et rien n'interdit qu'il se déplace d'un rang à l'autre, de sorte qu'une issue donnée soit épinglée une infinité de fois. Nous reviendrons sur ce point avec la loi forte.

La loi faible des grands nombres

Démonstration. Elle tient en trois lignes une fois Tchebychev disponible. Par linéarité de l'espérance,

Par la formule de la variance d'une somme de variables indépendantes, donc non corrélées (chapitre 7), et par $\mathrm{Var}(aX)=a^2\mathrm{Var}(X)$,

Il suffit alors d'appliquer l'inégalité de Tchebychev (8.2) à la variable ${\bar{X}}_n$, d'espérance $\mu$ et de variance ${\sigma }^2/n$:

qui tend vers $0$ quand $n\to \infty$, à $\epsilon$ fixé. $\square$

Tout le théorème est dans la relation (8.6), qui est le résultat le plus utilisé de tout le cours: la variance de la moyenne empirique est $n$ fois plus petite que celle d'une observation, donc son écart-type est $\sigma /\sqrt{n}$. Cette quantité $\sigma /\sqrt{n}$ porte un nom, l' (ou erreur standard) de la moyenne; elle reviendra dans chacun des quatre derniers chapitres. Notez au passage que l'indépendance n'est utilisée que pour obtenir (8.6): la démonstration vaut donc telle quelle pour des variables seulement , hypothèse plus faible.

Deux lectures de cette figure. La première, encourageante: après $10000$ lancers, la moyenne est à $3,48$, l'espérance vaut $3,5$, tout va bien. La seconde, plus instructive: la convergence est lente, et surtout elle n'est pas monotone. Entre $n=100$ et $n=1000$ la courbe remonte, redescend, repasse au-dessus. L'axe logarithmique est indispensable ici: en échelle linéaire, tout ce qui se passe avant $n=500$ serait écrasé contre l'axe vertical, et l'on croirait à une convergence lisse qui n'existe pas.

La loi forte des grands nombres

Ce théorème est admis. La raison est précise, et elle n'est pas une dérobade: l'énoncé (8.7) porte sur la probabilité d'un événement qui concerne la suite entière $({\bar{X}}_n{)}_{n\ge 1}$, donc un événement de l'espace produit infini ${\mathbb{R}}^{\mathbb{N}}$. Écrire $\{\lim {\bar{X}}_n=\mu \}$ comme une réunion et une intersection dénombrables d'événements, et montrer que l'objet obtenu est bien dans la tribu, relève de la théorie de la mesure — de même que les outils de la preuve (lemme de Borel–Cantelli, troncature, inégalité maximale de Kolmogorov). Ce sont les prérequis d'un cours de probabilités de deuxième cycle, pas de celui-ci. En revanche la version «à variance finie» due à Cantelli, qui suppose en plus , se démontre avec Markov appliqué à la puissance quatrième et le lemme de Borel–Cantelli: si vous rencontrez une démonstration «élémentaire» de la loi forte, c'est en général de celle-là qu'il s'agit.

Faible et forte: quelle différence, vraiment?

La distinction est classiquement escamotée. Prenons le temps de la dire.

La loi faible affirme que, pour chaque $n$ grand, l'ensemble des issues pour lesquelles ${\bar{X}}_n$ s'écarte de $\mu$ de plus de $\epsilon$ est de petite probabilité. Elle ne dit rien de ce qui relie ces ensembles d'un rang à l'autre. Imaginez une salle de mille personnes lançant chacune sa pièce: la loi faible dit qu'à chaque instant, très peu de gens ont une fréquence aberrante. Elle n'interdit pas qu'il s'agisse, à chaque instant, de gens différents — et donc que chacun, au cours de sa vie, connaisse une infinité d'instants aberrants.

La loi forte interdit exactement cela. Elle affirme que si l'on fixe une personne — une issue $\omega$ — et qu'on la suit indéfiniment, sa suite de moyennes converge vers $\mu$ au sens ordinaire de l'Analyse I, à un ensemble d'issues de probabilité nulle près. Chaque joueur, sauf un ensemble exceptionnel de mesure nulle, ne connaît qu'un nombre fini d'instants aberrants.

La loi forte implique la loi faible; la réciproque est fausse, et l'on sait construire des suites qui convergent en probabilité sans converger presque sûrement. Pour l'utilisateur, la conséquence pratique est celle-ci: la loi faible garantit qu'un sondage de taille $n$ a peu de chances de se tromper; la loi forte garantit qu'une simulation qu'on laisse tourner finira par donner la bonne valeur et n'en ressortira plus. C'est la loi forte qui fonde la méthode de Monte-Carlo, et c'est elle qui donne son sens à l'interprétation fréquentiste de la probabilité: la fréquence d'un événement sur une longue série converge, pour la série elle-même et pas seulement en probabilité.

Quand la loi des grands nombres n'existe pas: la loi de Cauchy

Le théorème 8.4 demande une hypothèse, et une seule: que $\mu =\mathbb{E}[X_i]$ existe. Le chapitre 5 a exhibé une loi pour laquelle elle n'existe pas, la loi de Cauchy standard, de densité

dont l'intégrale $\int |x|f(x)\mathrm{d}x$ diverge parce que $f(x)$ décroît seulement comme $1/x^2$. La loi est pourtant symétrique, unimodale, parfaitement respectable d'allure. Que devient la moyenne empirique?

On simule $100000$ variables de Cauchy par la méthode de l'inverse du chapitre 5, $X=\tan (\pi (U-\frac{1}{2}))$ avec $U$ uniforme sur $]0,1[$, en Python avec — la graine est donnée pour que le tableau soit reproductible à l'identique.

La colonne de droite fait ce que l'on attend: elle se colle à $0$ et y reste. La colonne de gauche, elle, ne converge pas: elle est à $18,6$ au rang $50$, revient près de $0$ au rang $10000$ et repart à $-9,9$ au rang $100000$. Ce n'est pas un défaut de la simulation. On démontre que si $X_1,\dots ,X_n$ sont i.i.d. de Cauchy standard, alors suit la loi de Cauchy standard, pour tout : moyenner observations n'apporte strictement rien. Le coupable est visible dans la simulation: le plus grand terme rencontré vaut , au rang , et il déplace à lui seul la moyenne de . Dans une loi à queue lourde, un seul terme peut dominer la somme de tous les autres, et c'est précisément ce que interdit.

La méthode de Monte-Carlo

La loi des grands nombres se lit dans les deux sens. Dans un sens, elle dit que la moyenne d'un échantillon approche une espérance inconnue: c'est la statistique. Dans l'autre, elle dit qu'on peut approcher une espérance connue mais difficile à calculer en simulant l'échantillon: c'est la méthode de Monte-Carlo, née à Los Alamos à la fin des années 1940 avec les travaux de Metropolis et Ulam.

Le principe. Pour calculer une quantité déterministe $I$, on l'écrit comme une espérance $I=\mathbb{E}[g(U)]$ pour une variable $U$ que l'on sait simuler, on tire $U_1,\dots ,U_n$ indépendantes, et l'on estime

L'exemple canonique est le calcul de $\pi$. Tirons un point $(U,V)$ uniformément dans le carré $[0,1{]}^2$ et posons $g=1_{\{U^2+V^2\le 1\}}$. L'espérance de est l'aire du quart de disque, soit ; donc estime . Voici le résultat d'une simulation unique de points, lue à quatre étapes, avec Python et :

L'écart-type théorique se calcule sans simulation: $g(U,V)$ suit une loi de Bernoulli de paramètre $p=\pi /4$, donc $4{\hat{I}}_n$ a pour écart-type

Les erreurs observées sont cohérentes avec ces écarts-types — sauf à $n=100$, où l'erreur vaut $1,8$ écart-type; cela arrive environ une fois sur quinze, et il aurait été malhonnête de relancer la simulation jusqu'à obtenir un tableau plus flatteur.

Le message central est dans la dernière colonne, et il est décevant: l'erreur décroît comme $1/\sqrt{n}$. Multiplier $n$ par $100$ ne gagne qu'un facteur $10$ sur la précision, c'est-à-dire une décimale. Le tableau le montre: pour passer de deux décimales exactes à trois, il faudrait environ $10^7$ points au lieu de . Une méthode de quadrature classique sur une intégrale en dimension un fait infiniment mieux (erreur en ou ).

Pourquoi alors utiliser Monte-Carlo? Parce que la vitesse $1/\sqrt{n}$ de (8.9) ne dépend pas de la dimension. Une quadrature à $m$ points par axe coûte $m^d$ évaluations en dimension $d$; passé $d=5$ ou , elle devient impraticable, alors que Monte-Carlo continue d'avancer à la même allure décevante mais constante. C'est ce qui fait de la simulation l'outil standard de la finance quantitative, de la physique des particules et du rendu d'images.

Le théorème central limite

La loi des grands nombres dit que ${\bar{X}}_n-\mu$ tend vers $0$. C'est une information appauvrie: elle ne dit rien de la taille ni de la forme de cet écart résiduel. Or la relation (8.6) nous donne déjà la taille: l'écart-type de ${\bar{X}}_n-\mu$ vaut . L'idée du théorème central limite est de regarder l'écart à cette échelle-là — de le diviser par , ce qui empêche à la fois de s'effondrer sur et d'exploser — et de constater que ce qui reste a toujours la même loi.

Les deux écritures (8.10) et (8.11) sont la même relation: le numérateur et le dénominateur de la première ont simplement été multipliés par $n$. On passe de l'une à l'autre selon que le problème parle d'une moyenne (un sondage, une mesure répétée) ou d'un total (un cumul d'erreurs, une charge, un montant de sinistres). En pratique on les utilise sous la forme approchée

le symbole $\dot{\sim }$ signifiant «suit approximativement, pour $n$ grand». Remarquez la variance de la somme: $n{\sigma }^2$, donc un écart-type en $\sigma \sqrt{n}$. La somme se disperse, la moyenne se concentre, et le rapport entre les deux est le facteur .

Ce théorème est admis. La démonstration standard passe par les fonctions caractéristiques ${\phi }_X(t)=\mathbb{E}[{\mathrm{e}}^{\mathrm{i}tX}]$: on montre que la fonction caractéristique de la somme standardisée est $(\phi (t/\sqrt{n}){)}^n$, on développe à l'ordre deux au voisinage de — c'est là qu'intervient la variance finie — pour obtenir , qui est la fonction caractéristique de , et l'on conclut par le , qui garantit que la convergence des fonctions caractéristiques entraîne celle des lois. Les deux ingrédients manquants sont donc l'intégration de fonctions à valeurs complexes et le théorème de Lévy, dont la preuve relève de la théorie de la mesure. Le mécanisme, lui, est parfaitement lisible: la limite ne dépend de la loi de départ que par et , puisque seuls les deux premiers termes du développement survivent. C'est cela, l'universalité de la gaussienne.

Les hypothèses, une par une

• Indépendance. Elle peut être affaiblie (il existe des versions pour des suites faiblement dépendantes, des martingales, des champs mélangeants), mais elle ne peut pas être supprimée. Une somme de variables fortement dépendantes n'a aucune raison d'être normale.
• Même loi. Elle aussi peut être affaiblie: le théorème de Lindeberg–Feller remplace «même loi» par une condition qui exige qu'aucun terme ne domine les autres. Cette condition est l'essentiel: le théorème central limite décrit ce qui se passe quand beaucoup de petites contributions comparables s'additionnent. C'est la raison profonde pour laquelle tant de grandeurs mesurées (erreurs d'instrument, bruits électroniques, tailles dans une population homogène) sont approximativement normales — et aussi pourquoi certaines ne le sont pas du tout: quand une contribution domine, la somme garde sa forme.
• Variance finie. Indispensable, et c'est elle qui tombe pour la loi de Cauchy. Pour des lois à queue lourde d'indice $\alpha <2$, la somme standardisée converge vers une loi stable non gaussienne; le théorème central limite est un cas particulier d'une théorie plus large.
• ${\sigma }^2\ne 0$. Sinon la variable est constante et il n'y a rien à standardiser.

La figure 8.3 est une démonstration visuelle de l'universalité. La loi de départ est uniforme sur $\{1,\dots ,6\}$, c'est-à-dire plate, discrète, sans le moindre air de cloche. Additionner deux tirages produit un triangle; en additionner cinq produit une courbe déjà presque gaussienne. Aucune simulation n'intervient: les $26$ probabilités du panneau du bas sont les fractions exactes issues de la convolution, par exemple $\mathbb{P}(S_5=17)=65/648=0,10031$, contre $0,10358$ pour la densité normale correspondante.

L'explorateur ci-dessus généralise la figure 8.3 à trois lois de départ et à toute taille d'échantillon jusqu'à $40$. Les trois lois sont traitées exactement, sans simulation: convolution répétée pour le dé, formule binomiale pour la Bernoulli, loi $\text{Gamma}(n,1)$ pour la somme d'exponentielles. Le readout «écart maximal à $\Phi$» est la distance de Kolmogorov entre la loi exacte de $Z_n$ et la loi normale, c'est-à-dire ${\sup }_z|F_n(z)-\Phi (z)|$: c'est lui qu'il faut regarder décroître. Le readout «asymétrie» donne , où est l'asymétrie de la loi de départ ( pour le dé, pour la Bernoulli de paramètre , pour l'exponentielle); il explique l'ordre dans lequel les trois lois convergent. Enfin, la moyenne et la variance de restent et quels que soient la loi et — c'est la standardisation qui le garantit, avant tout théorème limite; ce qui change avec , c'est uniquement la .

Vitesse et qualité de l'approximation

«Pour $n$ grand» n'est pas une instruction exécutable. Mesurons donc l'erreur commise. L'indicateur naturel est la distance de Kolmogorov

l'écart maximal entre la vraie fonction de répartition de la somme standardisée et celle de la loi normale. Le tableau suivant la donne pour trois lois de départ; toutes les valeurs sont exactes (loi d'Irwin–Hall en arithmétique décimale à 300 chiffres pour la somme d'uniformes, loi Gamma pour la somme d'exponentielles, loi binomiale pour la somme de Bernoulli), calculées avec Python.

Trois lectures.

La loi uniforme converge très vite. Dès $n=5$, l'erreur maximale est de six millièmes; à $n=30$, de neuf dix-millièmes. Mieux, la colonne décroît comme $1/n$ et non comme $1/\sqrt{n}$: le rapport entre $n=30$ et est de , exactement le rapport des . La raison est la : le terme d'ordre du développement d'Edgeworth est proportionnel à l'asymétrie , qui est nulle ici, et le premier terme survivant est d'ordre . Une loi de départ symétrique offre gratuitement une décimale de plus.

La loi exponentielle converge lentement. Elle est asymétrique (${\gamma }_1=2$) et sa colonne décroît, elle, exactement comme $1/\sqrt{n}$: $0,0421\times \sqrt{10}=0,133$, , . La constante est stable sur trois décades. À — le seuil de la règle de pouce — l'erreur maximale vaut encore points de pourcentage, ce qui est beaucoup si l'on cherche à distinguer un risque de d'un risque de .

La loi de Bernoulli paraît catastrophique, et c'est un artefact. Sa fonction de répartition est un escalier dont les marches ont pour hauteur $\mathbb{P}(S_n=k)$, alors que $\Phi$ est continue: au voisinage d'une marche, l'écart ne peut pas descendre en dessous de la moitié de sa hauteur, soit environ $0,4/\sqrt{n}$. La troisième colonne mesure donc essentiellement la de la loi, pas la qualité du théorème central limite. La dernière colonne, obtenue en comparant non pas au sommet de la marche mais évaluée de la marche, est du même ordre que celle de la loi uniforme. Ce déplacement d'un demi-pas porte un nom: c'est la correction de continuité, et c'est l'objet de la section suivante.

Berry–Esseen: la vitesse générale est en un sur racine de n

Le tableau ci-dessus n'est pas une coïncidence: il illustre un théorème.

Nous n'en donnons ni la démonstration ni la meilleure constante connue. Retenez trois choses. La vitesse est en $1/\sqrt{n}$, la même lenteur que Monte-Carlo, et pour la même raison. Le facteur $\rho /{\sigma }^3$ mesure l'asymétrie et l'épaisseur des queues de la loi de départ: il vaut $1,30$ pour la loi uniforme, $1$ pour la Bernoulli symétrique, $2,41$ pour l'exponentielle et pour la Bernoulli de paramètre — ce qui ordonne exactement les colonnes du tableau. Enfin la borne (8.13) est dans les cas usuels: avec les valeurs de publiées (toutes inférieures à ; on sait par ailleurs que ne peut pas descendre en dessous d'environ ), elle donne pour l'exponentielle à une majoration d'environ alors que l'erreur réelle est de . C'est une garantie, pas une estimation — la même philosophie que Tchebychev, un cran plus haut.

Le dernier point pratique: la borne (8.13) porte sur le sup, donc sur le pire $z$, lequel se trouve près du centre. Dans les queues, l'erreur absolue est plus petite mais l'erreur relative explose. Pour la somme de $30$ exponentielles, l'approximation normale de $\mathbb{P}(Z_{30}\le 1)$ donne $0,8413$ contre $0,8425$ en vérité — une erreur de $0,1\%$ — mais l'approximation d'une probabilité de l'ordre de peut être fausse d'un facteur deux. En fiabilité, on ne calcule pas une probabilité de défaillance rare avec le théorème central limite.

Deux probabilités, vraie et approchée

Pour fixer les idées sur des nombres directement lisibles, voici la probabilité exacte de l'événement $\{Z_n\le 1\}$, à comparer à $\Phi (1)=0,8413$:

Les deux colonnes convergent vers $0,8413$, l'une par en dessous et l'autre par au-dessus — la loi exponentielle, étalée vers la droite, met trop de masse à gauche de son centre — et la colonne de gauche est en avance d'une décimale sur celle de droite à tous les rangs.

L'approximation normale de la binomiale, bouclée

Le chapitre 6 a introduit l'approximation normale de la loi binomiale comme une recette, avec sa correction de continuité et sa règle d'emploi. Nous pouvons maintenant la démontrer: c'est un cas particulier du théorème central limite.

Soit $X\sim \mathcal{B}(n,p)$. Par définition, $X={\sum }_{i=1}^n{X}_i$ où les $X_i$ sont des variables de Bernoulli indépendantes de paramètre (chapitre 4), donc i.i.d. avec et , tous deux finis. La forme (8.11) du théorème 8.5 s'applique mot pour mot:

C'est le théorème de de Moivre–Laplace, établi par de Moivre en 1733 pour $p=1/2$ et étendu par Laplace: historiquement, le premier théorème central limite, un siècle et demi avant le cas général.

Reste la difficulté propre au cas discret, identifiée à la section précédente: $X$ prend des valeurs entières, la loi normale est continue. L'événement $\{X\le 50\}$ est le même que $\{X\le 50,9\}$ pour la binomiale, mais pas pour la normale. La correction de continuité consiste à remplacer chaque entier $k$ par l'intervalle $[k-\frac{1}{2},k+\frac{1}{2}]$ avant d'appliquer l'approximation:

Trois applications, entièrement chiffrées

La marge d'erreur d'un sondage

Un institut interroge $n=1000$ personnes tirées au hasard et $520$ déclarent voter oui. La proportion observée est $\hat{p}=0,52$. Que vaut la proportion $p$ dans la population entière?

Modélisons: $X_i=1$ si la $i$-ième personne dit oui, $0$ sinon, les $X_i$ étant i.i.d. de Bernoulli de paramètre $p$ inconnu. Alors $\hat{p}={\bar{X}}_n$, et le théorème central limite donne, par (8.12),

En remplaçant $p$ par son estimation $\hat{p}$ dans l'écart-type — une substitution que le chapitre 11 justifiera —, l'erreur type vaut

Le quantile $z_{0,975}=1,95996$, obtenu par bissection sur $\Phi$ et non de mémoire, donne la demi-largeur

soit un intervalle de confiance à $95\%$

La «marge d'erreur de 3 points» annoncée par la presse est exactement ce nombre: $3,1$ points de pourcentage. Elle n'a rien d'un usage ni d'une convention: c'est $1,96\sqrt{\hat{p}(1-\hat{p})/n}$, et elle sort du théorème central limite. On retrouve d'ailleurs la majoration commode , qui donne une demi-largeur toujours inférieure à : d'où la règle de pouce «marge » des salles de rédaction, ici .

Trois lectures que ce nombre impose.

L'intervalle contient $0,50$. On ne peut donc pas conclure que le oui est majoritaire. C'est la conclusion la plus fréquente et la plus mal reçue des sondages serrés. Si la vraie proportion était exactement $0,50$, la probabilité d'observer $\hat{p}\ge 0,52$ serait $\mathbb{P}(X\ge 520)$ pour $X\sim \mathcal{B}(1000;0,5)$, soit — un événement qui se produit une fois sur neuf.

La taille de la population n'intervient pas. Ni $n$ ni la marge ne dépendent du nombre d'électeurs: le même échantillon de $1000$ personnes donne la même précision pour un canton de $80000$ habitants et pour la Suisse entière. Cela surprend, et c'est pourtant la conséquence directe de (8.6), où seule $n$ apparaît. La correction pour population finie ne devient sensible que si l'échantillon dépasse quelques pour cent de la population.

La marge ne couvre que l'aléa d'échantillonnage. Elle ne dit rien des refus de répondre, des personnes injoignables, de la formulation de la question ou des électeurs qui changent d'avis. Ces biais-là ne se réduisent pas en augmentant $n$: un sondage biaisé de $100000$ personnes a une marge d'erreur minuscule autour de la mauvaise valeur. Le chapitre 9 y revient sous le nom de biais de sélection.

Cent erreurs de mesure

Un atelier empile $100$ cales usinées. Chaque cale porte une erreur de longueur que l'on modélise (données fictives) par une loi uniforme sur $[-0,5;0,5]$ mm, les erreurs étant indépendantes. Quelle est l'erreur totale de la pile?

La somme $S={\sum }_{i=1}^{100}{E}_i$ a pour espérance $0$ et, par (8.6) appliquée à la somme,

Par le théorème central limite, $S\dot{\sim }\mathcal{N}(0;8,333)$, d'où

La valeur exacte, obtenue par la loi d'Irwin–Hall en arithmétique décimale de haute précision, est $0,916735$: l'approximation est juste à la sixième décimale. Ce n'est pas un hasard — la loi uniforme est symétrique, et nous avons vu que sa convergence est en $1/n$.

Deux enseignements d'atelier. D'abord, l'erreur totale n'est pas $100\times 0,5=50$ mm dans le pire des cas envisageable en pratique: à $95\%$, elle est inférieure à $1,96\times 2,887=5,66$ mm en valeur absolue. Les erreurs indépendantes se compensent partiellement, et le cumul croît en $\sqrt{n}$, pas en . Ensuite, cette compensation suppose l' et une espérance nulle. Si la machine dérive et que chaque cale est trop longue de mm en moyenne, ce biais-là s'additionne linéairement: mm de trop, systématiquement, et aucune racine carrée ne vient au secours. C'est la différence entre erreur aléatoire et erreur systématique, et elle est tout entière dans la différence entre et .

La file d'attente et le portefeuille d'assurance

Le centre d'appels. Reprenons $\lambda =3$ appels par minute. Sur une heure, le nombre total d'appels est $N={\sum }_{i=1}^{60}{X}_i$ avec $X_i\sim \mathcal{P}(3)$ indépendantes, donc et (la somme de lois de Poisson indépendantes est une Poisson de paramètre la somme, chapitre 4). Combien de postes prévoir?

Si chaque opérateur traite $10$ appels à l'heure, le seuil à ne pas dépasser est fixé par le quantile: à $99\%$,

soit $22$ opérateurs. Vérifions l'approximation: $\mathbb{P}(N\ge 200)$ vaut exactement $0,07486$ par la loi de Poisson, et l'approximation normale avec correction de continuité donne $1-\Phi (19,5/13,416)=0,07305$ — trois centièmes de point d'écart, sur une loi discrète et asymétrique.

Le portefeuille d'assurance. Un assureur (données fictives) couvre $n=10000$ vélos. Le coût annuel $X_i$ d'un contrat a pour espérance CHF 200 et pour écart-type CHF 1500 — une loi très asymétrique, la plupart des contrats ne coûtant rien et quelques-uns coûtant beaucoup. On ne connaît pas cette loi, et ce n'est pas nécessaire: seuls $\mu$ et $\sigma$ entrent dans le théorème central limite.

Le coût total $S=\sum X_i$ vérifie

L'assureur veut un capital $c$ tel que $\mathbb{P}(S>c)\le 1\%$. Par (8.12),

soit une prime de CHF 234,90 par contrat: la prime pure de CHF 200 plus un chargement de sécurité de CHF 34,90, c'est-à-dire $17,4\%$. Avec $n=100000$ contrats, le même calcul donne CHF 211,03: le chargement tombe à $5,5\%$. Voilà, en une ligne, le principe de la mutualisation: l'espérance croît comme $n$, l'incertitude comme $\sqrt{n}$, donc le chargement décroît comme . C'est le théorème central limite qui fait tenir l'industrie de l'assurance debout, et c'est aussi lui qui indique où elle est fragile — le calcul suppose l'indépendance des sinistres, hypothèse qui s'effondre exactement le jour d'une grêle, d'une inondation ou d'une épidémie, c'est-à-dire le jour où l'assureur en a besoin.

Ce que les chapitres 9 à 12 en feront

Ce chapitre était le dernier de la partie «probabilités». Tout ce qui suit en est l'exploitation.

• Le chapitre 9 définit l'échantillon aléatoire $X_1,\dots ,X_n$ et les lois d'échantillonnage; la relation (8.6) y devient la définition de l'erreur type, et le théorème central limite y justifie que ${\bar{X}}_n$ soit approximativement normale même pour des données qui ne le sont pas.
• Le montre que est un estimateur sans biais et de : convergent, c'est-à-dire exactement ce que dit la loi des grands nombres, dans le vocabulaire des estimateurs.

Une seule relation, $\mathrm{Var}({\bar{X}}_n)={\sigma }^2/n$, et un seul théorème, le théorème 8.5, portent donc les quatre derniers chapitres. Si vous ne deviez retenir que deux formules de ce cours, ce seraient celles-là.

Synthèse

• Markov ($\mathbb{P}(X\ge a)\le \mathbb{E}[X]/a$ pour $X\ge 0$) et Bienaymé–Tchebychev ($\mathbb{P}(|X-\mu |\ge k\sigma )\le 1/k^2$) majorent une probabilité de queue à partir de l'espérance et de la variance seules. Elles sont universelles et très lâches: annoncés contre réels à deux écarts-types dans le cas normal. On s'en sert pour démontrer, pas pour calculer.

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.

Références

• Ross, S., Initiation aux probabilités, Presses polytechniques et universitaires romandes, Lausanne — chapitre sur les théorèmes limites, avec la démonstration par les fonctions génératrices des moments.
• Morgenthaler, S., Introduction à la statistique, Presses polytechniques et universitaires romandes, Lausanne — le passage des probabilités à l'inférence.
• Saporta, G., Probabilités, analyse des données et statistique, Technip, Paris — convergences de suites de variables aléatoires et lois limites.
• Rice, J. A., Mathematical Statistics and Data Analysis, Duxbury, Belmont — traitement détaillé de la qualité de l'approximation normale.
• Wackerly, D., Mendenhall, W. et Scheaffer, R., Mathematical Statistics with Applications, Cengage, Boston — chapitre sur les distributions d'échantillonnage et l'approximation normale de la binomiale.
• Dodge, Y., Statistique — dictionnaire encyclopédique, Springer, Paris — entrées «loi des grands nombres», «théorème central limite», «inégalité de Tchebychev».