Formulaire

Ce formulaire rassemble, chapitre par chapitre, les définitions, les formules et les théorèmes essentiels du cours, avec la notation des chapitres correspondants: les numéros d'équations et de théorèmes y renvoient directement. Chaque formule est suivie de la signification des symboles et de ses conditions de validité; les démonstrations, les exemples chiffrés et les pièges classiques restent dans les chapitres. Conventions du cours: décimales à la virgule ($0,05$), $\mathrm{e}$ en romain, $\mathcal{N}(\mu ,{\sigma }^2)$ avec la variance en second paramètre, $S_n^2$ toujours avec le diviseur $n-1$, quantiles indexés par leur ordre ($\Phi (z_{\gamma })=\gamma$, donc $z_{0,975}=1,96$), majuscule pour un estimateur et minuscule pour l'estimation qu'il produit.

Chapitre 1 – Espaces probabilisés et dénombrement

Les trois axiomes de Kolmogorov sur un espace probabilisable $(\Omega ,\mathcal{A})$, où $\mathcal{A}$ est une tribu: positivité, normalisation et $\sigma$-additivité (1.2). Le triplet $(\Omega ,\mathcal{A},\mathbb{P})$ est un espace probabilisé. Tout le reste du chapitre s'en déduit.

Conséquences immédiates des axiomes (théorème 1.1), avec l'inégalité de Boole $\mathbb{P}({\bigcup }_n{A}_n)\le {\sum }_n\mathbb{P}(A_n)$. La formule d'addition se généralise à trois événements en (1.3). Noter que est démontré, non postulé.

Lois de De Morgan (1.1): le complémentaire de «au moins un» est «aucun». C'est le réflexe le plus rentable du chapitre — il résout le problème des anniversaires, le contrôle de réception et les dérangements.

Continuité monotone de la probabilité (théorème 1.3). C'est l'outil de tous les passages à la limite du cours: propriétés de la fonction de répartition (théorèmes 3.2 et 5.1), probabilité d'un point pour une variable continue.

Probabilité uniforme (1.4): sous équiprobabilité, calculer c'est compter. L'équiprobabilité est une hypothèse de modélisation, justifiée par une symétrie physique ou par un protocole de tirage, jamais une donnée de l'énoncé; sur un univers infini elle n'existe pas.

Les quatre modes de tirage de $k$ objets parmi $n$ (théorème 1.5, (1.6) et (1.7)): ordonné avec remise ($k$-listes), ordonné sans remise (arrangements), non ordonné sans remise (combinaisons), non ordonné avec remise (étoiles et barres). Tous découlent du principe multiplicatif (1.5). L'ancienne notation française $C_n^k$ désigne $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$ et n'est pas employée dans le cours.

Symétrie, relation de Pascal, binôme de Newton et somme des coefficients (théorème 1.6). L'identité de Vandermonde ${\sum }_j\left(\genfrac{}{}{0ex}{}{n_1}{j}\right)\left(\genfrac{}{}{0ex}{}{n_2}{k-j}\right)=\left(\genfrac{}{}{0ex}{}{n_1+n_2}{k}\right)$ s'y ajoute; elle sert à la loi hypergéométrique (4.15) et à la stabilité de la binomiale (théorème 7.13).

Formule du crible de Poincaré (théorème 1.7, (1.10)), valable pour des événements quelconques: on ajoute les simples, on retranche les doubles, on rajoute les triples. Appliquée au problème des chapeaux, elle donne la probabilité $d_n={\sum }_{k=0}^n(-1{)}^k/k!$ qu'aucune permutation n'ait de point fixe, qui converge vers $1/\mathrm{e}\approx 0,3679$ dès à près (1.11).

Chapitre 2 – Conditionnement, Bayes et indépendance

Probabilité conditionnelle (2.1): on restreint l'univers à $B$ et l'on renormalise. L'application $A\mapsto \mathbb{P}(A\mid B)$ est elle-même une probabilité au sens de Kolmogorov (théorème 2.1), de sorte que tous les résultats du chapitre 1 s'y transportent sans nouvelle démonstration, à conditionnement fixé.

Formule des probabilités composées (théorème 2.2, (2.2)), sous l'hypothèse $\mathbb{P}(A_1\cap \cdots \cap A_{n-1})>0$. C'est la règle de lecture d'un arbre pondéré: on multiplie le long d'un chemin, on additionne les feuilles qui réalisent un même événement, et la somme des branches issues d'un même nœud vaut $1$.

Formule des probabilités totales (théorème 2.3, (2.3) et (2.4)) sur un système complet d'événements $(B_i)$: deux à deux incompatibles, de réunion $\Omega$, chacun de probabilité strictement positive. C'est une moyenne pondérée, d'où l'encadrement gratuit ${\min }_i\mathbb{P}(A\mid B_i)\le \mathbb{P}(A)\le {\max }_i\mathbb{P}(A\mid B_i)$.

Formule de Bayes (théorème 2.4, (2.5) et (2.6)). Vocabulaire: $\mathbb{P}(B_k)$ est la probabilité a priori, $\mathbb{P}(A\mid B_k)$ la vraisemblance, $\mathbb{P}(B_k\mid A)$ la probabilité et la constante de normalisation. La mise à jour est séquentielle: le posterior d'une observation sert de prior à la suivante.

Valeur prédictive positive d'un test de dépistage (2.9), en fonction de la prévalence $p$, de la sensibilité $\mathrm{Se}=\mathbb{P}(+\mid M)$ et de la spécificité $\mathrm{Sp}=\mathbb{P}(-\mid \bar{M})$. Pour le Test D du cours ($p=0,01$, , ): et , soit . , et : c'est l'erreur du procureur, que le chapitre 12 retrouvera à propos de la valeur .

Indépendance de deux événements (2.10) et ses caractérisations (théorème 2.5), les deux dernières exigeant $\mathbb{P}(B)>0$, respectivement $0<\mathbb{P}(B)<1$. Si $A\perp B$, alors aussi $(A,\bar{B})$, $(\bar{A},B)$ et . : deux événements incompatibles de probabilités strictement positives ne sont jamais indépendants, puisque .

Indépendance mutuelle de $A_1,\dots ,A_n$ (2.11): $2^n-n-1$ égalités, et non les seules $\left(\genfrac{}{}{0ex}{}{n}{2}\right)$ égalités deux à deux. Le contre-exemple de Bernstein (deux pièces; = premier pile, = second pile, = résultats égaux) donne trois événements indépendants deux à deux avec .

Indépendance conditionnelle (2.12) et fiabilité d'un montage en série (2.13) ou en parallèle (2.14), sous indépendance mutuelle des composants. Conditionner par une cause commune supprime la dépendance entre ses effets; conditionner par un effet commun en crée une entre ses causes (effet d'explication). En fiabilité, une alimentation partagée impose un plancher que nulle redondance ne franchit.

Chapitre 3 – Variables aléatoires discrètes

Loi d'une variable aléatoire discrète $X:\Omega \to E$, $E$ fini ou dénombrable (théorème 3.1, (3.2) et (3.3)). Réciproquement, toute famille positive de somme $1$ est la loi d'une variable aléatoire: on peut donc définir une variable par sa loi, sans expliciter $\Omega$. Rappel: $X$ est une fonction, et $\{X=k\}$ est un événement; les $\{X=k\}$ forment une partition de .

Fonction de répartition (3.4), hauteur du saut (3.5) et probabilité d'un intervalle (3.6). $F_X$ est croissante, continue à droite, de limites $0$ et $1$ aux infinis (théorème 3.2); dans le cas discret son graphe est un escalier. Attention aux inégalités strictes: $\mathbb{P}(X\ge a)=1-F(a)+p_X(a)$ et diffèrent de .

Espérance (3.7). La convergence absolue est exigée parce que le support n'est pas ordonné par nature: une somme qui dépendrait de l'énumération ne serait pas une caractéristique de $X$. Le jeu de Saint-Pétersbourg, $\mathbb{P}(X=2^k)=2^{-k}$, n'a pas d'espérance. Interprétations: centre de gravité de la loi, et moyenne à long terme (chapitre 8).

Théorème de transfert (théorème 3.3, (3.8)), valable dès que ${\sum }_k|g(k)|p_X(k)$ converge: on calcule $\mathbb{E}[g(X)]$ sans déterminer la loi de $g(X)$. En général $\mathbb{E}[g(X)]\ne g(\mathbb{E}[X])$; l'inégalité de Jensen donne pour convexe, l'inégalité étant renversée pour concave.

Linéarité de l'espérance (théorème 3.4, (3.9)) — sans aucune hypothèse d'indépendance — et espérance d'une indicatrice (3.11). Combinées, elles résolvent les comptages: écrire la quantité cherchée comme $N={\sum }_i{1}_{A_i}$, puis $\mathbb{E}[N]={\sum }_i\mathbb{P}(A_i)$, même si les sont fortement dépendants. Le problème des rencontres donne ainsi quel que soit (3.12).

Variance (3.13) et formule de König–Huygens (théorème 3.5, (3.14)), valable dès que $\mathbb{E}[X^2]$ existe — ce qui entraîne l'existence de $\mathbb{E}[X]$. Une variance nulle caractérise les variables constantes. La forme développée est la plus économique à la main, mais elle soustrait deux grands nombres presque égaux: sur des données de grande magnitude, centrer d'abord (chapitre 9).

Effet d'une transformation affine (théorème 3.6, (3.15)) et variable centrée réduite (3.16). La translation $b$ disparaît, le facteur $a$ dilate; $Z$ mesure «combien d'écarts-types au-dessus de la moyenne», sans dimension. C'est la standardisation du chapitre 6 et le moteur du chapitre 8.

Variance d'une indicatrice (3.17), maximale en $p=1/2$ où elle vaut $1/4$; moments et moments centrés, avec ${\mu }_2=\mathrm{Var}(X)$ et le coefficient d'asymétrie ${\gamma }_1$. Une médiane est tout réel $m$ tel que et ; le maximise . Moyenne, médiane et mode répondent à trois questions distinctes: additionner, décrire un cas typique, désigner le cas le plus fréquent.

Chapitre 4 – Lois discrètes usuelles

Les trois lois centrales du chapitre: binomiale (théorème 4.3, (4.4)) pour le nombre de succès en $n$ épreuves indépendantes de même paramètre; géométrique (4.9), dans la convention du cours du nombre d'essais jusqu'au premier succès, de support $\{1,2,\dots \}$; Poisson (4.18) pour un comptage dans un continuum. C'est l'expérience décrite, jamais la forme d'une formule, qui désigne la loi.

Le tableau ci-dessous rassemble les sept lois discrètes du cours. Il a été recalculé terme à terme et sert de référence à tous les chapitres suivants.

Pour la loi hypergéométrique, $p=K/N$ désigne la proportion de marqués dans la population, et le facteur $(N-n)/(N-1)$ est la correction de population finie. Références: (4.1) pour l'uniforme, (4.3) pour Bernoulli, (4.5) pour la binomiale, (4.11) pour la géométrique, (4.14) pour Pascal, (4.16) pour l'hypergéométrique, (4.20) pour Poisson. La loi de Bernoulli est le cas $n=1$ de la binomiale, la loi géométrique le cas $r=1$ de Pascal. L'égalité est la signature de la loi de Poisson: sur des comptages réels, une variance empirique très supérieure à la moyenne (surdispersion) réfute le modèle.

Loi hypergéométrique (4.15): tirage de $n$ objets sans remise dans une population de $N$ objets dont $K$ sont marqués. Son espérance est identique à celle de $\mathcal{B}(n,K/N)$; seule la variance change, du facteur de correction de population finie $(N-n)/(N-1)\le 1$ (4.17). Tirer sans remise est donc plus précis que tirer avec remise, et d'autant plus que l'on prélève une fraction importante de la population.

Mode de la loi binomiale (théorème 4.5, (4.7)); fonction de survie de la loi géométrique (4.10); absence de mémoire de la loi géométrique (théorème 4.8, (4.12)), dont elle est la seule loi sur ${\mathbb{N}}^{\ast }$ à jouir. Un échec passé ne rapproche pas du succès futur: le compteur d'attente se remet à zéro, sans que l'espérance $1/p$ cesse de valoir.

Stabilité par somme de variables indépendantes (théorèmes 4.6 et 4.12, (4.8) et (4.21)). Pour la binomiale, le paramètre $p$ doit être commun: une somme de $\mathcal{B}(n_1,p_1)$ et $\mathcal{B}(n_2,p_2)$ avec n'est pas binomiale. La stabilité de Poisson permet de changer librement d'unité: un comptage sur une durée suit .

Théorème des événements rares (théorème 4.10, (4.19)) et inégalité de Le Cam (théorème 4.13, (4.22), admise). L'erreur de l'approximation de Poisson est gouvernée par $p$, non par $n$: à $\lambda$ fixé, diviser $p$ par deux divise l'écart par deux. Les «conditions d'application» des manuels ($n\ge 30$ et $p\le 0,1$, ou $n\ge 50$ et $np\le 10$) sont des conventions de praticien, pas des théorèmes; on remplace par lorsque , avec la même réserve.

Chapitre 5 – Variables aléatoires continues

Définition d'une variable continue et conséquence centrale (théorème 5.2, (5.2)): tout point est de probabilité nulle, donc inégalités strictes et larges donnent le même résultat — l'inverse exact du cas discret. Probabilité nulle ne signifie pas impossible: seul l'ensemble vide l'est. Un événement de probabilité $1$ se produit presque sûrement.

Densité de probabilité (5.3), caractérisation (théorème 5.3, (5.5)) et probabilité comme aire (5.6). En tout point de continuité, $f_X=F_X^{\prime }$ (5.4). Une densité n'est pas une probabilité: elle peut dépasser $1$ et même ne pas être bornée; son unité est l'inverse de celle de $X$, et l'interprétation locale est $\mathbb{P}(x\le X\le x+h)\approx f_X(x)h$.

Espérance (5.7), théorème de transfert (théorème 5.4, (5.8)) et formule de König–Huygens (théorème 5.5, (5.10)). L'espérance n'existe que si $\int |x|f_X(x)\mathrm{d}x$ converge. Les identités affines sont inchangées: $\mathbb{E}[aX+b]=a\mathbb{E}[X]+b$ et $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$ (5.11).

Loi de Cauchy standard (5.12) et (5.13): densité continue, paire, en cloche, sans espérance ni variance. La divergence est logarithmique, donc invisible en simulation. La moyenne de $n$ observations de Cauchy suit exactement la loi de Cauchy: moyenner n'apporte rien, la loi des grands nombres et le théorème central limite ne s'appliquent pas. Ses quantiles, eux, existent: médiane $0$, quartiles $\pm 1$.

Quantile d'ordre $\alpha$ (5.14) et inverse généralisé (5.15), qui coïncide avec l'inverse usuel quand $F_X$ est continue et strictement croissante. Médiane $q_{0,5}$, quartiles $Q_1$, $Q_2$, , écart interquartile. Contrairement à l'écart-type, ces indicateurs existent toujours et survivent aux lois à queues lourdes.

Densité d'une transformation monotone $Y=g(X)$ (théorème 5.6, (5.17)), le facteur $|(g^{-1}{)}^{\prime }|$ étant le jacobien qui corrige la dilatation locale des longueurs; et cas non injectif (5.19), où il faut sommer sur tous les antécédents. La méthode universelle reste celle de la fonction de répartition: déterminer l'ensemble des valeurs de $Y$, traduire $\{g(X)\le y\}$ en un événement sur , exprimer par , dériver — puis , contrôle qui détecte l'oubli d'une branche.

Simulation par transformation inverse (théorème 5.7, (5.20)). C'est la manière dont un ordinateur tire une loi quelconque à partir d'un générateur uniforme; l'énoncé reste vrai avec l'inverse généralisé (5.15), ce qui couvre les lois discrètes et mixtes. Exemple: $-\ln (1-U)/\lambda$ suit $\mathcal{E}(\lambda )$.

Loi tronquée (5.21) — on garde la densité au-dessus du seuil et l'on renormalise par la masse restante — et loi mixte, combinaison convexe d'une masse ponctuelle de poids $w$ et d'une loi à densité. Les lois mixtes apparaissent dès qu'un mécanisme produit une valeur privilégiée: sinistre annuel nul, jour sans pluie, attente nulle devant un guichet libre. Les traiter comme continues conduirait à écrire $\mathbb{P}(X=0)=0$, ce qui est faux et important.

Chapitre 6 – Lois continues usuelles et loi normale

Le tableau suivant rassemble les six lois continues du cours. Toutes les espérances et variances y ont été recalculées par intégration.

Références: (6.1) et (6.3) pour l'uniforme, (6.4) et (6.7) pour l'exponentielle, (6.10) pour la loi gamma, (6.11) pour Weibull, (6.12) et (6.15) pour la normale. Pour $\beta =2$ et $\eta =\theta$, la loi de Weibull donne $\mathbb{E}[T]=\theta \sqrt{\pi }/2$ et , valeurs utilisées au chapitre 5. Le cas de la loi gamma et le cas de Weibull redonnent la loi exponentielle.

Fonction de survie de la loi exponentielle (6.6) et médiane. Le coefficient de variation ${\sigma }_T/\mathbb{E}[T]$ vaut $1$ pour toute loi exponentielle, et la médiane est toujours inférieure à la moyenne: la loi est étalée vers la droite.

Absence de mémoire (théorème 6.3, (6.8)): la loi exponentielle est la seule loi continue sur $[0,+\infty [$ à la posséder, ce qui en fait l'analogue continu de la loi géométrique. Elle affirme un taux de défaillance constant $h(x)=f(x)/(1-F(x))=\lambda$: hypothèse forte, raisonnable pour un composant électronique en vie utile ou un noyau radioactif, fausse pour tout ce qui s'use. La loi de Weibull, de taux $h(x)=\beta x^{\beta -1}/{\eta }^{\beta }$, décrit la mortalité infantile (), le taux constant () et l'usure ().

Lien entre comptage de Poisson et temps d'attente exponentiel (théorème 6.4): $\{T>t\}$ et $\{N_t=0\}$ sont le même événement, d'où $\mathbb{P}(T>t)={\mathrm{e}}^{-\lambda t}$. Le paramètre est le même dans les deux lois, et le temps d'attente jusqu'à la -ième arrivée suit .

Densité et fonction de répartition de la loi normale centrée réduite (6.13), et intégrale de Gauss (6.14) qui fournit la constante de normalisation. La fonction ${\mathrm{e}}^{-t^2}$ n'a aucune primitive élémentaire: il n'existe donc pas de formule fermée pour $\Phi$, d'où les tables et la fonction d'erreur, $\Phi (z)=\frac{1}{2}[1+\mathrm{erf}(z/\sqrt{2})]$. L'intégrale de Gauss se calcule en coordonnées polaires (Analyse II, chapitre 9, «Intégrales doubles»).

Standardisation (théorème 6.6, (6.16) et (6.17)) et dé-standardisation d'un quantile (6.20). Le score standardisé $z=(x-\mu )/\sigma$ est sans dimension et mesure la distance à la moyenne en écarts-types. Symétries utiles: $\Phi (-z)=1-\Phi (z)$, $\mathbb{P}(Z>z)=1-\Phi (z)$ et (théorème 6.7, (6.18)).

Règle des $68$–$95$–$99,7$. Elle est propre à la loi normale, contrairement à l'inégalité de Tchebychev du chapitre 8 qui vaut pour toutes les lois. Attention: le nombre des intervalles de confiance à $95\%$ n'est pas $2$ mais $1,96$, et l'aire exacte entre $\mu \pm 2\sigma$ est $95,45\%$, non $95\%$.

Quantiles de la loi normale centrée réduite, indexés par leur ordre (6.19), et obtenus par bissection sur $\Phi$. Par symétrie $z_{1-\gamma }=-z_{\gamma }$, donc $z_{0,05}=-1,6449$ et . La convention concurrente indexe par l'aire de la queue droite et écrit : les nombres sont les mêmes, l'indice change.

Stabilité de la famille normale par transformation affine (théorème 6.8, (6.21)) et par combinaison linéaire de variables indépendantes (théorème 6.9, (6.23)); conséquence (6.24) pour la moyenne empirique d'un échantillon normal. L'écart-type de ${\bar{X}}_n$ vaut $\sigma /\sqrt{n}$: pour diviser l'incertitude par deux, il faut quadrupler l'échantillon.

Approximation normale de la binomiale, ou théorème de de Moivre–Laplace (théorème 6.10, (6.25)), avec la correction de continuité $\pm 0,5$ qui remplace chaque entier $k$ par le segment $[k-0,5,k+0,5]$. Elle divise l'erreur par un facteur $20$ à $90$ dans les cas travaillés, et elle est indispensable pour approcher $\mathbb{P}(X=k)$, qu'une loi continue évaluerait à zéro. Les conditions et sont une règle de pouce; quand est petit et modéré, c'est la loi de Poisson qu'il faut employer.

Chapitre 7 – Vecteurs aléatoires, covariance et corrélation

Loi conjointe (7.1), lois marginales par sommation (théorème 7.1, (7.3)) et loi conditionnelle (7.4). Sur un tableau de contingence, une marge est une somme de ligne ou de colonne, et une loi conditionnelle est une colonne divisée par sa propre marge. La loi conjointe détermine les marges, jamais l'inverse: l'information sur le lien est précisément ce qui se perd en passant aux marges.

Indépendance de deux variables aléatoires, dans le cas discret (7.5), dans le cas général (7.6) et dans le cas à densité (théorème 7.2, (7.10)). Lecture visuelle: sur un tableau, les colonnes sont toutes proportionnelles entre elles; dans le cas continu, le support est nécessairement un rectangle — un support triangulaire ou circulaire interdit l'indépendance sans le moindre calcul, mais un support rectangulaire ne la garantit pas.

Théorème de transfert pour un couple (théorème 7.3, (7.13) et (7.14), admis). Il donne la linéarité $\mathbb{E}[aX+bY+c]=a\mathbb{E}[X]+b\mathbb{E}[Y]+c$ sans hypothèse d'indépendance (théorème 7.4, (7.15)), et $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$ indépendance (théorème 7.5, (7.16)).

Covariance (7.17), formule de Koenig (théorème 7.6, (7.18)) et identité fondatrice (7.19): la variance est la covariance d'une variable avec elle-même. La covariance est symétrique, bilinéaire, invariante par translation, nulle contre une constante (théorème 7.7) — c'est un produit scalaire sur les variables centrées de carré intégrable.

Variance d'une somme (théorème 7.8, (7.20) et (7.21)). En particulier $\mathrm{Var}(X-Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)-2\mathrm{Cov}(X,Y)$ (7.22) et $\mathrm{Var}(aX+bY)=a^2\mathrm{Var}(X)+b^2\mathrm{Var}(Y)+2ab\mathrm{Cov}(X,Y)$ (7.23). Attention: la variance d'une contient une somme de variances.

Additivité de la variance (théorème 7.9, (7.24)) et erreur type de la moyenne (7.25). L'hypothèse réellement utilisée est la non-corrélation, plus faible que l'indépendance. C'est le résultat que les chapitres 8 à 12 emploient à chaque page: la décroissance en $1/\sqrt{n}$ de l'erreur d'échantillonnage n'a pas d'autre origine.

Coefficient de corrélation de Bravais–Pearson (7.26) et inégalité de Cauchy–Schwarz (théorème 7.10, (7.27)), démontrée par le discriminant du trinôme $t\mapsto \mathrm{Var}(tX+Y)\ge 0$. Le cas d'égalité $|\rho |=1$ caractérise une relation affine exacte $Y=aX+b$ presque sûre, le signe de $\rho$ étant celui de . Le coefficient est sans unité et invariant par changement d'échelle affine croissant.

Hiérarchie à retenir. Contre-exemple minimal: $X$ uniforme sur $\{-1,0,1\}$ et $Y=X^2$ donnent $\rho =0$ alors que $Y$ est une fonction de $X$. Ce qui s'annule est la seule composante linéaire du lien. L'exception est le couple gaussien (7.37), pour lequel $\rho =0$ équivaut à l'indépendance (théorème 7.16, (7.38)) — mais il ne suffit pas que les deux marginales soient normales pour que le couple le soit.

Espérance conditionnelle (7.28) et formule de l'espérance totale, dite propriété de la tour (théorème 7.11, (7.29) et (7.30)). Distinguer soigneusement $\mathbb{E}[Y\mid X=x]$, un nombre fonction de $x$, de $\mathbb{E}[Y\mid X]$, une variable aléatoire fonction de $X$. La formule permet de calculer une espérance en deux temps, en conditionnant sur la première étape d'une expérience, ce qui est presque toujours plus court que d'établir la loi complète.

Produit de convolution (théorème 7.12, (7.31) et (7.32)), pour $X$ et $Y$ indépendantes: on énumère toutes les façons d'écrire $s$ comme somme d'une valeur de chacune, et l'on additionne les produits de probabilités. Résultats de stabilité: $\mathcal{B}(n,p)+\mathcal{B}(m,p)=\mathcal{B}(n+m,p)$ (théorème 7.13), $\mathcal{P}({\lambda }_1)+\mathcal{P}({\lambda }_2)=\mathcal{P}({\lambda }_1+{\lambda }_2)$ (théorème 7.14), (théorème 7.15, admis). En revanche la somme de deux uniformes est , et la somme de deux exponentielles suit .

Chapitre 8 – Théorèmes limites

Inégalités de Markov (théorème 8.1, (8.1)) et de Bienaymé–Tchebychev (théorème 8.2, (8.2) et (8.3)). Markov exige la positivité — pour une normale centrée elle serait fausse; Tchebychev s'en déduit en l'appliquant à $(X-\mu {)}^2$. Elles sont universelles et très lâches: à deux écarts-types, la borne annonce $25\%$ contre $4,6\%$ en réalité pour une loi normale. On s'en sert pour démontrer, pas pour calculer. L'inégalité unilatérale de Cantelli, $\mathbb{P}(X-\mu \ge t)\le {\sigma }^2/({\sigma }^2+t^2)$ (8.16), est optimale dans la classe des lois de variance .

Convergence en probabilité (8.4). Elle autorise, à chaque rang, un petit ensemble d'issues où $Y_n$ dérape, à condition que cet ensemble rétrécisse — et rien n'interdit qu'il se déplace d'un rang à l'autre. C'est exactement ce que la loi forte interdit.

Loi faible des grands nombres (théorème 8.3, (8.5)), qui découle de Tchebychev et de $\mathrm{Var}({\bar{X}}_n)={\sigma }^2/n$ (8.6) pour des variables i.i.d. de variance finie; et loi forte de Kolmogorov (théorème 8.4, (8.7), admise), qui ne demande que l'existence de $\mathbb{E}|X_1|$ et affirme la convergence presque sûre. Sans espérance — loi de Cauchy — il n'y a aucune convergence. : l'écart absolu croît comme tandis que l'écart de fréquence décroît comme ; croire le contraire est l'erreur du joueur.

Méthode de Monte-Carlo (8.8): la loi des grands nombres lue à l'envers, pour calculer une quantité déterministe écrite comme une espérance. Son erreur décroît en $1/\sqrt{n}$ — cent fois plus de tirages par décimale gagnée — mais cette vitesse ne dépend pas de la dimension, ce qui la rend imbattable au-delà de cinq ou six variables.

Théorème central limite de Lindeberg–Lévy (théorème 8.5, (8.10) et (8.11), admis), pour des variables i.i.d. d'espérance $\mu$ et de variance ${\sigma }^2$ finie et non nulle. Les deux écritures sont la même relation, l'une pour la moyenne, l'autre pour la somme, d'où les approximations ${\bar{X}}_n\dot{\sim }\mathcal{N}(\mu ,{\sigma }^2/n)$ et (8.12). : additionner deux cents salaires ne rend pas les salaires normaux. Il approche des probabilités, il est d'autant moins fiable qu'on s'éloigne du centre, et la règle «» n'est pas un théorème.

Inégalité de Berry–Esseen (théorème 8.6, (8.13), admise): la vitesse générale est en $1/\sqrt{n}$, et le facteur $\rho /{\sigma }^3$ mesure l'asymétrie de la loi de départ. Il vaut $1$ pour une Bernoulli symétrique, $1,30$ pour l'uniforme, $2,41$ pour l'exponentielle. En pratique, une loi de départ offre une décimale de plus, l'erreur y décroissant en et non en : l'approximation est excellente dès pour une uniforme et encore imparfaite à pour une exponentielle.

Théorème de de Moivre–Laplace (8.14) comme cas particulier du théorème central limite appliqué à une somme de $n$ variables de Bernoulli, et correction de continuité (8.15). Celle-ci s'applique à toute loi à valeurs entières approchée par une loi continue; son effet est d'ordre $1/\sqrt{n}$ et elle ne coûte rien.

Chapitre 9 – Statistique descriptive et lois d'échantillonnage

Effectifs, fréquences (9.1), densité de fréquence d'une classe de largeur $h_i$ (9.2) et fonction de répartition empirique. Dans un histogramme, c'est l'aire des rectangles qui porte la fréquence, jamais leur hauteur: sur des classes inégales — tranches d'âge, tranches de revenu — porter l'effectif en ordonnée surévalue systématiquement les classes larges.

Moyenne arithmétique (9.3) et ses trois propriétés: somme nulle des écarts, linéarité $\overline{ax+b}=a\bar{x}+b$, et minimisation de la somme des carrés. La moyenne utilise toute l'information numérique mais cède devant une seule valeur aberrante; la médiane, qui ne dépend que des rangs, a un point de rupture de $50\%$.

Quantile empirique (9.4), convention retenue par ce cours et employée dans tous les chapitres. D'autres conventions, fondées sur une interpolation entre statistiques d'ordre, donnent des valeurs différant d'un $\mathcal{O}(1/n)$; les logiciels en implémentent au moins neuf. Ce qui n'est pas négociable est de dire laquelle on emploie.

Variance d'un échantillon (9.5), avec le diviseur $n-1$ employé partout dans ce cours, forme de König–Huygens (9.6) et coefficient de variation. La version «de population» $v_n=\frac{n-1}{n}{s}^2$ n'est correcte que si la série toute la population. Le coefficient de variation n'a de sens que pour des grandeurs dont le zéro a une signification physique.

Construction de la boîte à moustaches et coefficient d'asymétrie (9.7). Les moustaches s'arrêtent à la dernière valeur observée à l'intérieur des barrières, et toute observation au-delà est portée individuellement. Le coefficient $1,5$ vient de Tukey: pour une population normale, environ $0,7\%$ des observations tombent au-delà des barrières. Un point signalé n'est pas une erreur de mesure, c'est une observation à examiner.

Modèle de l'échantillon aléatoire simple et distinction fondamentale marquée par la majuscule. «Même loi» signifie que la machine ne dérive pas pendant le prélèvement; «indépendance» s'obtient par la méthode de prélèvement, jamais par décret. Une statistique est une fonction de l'échantillon ne dépendant d'aucun paramètre inconnu; sa loi est sa loi d'échantillonnage.

Espérance et variance de la moyenne empirique (théorème 9.1, (9.8)). L'espérance ne demande rien; la variance demande seulement la non-corrélation. Ne pas confondre $\sigma$, dispersion des pièces, qui produit les rebuts et ne dépend pas de $n$, avec $\sigma /\sqrt{n}$, dispersion de la moyenne, qui limite la précision du contrôle.

Loi de la moyenne empirique (théorème 9.2, (9.9) et (9.10)). Dans le cas normal il n'y a aucune approximation et aucune condition sur $n$; dans le cas général, c'est le théorème central limite du chapitre 8, et «assez grand» dépend de l'asymétrie de la loi de départ.

La variance empirique corrigée est sans biais (théorème 9.3, (9.11)), sans aucune hypothèse de normalité. La démonstration repose sur l'identité ${\sum }_i(X_i-{\bar{X}}_n{)}^2={\sum }_i(X_i-\mu {)}^2-n({\bar{X}}_n-\mu {)}^2$, dont l'espérance du terme correctif vaut exactement , c'est-à-dire la contribution d'une observation: c'est le consommé pour estimer par .

Les trois lois dérivées de la normale, définies à partir de variables $\mathcal{N}(0,1)$ indépendantes: khi-deux ($\mathbb{E}=\nu$, $\mathrm{Var}=2\nu$, mode $\nu -2$ pour $\nu \ge 2$, asymétrique à droite), Student (9.13) (symétrique, $\mathbb{E}=0$ pour , pour , queues plus épaisses que la normale) et (asymétrique à droite, , ). Leurs quantiles sont tabulés à l'annexe A.

Lois d'échantillonnage dans le cas normal (théorème 9.4, (9.12), admis, et théorème 9.5, (9.14)). L'indépendance de ${\bar{X}}_n$ et $S_n^2$ est propre à la loi normale: elle traduit l'invariance par rotation d'un vecteur gaussien à composantes indépendantes de même variance, dont les projections sur deux sous-espaces orthogonaux sont alors indépendantes. Le théorème 9.5 est ce qui rend la statistique praticable: remplacer $\sigma$, jamais connu, par $S_n$, au prix d'une loi à queues plus épaisses. Numériquement, contre : ignorer coûte ici de précision.

Chapitre 10 – Estimation ponctuelle

Biais (10.1), erreur quadratique moyenne (10.2) et décomposition biais-variance (théorème 10.1, (10.3)). Il y a exactement deux façons de se tromper en moyenne quadratique — viser à côté et trembler — et elles s'additionnent sans interférer. «Sans biais» exige $\mathbb{E}[\hat{\theta }]=\theta$ pour toute valeur de $\theta$. Ces propriétés sont celles de l'estimateur, c'est-à-dire de la procédure, jamais celles de l'estimation.

Condition suffisante de convergence (théorème 10.2, (10.6) et (10.7)): il suffit que le biais et la variance tendent vers zéro. C'est l'inégalité de Bienaymé–Tchebychev du chapitre 8 sous sa forme statistique; appliquée à ${\bar{X}}_n$, elle redonne littéralement la loi faible des grands nombres. Un estimateur biaisé à $n$ fini peut parfaitement être convergent.

Les deux estimateurs de référence (théorèmes 10.3 et 10.4, (10.8) à (10.11)). La version non corrigée ${\hat{\sigma }}_n^2=\frac{1}{n}{\sum }_i(X_i-{\bar{X}}_n{)}^2$ , de pour et de pour ; elle est asymptotiquement sans biais et convergente. En revanche sans biais pour : par concavité de la racine et inégalité de Jensen, , avec , soit et .

Efficacité relative et borne de Cramér–Rao (théorème 10.5, (10.12), admise), où $I(\theta )$ est l'information de Fisher d'une observation. Elle ne vaut que pour les estimateurs sans biais et sous des conditions de régularité: le support de la loi ne doit pas dépendre de $\theta$. La moyenne empirique atteint la borne pour $\mathcal{B}(1,p)$ ($I=1/(p(1-p))$), pour $\mathcal{P}(\lambda )$ ($I=1/\lambda$) et pour à connue (): aucun estimateur sans biais ne fait mieux.

Méthode des moments (10.13): on égale moments théoriques et moments empiriques, puis on résout en $\theta$. Elle est simple et convergente, mais ni canonique — elle donne des réponses différentes selon les moments choisis — ni efficace, et elle peut produire des estimations incompatibles avec les données ($2{\bar{x}}_n$ pour une $\mathcal{U}([0,\theta ])$ peut être inférieur au maximum observé).

Vraisemblance et log-vraisemblance (10.14): les données sont fixées, c'est $\theta$ qui varie. On maximise le logarithme parce qu'il transforme le produit en somme, ne déplace pas le maximum et évite l'écrasement numérique. Méthode en quatre temps: écrire $\ell$, dériver et annuler, vérifier la concavité, examiner les bords de $\Theta$ — c'est la quatrième étape que l'on oublie.