Produit scalaire, orthogonalité et projections

Objectifs du chapitre

À la fin de ce chapitre, vous serez capable de:

• calculer des produits scalaires, des normes, des distances et des angles dans ${\mathbb{R}}^n$, et démontrer les inégalités de Cauchy–Schwarz et triangulaire;
• reconnaître une famille orthogonale, une base orthonormée et une matrice orthogonale, et exploiter leurs propriétés;
• déterminer l'orthogonal $F^{\perp }$ d'un sous-espace et décomposer ${\mathbb{R}}^n=F\oplus F^{\perp }$;
• calculer la projection orthogonale d'un vecteur sur une droite ou un sous-espace, la matrice de projection et la distance d'un point à un sous-espace;
• orthonormaliser une famille libre par le procédé de Gram–Schmidt et en déduire une factorisation $A=QR$;
• résoudre un système incompatible au sens des moindres carrés et ajuster une droite, une parabole ou un modèle exponentiel à des mesures.

Pourquoi mesurer des longueurs et des angles?

Les chapitres 4 à 6 ont étudié les espaces vectoriels avec les seules opérations d'addition et de multiplication par un scalaire. On sait dire si deux vecteurs sont colinéaires, si une famille est libre, quelle est la dimension d'un sous-espace, mais rien ne permet encore de mesurer la longueur d'un vecteur ou l'angle entre deux vecteurs. Cette lacune est comblée par le produit scalaire, et avec lui apparaît une question nouvelle, omniprésente en ingénierie: parmi tous les vecteurs d'un sous-espace, lequel est le plus proche d'un vecteur donné?

• Ajustement de mesures. Le 1ᵉʳ janvier 1801, l'astronome Giuseppe Piazzi observe pendant quelques semaines un nouvel astre, Cérès, avant de le perdre dans la lumière du Soleil. Avec des mesures peu nombreuses et entachées d'erreurs, Carl Friedrich Gauss calcule une orbite et prédit la position où Cérès sera retrouvée en décembre. Sa méthode, celle des moindres carrés, publiée indépendamment par Adrien-Marie Legendre en 1805, est aujourd'hui l'outil universel pour extraire une loi d'un nuage de mesures: étalonnage d'un capteur, droite de régression d'un essai de traction, courbe de tarage d'une pompe.
• Positionnement par satellites. Un récepteur GPS mesure sa distance à une dizaine de satellites; quatre mesures suffiraient pour trouver sa position, mais elles sont bruitées. Les mesures surabondantes forment un système incompatible dont on cherche la solution qui viole le moins les équations: encore les moindres carrés.
• Compression et filtrage. Un signal audio ou une image sont des vecteurs de très grande dimension. Les compresser, c'est les projeter sur un sous-espace bien choisi (fréquences audibles, blocs de cosinus du format JPEG) en ne conservant que les coordonnées significatives; filtrer un bruit, c'est projeter sur l'orthogonal du sous-espace où vit ce bruit.
• Mécanique et statique. Le travail d'une force est le produit scalaire de la force par le déplacement; la composante d'une réaction d'appui selon une direction est une projection orthogonale.

Dans tout le chapitre, le cadre principal est ${\mathbb{R}}^n$ muni de son produit scalaire usuel. Les vecteurs sont des colonnes, et l'on identifie librement un vecteur $\mathbf{u}$ et la matrice $n\times 1$ de ses composantes.

Le produit scalaire dans ℝⁿ

Définition et premières propriétés

L'écriture matricielle ${\mathbf{u}}^{\mathsf{T}}\mathbf{v}$ (produit d'une ligne par une colonne) sera constamment utile: elle permet de transporter les règles du calcul matriciel dans le calcul des produits scalaires, par exemple $⟨A\mathbf{u},\mathbf{v}⟩=(A\mathbf{u}{)}^{\mathsf{T}}\mathbf{v}={\mathbf{u}}^{\mathsf{T}}{A}^{\mathsf{T}}\mathbf{v}=⟨\mathbf{u},A^{\mathsf{T}}\mathbf{v}⟩$.

Démonstration. La symétrie vient de $u_i{v}_i=v_i{u}_i$, la bilinéarité de la distributivité dans $\mathbb{R}$. Enfin $⟨\mathbf{u},\mathbf{u}⟩=\sum u_i^2$ est une somme de carrés, positive, et nulle seulement si chaque $u_i$ est nul. $\square$

Pour $n=2$ et $n=3$, on retrouve le théorème de Pythagore et la longueur usuelle. La norme est homogène, $\Vert \lambda \mathbf{u}\Vert =|\lambda |\Vert \mathbf{u}\Vert$, et en développant $⟨\mathbf{u}+\mathbf{v},\mathbf{u}+\mathbf{v}⟩$ par bilinéarité on obtient l'identité fondamentale

L'inégalité de Cauchy–Schwarz

Démonstration. Si $\mathbf{v}=0$, les deux membres sont nuls et $\mathbf{u},\mathbf{v}$ sont colinéaires. Supposons $\mathbf{v}\ne 0$ et considérons, pour $t\in \mathbb{R}$, la fonction

d'après (7.2). C'est un polynôme du second degré en $t$, de coefficient dominant $\Vert \mathbf{v}{\Vert }^2>0$, et $P(t)\ge 0$ pour tout $t$ par positivité du produit scalaire. Un tel trinôme n'a pas deux racines réelles distinctes: son discriminant est négatif ou nul,

ce qui est exactement (7.3). Il y a égalité si et seulement si $\Delta =0$, c'est-à-dire si $P$ possède une racine double $t_0$; alors $\Vert \mathbf{u}+t_0\mathbf{v}\Vert =0$, donc $\mathbf{u}=-t_0\mathbf{v}$: les vecteurs sont colinéaires. Réciproquement, si $\mathbf{u}=\lambda \mathbf{v}$, les deux membres de (7.3) valent $|\lambda |\Vert \mathbf{v}{\Vert }^2$. $\square$

Démonstration. D'après (7.2) et Cauchy–Schwarz,

et l'on conclut en prenant la racine carrée des deux membres positifs. Pour la distance, on écrit $\mathbf{u}-\mathbf{w}=(\mathbf{u}-\mathbf{v})+(\mathbf{v}-\mathbf{w})$. $\square$

L'inégalité de Cauchy–Schwarz dit que le quotient $⟨\mathbf{u},\mathbf{v}⟩/(\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert )$ est toujours compris entre $-1$ et $1$: c'est donc le cosinus d'un unique angle de $[0,\pi ]$.

Dans le plan et l'espace, cette définition coïncide avec l'angle géométrique: la relation $⟨\mathbf{u},\mathbf{v}⟩=\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert \cos \theta$ n'est autre que le théorème d'Al-Kashi appliqué au triangle de côtés $\mathbf{u}$, $\mathbf{v}$ et $\mathbf{u}-\mathbf{v}$. En dimension supérieure, elle définit l'angle. Le signe du produit scalaire indique si l'angle est aigu, droit ou obtus.

Démonstration. On ajoute (7.2) à la formule analogue pour $\mathbf{u}-\mathbf{v}$, dans laquelle le double produit change de signe. $\square$

Géométriquement: la somme des carrés des diagonales d'un parallélogramme est égale à la somme des carrés des quatre côtés. En soustrayant au lieu d'ajouter, on obtient l'identité de polarisation $⟨\mathbf{u},\mathbf{v}⟩=\frac{1}{4}(\Vert \mathbf{u}+\mathbf{v}{\Vert }^2-\Vert \mathbf{u}-\mathbf{v}{\Vert }^2)$: le produit scalaire est entièrement déterminé par la norme.

Produits scalaires généraux

Les trois propriétés de la proposition 7.1 suffisent à démontrer tout ce qui précède: on n'a jamais utilisé la formule (7.1) elle-même. Elles servent donc de définition dans un espace vectoriel quelconque.

Deux exemples reviendront dans le chapitre.

• Sur ${\mathbb{R}}_n[x]$, l'application $⟨p,q⟩={\int }_{-1}^{1}p(x)q(x)\mathrm{d}x$ est un produit scalaire: symétrie et bilinéarité viennent de celles de l'intégrale, et ${\int }_{-1}^1{p}^2=0$ force $p=0$ car un polynôme continu, positif, d'intégrale nulle sur $[-1,1]$ est nul (théorème 10.9 du cours d'analyse). C'est le produit scalaire naturel de l'approximation des fonctions.
• Sur ${\mathbb{R}}^n$, si $w_1,\dots ,w_n$ sont des réels strictement positifs, $⟨\mathbf{u},\mathbf{v}{⟩}_w=\sum w_i{u}_i{v}_i$ est un produit scalaire pondéré; il apparaît dans les moindres carrés lorsque certaines mesures sont plus fiables que d'autres.

Les inégalités de Cauchy–Schwarz et triangulaire, l'angle, l'identité du parallélogramme et tout ce qui suit restent valables mot pour mot dans un espace euclidien quelconque. Le cadre principal du chapitre demeure néanmoins ${\mathbb{R}}^n$ avec le produit canonique.

Orthogonalité

Vecteurs orthogonaux et théorème de Pythagore

Démonstration. Dans (7.2), le double produit $2⟨\mathbf{u},\mathbf{v}⟩$ est nul. Pour $k$ vecteurs, on développe $⟨{\sum }_i{\mathbf{u}}_i,{\sum }_j{\mathbf{u}}_j⟩$ par bilinéarité: les termes croisés $⟨{\mathbf{u}}_i,{\mathbf{u}}_j⟩$ avec $i\ne j$ sont nuls et il ne reste que les $\Vert {\mathbf{u}}_i{\Vert }^2$. $\square$

Familles orthogonales et bases orthonormées

La base canonique $({\mathbf{e}}_1,\dots ,{\mathbf{e}}_n)$ est orthonormée. Dans le plan, $(\frac{1}{\sqrt{2}}(1,1),\frac{1}{\sqrt{2}}(-1,1))$ en est une autre: la base canonique tournée de $45°$.

Démonstration. Supposons ${\lambda }_1{\mathbf{u}}_1+\cdots +{\lambda }_k{\mathbf{u}}_k=0$. Prenons le produit scalaire des deux membres avec ${\mathbf{u}}_j$: par bilinéarité, ${\sum }_i{\lambda }_i⟨{\mathbf{u}}_i,{\mathbf{u}}_j⟩=0$, et comme tous les produits $⟨{\mathbf{u}}_i,{\mathbf{u}}_j⟩$ avec $i\ne j$ sont nuls, il reste ${\lambda }_j\Vert {\mathbf{u}}_j{\Vert }^2=0$. Puisque ${\mathbf{u}}_j\ne 0$, on a ${\lambda }_j=0$, et ceci pour chaque $j$. La dernière affirmation vient du chapitre 4: une famille libre de $n$ vecteurs dans un espace de dimension $n$ est une base. $\square$

Le grand avantage des bases orthonormées est que les coordonnées s'y calculent par de simples produits scalaires, sans résoudre de système.

Démonstration. Écrivons $\mathbf{v}={\sum }_i{c}_i{\mathbf{q}}_i$ dans la base. Le produit scalaire avec ${\mathbf{q}}_j$ donne $⟨\mathbf{v},{\mathbf{q}}_j⟩={\sum }_i{c}_i⟨{\mathbf{q}}_i,{\mathbf{q}}_j⟩=c_j$. La formule de la norme est le théorème de Pythagore appliqué aux vecteurs deux à deux orthogonaux $c_i{\mathbf{q}}_i$, de normes $|c_i|$. $\square$

Matrices orthogonales

Rangeons les vecteurs d'une famille orthonormée $({\mathbf{q}}_1,\dots ,{\mathbf{q}}_k)$ de ${\mathbb{R}}^n$ en colonnes d'une matrice $Q\in {\mathcal{M}}_{n\times k}(\mathbb{R})$. Le coefficient $(i,j)$ de $Q^{\mathsf{T}}Q$ est le produit scalaire de la $i$-ième ligne de $Q^{\mathsf{T}}$, c'est-à-dire ${\mathbf{q}}_i$, par la colonne ${\mathbf{q}}_j$: c'est ${\delta }_{ij}$. Ainsi

Démonstration. (1) Puisque $Q^{\mathsf{T}}Q=I_n$, la matrice carrée $Q$ est inversible d'inverse $Q^{\mathsf{T}}$ (chapitre 2); un inverse à gauche est aussi inverse à droite, d'où $Q{Q}^{\mathsf{T}}=I_n$, ce qui s'interprète par (7.6) appliqué à $Q^{\mathsf{T}}$. (2) $⟨Q\mathbf{u},Q\mathbf{v}⟩=(Q\mathbf{u}{)}^{\mathsf{T}}(Q\mathbf{v})={\mathbf{u}}^{\mathsf{T}}{Q}^{\mathsf{T}}Q\mathbf{v}={\mathbf{u}}^{\mathsf{T}}\mathbf{v}$; le cas $\mathbf{v}=\mathbf{u}$ donne la norme, et les angles et distances s'expriment par des produits scalaires et des normes. (3) $\det (Q^{\mathsf{T}}Q)=\det Q^{\mathsf{T}}\det Q=(\det Q{)}^2=\det I_n=1$. (4) $(Q_1{Q}_2{)}^{\mathsf{T}}(Q_1{Q}_2)=Q_2^{\mathsf{T}}{Q}_1^{\mathsf{T}}{Q}_1{Q}_2=Q_2^{\mathsf{T}}{Q}_2=I_n$. $\square$

L'orthogonal d'un sous-espace

Si $F=\mathrm{Vect}({\mathbf{v}}_1,\dots ,{\mathbf{v}}_k)$, il suffit, par bilinéarité, de tester l'orthogonalité avec les générateurs: $\mathbf{x}\in F^{\perp }$ si et seulement si $⟨\mathbf{x},{\mathbf{v}}_i⟩=0$ pour $i=1,\dots ,k$. Ces $k$ équations linéaires homogènes définissent $F^{\perp }$ comme le noyau d'une matrice, ce qui est le contenu du point 3 ci-dessous.

Démonstration. (1) $0\in F^{\perp }$, et si $\mathbf{x},\mathbf{y}\in F^{\perp }$, alors $⟨\mathbf{x}+\lambda \mathbf{y},\mathbf{v}⟩=⟨\mathbf{x},\mathbf{v}⟩+\lambda ⟨\mathbf{y},\mathbf{v}⟩=0$ pour tout $\mathbf{v}\in F$. (2) Si $\mathbf{x}\in F\cap F^{\perp }$, alors $\mathbf{x}$ est orthogonal à lui-même: $\Vert \mathbf{x}{\Vert }^2=0$, donc $\mathbf{x}=0$. (3) Notons ${\mathbf{a}}_1,\dots ,{\mathbf{a}}_k$ les colonnes de $A$. Le vecteur $A^{\mathsf{T}}\mathbf{x}$ a pour composantes les produits scalaires $⟨{\mathbf{a}}_i,\mathbf{x}⟩$ (lignes de $A^{\mathsf{T}}$ multipliées par $\mathbf{x}$). Donc $\mathbf{x}\in \ker A^{\mathsf{T}}$ si et seulement si $\mathbf{x}$ est orthogonal à chaque ${\mathbf{a}}_i$, c'est-à-dire, par bilinéarité, à toute combinaison linéaire des ${\mathbf{a}}_i$: c'est exactement $\mathbf{x}\in (\mathrm{Im}A{)}^{\perp }$. (4) Par le théorème du rang (chapitre 5) appliqué à $A^{\mathsf{T}}\in {\mathcal{M}}_{k\times n}(\mathbb{R})$: $\dim \ker A^{\mathsf{T}}=n-\mathrm{rg}{A}^{\mathsf{T}}=n-\mathrm{rg}A=n-\dim F$, puisqu'une matrice et sa transposée ont le même rang. (5) D'après (2), la somme $F+F^{\perp }$ est directe, et d'après (4) elle est de dimension $\dim F+\dim F^{\perp }=n$: c'est ${\mathbb{R}}^n$ tout entier (chapitre 5). (6) Tout vecteur de $F$ est orthogonal à tout vecteur de $F^{\perp }$, donc $F\subset (F^{\perp }{)}^{\perp }$; les deux sous-espaces ont la même dimension $n-(n-\dim F)$ d'après (4), d'où l'égalité. $\square$

Projection orthogonale

La décomposition ${\mathbb{R}}^n=F\oplus F^{\perp }$ associe à chaque vecteur $\mathbf{v}$ sa composante $\mathbf{p}$ dans $F$. Nous allons la calculer explicitement et montrer qu'elle est le point de $F$ le plus proche de $\mathbf{v}$: c'est le cœur du chapitre.

Par unicité de la décomposition, ${\mathrm{proj}}_F$ est linéaire, vaut l'identité sur $F$ et s'annule sur $F^{\perp }$; le résidu est la projection orthogonale sur $F^{\perp }$.

Projection sur une droite

Démonstration. On cherche $\mathbf{p}=c\mathbf{u}\in D$ tel que le résidu $\mathbf{v}-c\mathbf{u}$ soit orthogonal à $D$, c'est-à-dire à $\mathbf{u}$: $⟨\mathbf{v}-c\mathbf{u},\mathbf{u}⟩=⟨\mathbf{v},\mathbf{u}⟩-c⟨\mathbf{u},\mathbf{u}⟩=0$, d'où $c=⟨\mathbf{v},\mathbf{u}⟩/⟨\mathbf{u},\mathbf{u}⟩$. Cette valeur de $c$ fournit une décomposition $\mathbf{v}=\mathbf{p}+\mathbf{r}$ avec $\mathbf{p}\in D$ et $\mathbf{r}\in D^{\perp }$, qui est la décomposition unique du théorème 7.9. $\square$

Projection sur un sous-espace

Démonstration. Posons $\mathbf{p}={\sum }_i⟨\mathbf{v},{\mathbf{q}}_i⟩{\mathbf{q}}_i\in F$ et $\mathbf{r}=\mathbf{v}-\mathbf{p}$. Pour chaque $j$,

Le résidu est orthogonal à chaque vecteur de la base de $F$, donc à $F$ tout entier: $\mathbf{r}\in F^{\perp }$, et $\mathbf{v}=\mathbf{p}+\mathbf{r}$ est la décomposition du théorème 7.9. Pour une base seulement orthogonale, on applique (7.8) aux vecteurs normalisés ${\mathbf{q}}_i={\mathbf{u}}_i/\Vert {\mathbf{u}}_i\Vert$. $\square$

La formule (7.8) est une somme de projections sur les droites $\mathrm{Vect}({\mathbf{q}}_i)$: projeter sur un sous-espace revient à projeter sur chaque axe d'une base orthogonale et à additionner. Cela est faux pour une base quelconque, d'où l'importance de savoir fabriquer des bases orthonormées (procédé de Gram–Schmidt, section suivante).

Démonstration. Notons $\mathbf{p}={\mathrm{proj}}_F(\mathbf{v})$ et soit $\mathbf{w}\in F$. On écrit $\mathbf{v}-\mathbf{w}=(\mathbf{v}-\mathbf{p})+(\mathbf{p}-\mathbf{w})$. Le premier vecteur est dans $F^{\perp }$, le second dans $F$ (différence de deux vecteurs de $F$): ils sont orthogonaux, et le théorème de Pythagore donne

avec égalité si et seulement si $\mathbf{p}=\mathbf{w}$. $\square$

Matrice de projection

Démonstration. (1) Pour $\mathbf{v}\in {\mathbb{R}}^n$, le vecteur $Q^{\mathsf{T}}\mathbf{v}$ a pour composantes les $⟨{\mathbf{q}}_i,\mathbf{v}⟩$, et $Q(Q^{\mathsf{T}}\mathbf{v})={\sum }_i⟨{\mathbf{q}}_i,\mathbf{v}⟩{\mathbf{q}}_i$ est la formule (7.8).

(2) Montrons d'abord que $A^{\mathsf{T}}A$ (matrice $k\times k$) est inversible. Si $A^{\mathsf{T}}A\mathbf{x}=0$, alors ${\mathbf{x}}^{\mathsf{T}}{A}^{\mathsf{T}}A\mathbf{x}=\Vert A\mathbf{x}{\Vert }^2=0$, donc $A\mathbf{x}=0$, et comme les colonnes de $A$ sont libres, $\mathbf{x}=0$: le noyau de $A^{\mathsf{T}}A$ est réduit à $\{0\}$ et cette matrice carrée est inversible. Cherchons maintenant $\mathbf{p}=A\hat{\mathbf{x}}\in F$ tel que $\mathbf{v}-A\hat{\mathbf{x}}\in F^{\perp }=\ker A^{\mathsf{T}}$ (théorème 7.9): la condition s'écrit $A^{\mathsf{T}}(\mathbf{v}-A\hat{\mathbf{x}})=0$, soit $A^{\mathsf{T}}A\hat{\mathbf{x}}=A^{\mathsf{T}}\mathbf{v}$, d'où $\hat{\mathbf{x}}=(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}\mathbf{v}$ et $\mathbf{p}=A(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}\mathbf{v}$.

(3) Projeter deux fois revient à projeter une fois, puisque ${\mathrm{proj}}_F$ est l'identité sur $F$: $P^2=P$. Avec la forme (2), $P^{\mathsf{T}}=A((A^{\mathsf{T}}A{)}^{-1}{)}^{\mathsf{T}}{A}^{\mathsf{T}}=A(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}=P$ car $A^{\mathsf{T}}A$ est symétrique et l'inverse d'une matrice symétrique est symétrique. Enfin $\mathbf{v}-P\mathbf{v}$ est le résidu, projection sur $F^{\perp }$, et le symétrique de $\mathbf{v}$ par rapport à $F$ est $\mathbf{v}-2(\mathbf{v}-P\mathbf{v})=(2P-I_n)\mathbf{v}$, comme dans l'exemple 7.4. $\square$

Le procédé de Gram–Schmidt

Les formules (7.8) et $P=Q{Q}^{\mathsf{T}}$ exigent une base orthonormée. Le procédé de Gram–Schmidt en construit une à partir de n'importe quelle base, en «redressant» les vecteurs l'un après l'autre: chaque nouveau vecteur est débarrassé de sa projection sur le sous-espace déjà construit.

Démonstration. Par récurrence sur $j$, montrons que $({\mathbf{u}}_1,\dots ,{\mathbf{u}}_j)$ est orthogonale, formée de vecteurs non nuls, et engendre $F_j=\mathrm{Vect}({\mathbf{v}}_1,\dots ,{\mathbf{v}}_j)$. Pour $j=1$, ${\mathbf{u}}_1={\mathbf{v}}_1\ne 0$ puisque la famille est libre. Supposons la propriété vraie au rang $j-1$. La somme dans (7.9) est, d'après le théorème 7.11 appliqué à la base orthogonale $({\mathbf{u}}_1,\dots ,{\mathbf{u}}_{j-1})$ de $F_{j-1}$, la projection orthogonale de ${\mathbf{v}}_j$ sur $F_{j-1}$; donc ${\mathbf{u}}_j={\mathbf{v}}_j-{\mathrm{proj}}_{F_{j-1}}({\mathbf{v}}_j)$ est le résidu, orthogonal à $F_{j-1}$, en particulier à ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_{j-1}$. Il est non nul, sinon ${\mathbf{v}}_j$ appartiendrait à $F_{j-1}$, ce qui contredirait la liberté de $({\mathbf{v}}_1,\dots ,{\mathbf{v}}_j)$. Enfin ${\mathbf{u}}_j\in F_j$ (combinaison de ${\mathbf{v}}_j$ et de vecteurs de $F_{j-1}\subset F_j$), donc $\mathrm{Vect}({\mathbf{u}}_1,\dots ,{\mathbf{u}}_j)\subset F_j$; ces deux sous-espaces ont la même dimension $j$ (famille orthogonale de $j$ vecteurs non nuls, donc libre, par le théorème 7.6), d'où l'égalité. $\square$

La factorisation QR

Le procédé de Gram–Schmidt se lit comme une identité matricielle. Chaque ${\mathbf{v}}_j$ est une combinaison linéaire de ${\mathbf{q}}_1,\dots ,{\mathbf{q}}_j$: en effet, (7.9) donne ${\mathbf{v}}_j={\mathbf{u}}_j+{\sum }_{i<j}(\dots ){\mathbf{u}}_i$, et ${\mathbf{u}}_i=\Vert {\mathbf{u}}_i\Vert {\mathbf{q}}_i$. Puisque les ${\mathbf{q}}_i$ sont orthonormés, les coefficients sont $r_{ij}=⟨{\mathbf{q}}_i,{\mathbf{v}}_j⟩$ (théorème 7.7), nuls pour $i>j$.

La démonstration est le calcul qui précède: la $j$-ième colonne de $QR$ vaut ${\sum }_i{r}_{ij}{\mathbf{q}}_i={\sum }_{i\le j}⟨{\mathbf{q}}_i,{\mathbf{v}}_j⟩{\mathbf{q}}_i={\mathbf{v}}_j$ par (7.5), puisque ${\mathbf{v}}_j\in \mathrm{Vect}({\mathbf{q}}_1,\dots ,{\mathbf{q}}_j)$. Le chapitre 12 reviendra sur cette factorisation, sur ses variantes numériquement plus stables (réflexions de Householder) et sur ses usages.

Pour $A=\left(\begin{array}{cc}1& 1\\ 1& 0\\ 1& 2\end{array}\right)$, Gram–Schmidt donne ${\mathbf{u}}_1=(1,1,1)$, puis $⟨{\mathbf{v}}_2,{\mathbf{u}}_1⟩=3$ et ${\mathbf{u}}_2=(1,0,2)-(1,1,1)=(0,-1,1)$. Donc

où $r_{12}=⟨{\mathbf{q}}_1,{\mathbf{v}}_2⟩=3/\sqrt{3}=\sqrt{3}$. On vérifie: $\sqrt{3}{\mathbf{q}}_1={\mathbf{v}}_1$ et $\sqrt{3}{\mathbf{q}}_1+\sqrt{2}{\mathbf{q}}_2=(1,1,1)+(0,-1,1)={\mathbf{v}}_2$.

Polynômes de Legendre

Le procédé fonctionne dans tout espace euclidien. Sur ${\mathbb{R}}_2[x]$ muni de $⟨p,q⟩={\int }_{-1}^{1}pq$, partons de la base $(1,x,x^2)$. On a $⟨1,1⟩=2$, $⟨x,1⟩=0$ (fonction impaire), $⟨x^2,1⟩=\frac{2}{3}$, $⟨x,x⟩=\frac{2}{3}$, $⟨x^2,x⟩=0$. Donc

À des facteurs près, ce sont les polynômes de Legendre $P_0=1$, $P_1=x$, $P_2=\frac{1}{2}(3x^2-1)$, normalisés par la convention $P_k(1)=1$. Ils sont à la base de la quadrature de Gauss et de la méthode des éléments finis spectraux; le fait que ${\int }_{-1}^1{P}_2(x)\mathrm{d}x=0$ signifie que $P_2$ est orthogonal aux constantes.

Moindres carrés

Systèmes incompatibles et équations normales

Un ingénieur qui étalonne un capteur mesure $m$ couples $(x_i,y_i)$ et cherche les paramètres d'un modèle, par exemple $y=a+bx$. Chaque mesure fournit une équation $a+b{x}_i=y_i$: avec $m=5$ mesures et $2$ inconnues, le système $A\mathbf{x}=\mathbf{b}$ est surdéterminé et, à cause des erreurs de mesure, incompatible: $\mathbf{b}\notin \mathrm{Im}A$. Il n'existe aucune droite passant par tous les points. La méthode des moindres carrés remplace l'exigence impossible $A\mathbf{x}=\mathbf{b}$ par «$A\mathbf{x}$ aussi proche que possible de $\mathbf{b}$».

Démonstration. Lorsque $\mathbf{x}$ parcourt ${\mathbb{R}}^n$, le vecteur $A\mathbf{x}$ parcourt le sous-espace $F=\mathrm{Im}A$. Par le théorème de la meilleure approximation 7.12, $\Vert \mathbf{b}-A\mathbf{x}\Vert$ est minimale si et seulement si $A\mathbf{x}={\mathrm{proj}}_F(\mathbf{b})$, c'est-à-dire si et seulement si le résidu $\mathbf{b}-A\mathbf{x}$ appartient à $F^{\perp }=(\mathrm{Im}A{)}^{\perp }=\ker A^{\mathsf{T}}$ (théorème 7.9). Cette dernière condition s'écrit $A^{\mathsf{T}}(\mathbf{b}-A\mathbf{x})=0$, soit (7.10). Comme ${\mathrm{proj}}_F(\mathbf{b})$ appartient à $\mathrm{Im}A$, il existe au moins un $\hat{\mathbf{x}}$ convenable. $\square$

Démonstration. L'inversibilité de $A^{\mathsf{T}}A$ a été établie dans la preuve du théorème 7.13, point 2; le reste est la résolution de (7.10). $\square$

La matrice $(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}$ s'appelle la pseudo-inverse de $A$: elle joue pour un système surdéterminé le rôle de $A^{-1}$ pour un système carré inversible. Lorsque le système est compatible, la solution des moindres carrés est la solution ordinaire, de résidu nul.

La droite de régression

Démonstration. Le système $a+b{x}_i=y_i$ ($i=1,\dots ,m$) s'écrit $A\mathbf{x}=\mathbf{b}$ avec

Les deux colonnes de $A$ sont indépendantes puisque les $x_i$ ne sont pas tous égaux, donc la solution est unique (théorème 7.17). Les équations normales sont

La première équation, $ma+b\sum x_i=\sum y_i$, donne $a=\bar{y}-b\bar{x}$: la droite passe par $(\bar{x},\bar{y})$. La règle de Cramer (chapitre 3) appliquée au système $2\times 2$ fournit la première expression de $b$; en divisant numérateur et dénominateur par $m$ et en développant $\sum (x_i-\bar{x})(y_i-\bar{y})=\sum x_i{y}_i-m\bar{x}\bar{y}$ et $\sum (x_i-\bar{x}{)}^2=\sum x_i^2-m{\bar{x}}^2$, on obtient la seconde. $\square$

Modèles linéaires en les paramètres

La méthode ne se limite pas aux droites: elle s'applique dès que le modèle est une combinaison linéaire des paramètres inconnus, quelles que soient les fonctions de $x$ qui les multiplient.

• Ajustement polynomial. Pour $y=a+bx+c{x}^2$, chaque mesure donne l'équation $a+b{x}_i+c{x}_i^2=y_i$; la matrice $A$ a pour colonnes $(1,\dots ,1)$, $(x_1,\dots ,x_m)$ et $(x_1^2,\dots ,x_m^2)$, et les équations normales forment un système $3\times 3$. Un polynôme de degré $m-1$ passerait exactement par les $m$ points, mais il oscillerait entre eux: on choisit un degré bien inférieur au nombre de mesures.
• Modèle exponentiel linéarisé. La loi $y=a{\mathrm{e}}^{bx}$ (décharge d'un condensateur, croissance d'une population, atténuation d'un signal) n'est pas linéaire en $(a,b)$. Mais $\ln y=\ln a+bx$ l'est en $(\ln a,b)$: on ajuste une droite aux points $(x_i,\ln y_i)$, puis $a={\mathrm{e}}^{\ln a}$. Par exemple, pour les mesures $(0;2,0)$, $(1;2,7)$, $(2;3,6)$, $(3;4,9)$, les logarithmes valent $0,693$; $0,993$; $1,281$; $1,589$, et la droite de régression a pour pente $b\approx 0,298$ et pour ordonnée à l'origine $\ln a\approx 0,693$, d'où $a\approx 2,00$: le modèle est $y\approx 2,00{\mathrm{e}}^{0,298x}$. Cette linéarisation minimise les carrés des écarts logarithmiques, ce qui pondère davantage les petites valeurs de $y$; c'est en général acceptable.
• Modèles à plusieurs variables. $y=a+bx+cz$ (plan de régression) se traite exactement de la même manière, avec une colonne par variable explicative.

Résidus, qualité de l'ajustement et calcul

Le vecteur des résidus $\mathbf{r}=\mathbf{b}-A\hat{\mathbf{x}}$ est orthogonal à toutes les colonnes de $A$; en particulier, si le modèle contient un terme constant, la somme des résidus est nulle. Pour juger de la qualité d'un ajustement, on compare la somme des carrés des résidus à la dispersion totale des $y_i$ autour de leur moyenne:

Ce coefficient de détermination vaut $1$ pour un ajustement parfait et $0$ lorsque le modèle ne fait pas mieux que la constante $\bar{y}$. Pour le capteur de l'exemple 7.7, $\sum (U_i-\bar{U}{)}^2=2,974$ et $R^2=1-0,00387/2,974\approx 0,9987$. Un $R^2$ élevé ne prouve pas que le modèle est juste: un tracé des résidus en fonction de $x$ qui montre une tendance (par exemple tous positifs au centre, négatifs aux extrémités) révèle un modèle mal choisi, alors que des résidus sans structure signalent un bruit de mesure.

Synthèse

• Le produit scalaire $⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^{\mathsf{T}}\mathbf{v}$ est symétrique, bilinéaire et défini positif; il définit la norme $\Vert \mathbf{u}\Vert =\sqrt{⟨\mathbf{u},\mathbf{u}⟩}$, la distance et l'angle via $\cos \theta =⟨\mathbf{u},\mathbf{v}⟩/(\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert )$, ce que légitime l'inégalité de Cauchy–Schwarz $|⟨\mathbf{u},\mathbf{v}⟩|\le \Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert$.
• Une famille orthogonale de vecteurs non nuls est libre; dans une base orthonormée, les coordonnées sont les produits scalaires $⟨\mathbf{v},{\mathbf{q}}_i⟩$. Une matrice orthogonale ($Q^{\mathsf{T}}Q=I$) conserve normes, produits scalaires et angles, et $\det Q=\pm 1$.
• L'orthogonal $F^{\perp }$ est un sous-espace de dimension $n-\dim F$, $(\mathrm{Im}A{)}^{\perp }=\ker A^{\mathsf{T}}$, et ${\mathbb{R}}^n=F\oplus F^{\perp }$.
• La projection orthogonale ${\mathrm{proj}}_F(\mathbf{v})=\sum ⟨\mathbf{v},{\mathbf{q}}_i⟩{\mathbf{q}}_i$ est le point de $F$ le plus proche de $\mathbf{v}$; sa matrice $P=Q{Q}^{\mathsf{T}}=A(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}$ vérifie $P^2=P=P^{\mathsf{T}}$, et $2P-I$ est la réflexion.
• Le procédé de Gram–Schmidt transforme une famille libre en base orthonormée en retranchant à chaque vecteur sa projection sur les précédents; matriciellement, c'est la factorisation $A=QR$.
• La solution des moindres carrés de $A\mathbf{x}=\mathbf{b}$ résout les équations normales $A^{\mathsf{T}}A\hat{\mathbf{x}}=A^{\mathsf{T}}\mathbf{b}$; pour la droite $y=a+bx$, $b=\sum (x_i-\bar{x})(y_i-\bar{y})/\sum (x_i-\bar{x}{)}^2$ et $a=\bar{y}-b\bar{x}$.

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.