Rappels d'algèbre linéaire et formes quadratiques · Analyse II

À partir du chapitre 5, l'Analyse II cesse d'être une affaire de nombres pour devenir une affaire de matrices. La dérivée seconde d'une fonction de plusieurs variables n'est plus un réel dont on regarde le signe: c'est une matrice symétrique $H_{f} (a)$ , et «regarder son signe» veut dire classer la forme quadratique qu'elle porte. Le changement de variables des chapitres 9 et 10 ne multiplie plus par $∣ φ^{'} ∣$ : il multiplie par $∣ det J_{Φ} ∣$ , et c'est parce qu'un déterminant mesure une aire ou un volume que la formule est ce qu'elle est. Le théorème de Lagrange du chapitre 8 n'exige pas seulement que des gradients soient non nuls: il exige qu'une matrice jacobienne soit de rang maximal.

Cette annexe rassemble exactement ce dont ces chapitres ont besoin, et rien de plus. Elle ne remplace pas un cours d'algèbre linéaire: elle en extrait la petite dizaine d'énoncés que l'on utilise sans arrêt, avec leurs démonstrations quand elles tiennent en quelques lignes, et avec un «admis» explicite quand elles relèvent franchement de l'autre cours. Le cœur du texte est la dernière partie, sur les formes quadratiques: c'est elle que les chapitres 5 et 7 citent, c'est elle qui contient le tableau de décision dont vous vous servirez à chaque point critique, et c'est elle qu'il faut avoir lue avant d'aborder les extrema.

Produit scalaire, norme et orthogonalité

Le chapitre 2 a construit la topologie de $R^{n}$ à partir de la norme euclidienne; nous rappelons ici seulement l'algèbre qui la porte.

Le produit scalaire est bilinéaire (linéaire en chaque argument l'autre étant fixé), symétrique ( $⟨ x, y ⟩ = ⟨ y, x ⟩$ ) et défini positif ( $⟨ x, x ⟩ \geq 0$ , avec égalité seulement si $x = 0$ ). Ces trois propriétés se lisent directement sur la somme et ce sont les seules que l'on utilise: tout ce qui suit s'en déduit.

Démonstration. Si $y = 0$ les deux membres sont nuls. Sinon, considérons le polynôme du second degré en $t$

P (t) = ∥ x + t y ∥^{2} = ∥ y ∥^{2} t^{2} + 2 ⟨ x, y ⟩ t + ∥ x ∥^{2},

développement obtenu par bilinéarité et symétrie. Comme $P (t) \geq 0$ pour tout $t$ et que son coefficient dominant $∥ y ∥^{2}$ est strictement positif, son discriminant réduit est négatif ou nul:

⟨ x, y ⟩^{2} - ∥ x ∥^{2} ∥ y ∥^{2} \leq 0,

ce qui est (A.1). L'égalité a lieu exactement quand le discriminant est nul, c'est-à-dire quand $P$ possède une racine double $t_{0}$ ; alors $∥ x + t_{0} y ∥ = 0$ , donc $x = - t_{0} y$ .

L'inégalité triangulaire en découle en une ligne: $∥ x + y ∥^{2} = ∥ x ∥^{2} + 2 ⟨ x, y ⟩ + ∥ y ∥^{2} \leq (∥ x ∥ + ∥ y ∥)^{2}$ . C'est elle qui fait de une norme et donc de un espace métrique, point de départ du chapitre 2.

Cauchy-Schwarz autorise à définir l'angle $θ \in [0, π]$ entre deux vecteurs non nuls par $cos θ = ⟨ x, y ⟩ / (∥ x ∥ ∥ y ∥)$ , quotient qui appartient bien à $[- 1, 1]$ . Deux vecteurs sont orthogonaux lorsque $⟨ x, y ⟩ = 0$ ; on note alors . Le théorème de Pythagore est immédiat: si , alors .

L'automatisme mérite sa preuve, tant il sert: si $\sum_{i} c_{i} v_{i} = 0$ , le produit scalaire avec $v_{j}$ donne ; la famille est donc libre, et vecteurs libres dans un espace de dimension forment une base. Le même calcul donne les : pour tout ,

h = i = 1 \sum n c_{i} v_{i} avec c_{i} = ⟨ h, v_{i} ⟩, et ∥ h ∥^{2} = i = 1 \sum n c_{i}^{2} . (A.2)

La seconde identité est le théorème de Pythagore itéré; c'est exactement l'ingrédient qui rendra le critère des valeurs propres si simple au théorème A.8.

Question A.1

Soient $x, y$ deux vecteurs non nuls de $R^{n}$ avec $⟨ x, y ⟩ = ∥ x ∥ ∥ y ∥$ . Que peut-on affirmer?

Matrices: produit, transposée, inverse

Une matrice $A$ de taille $m \times n$ à coefficients réels représente l'application linéaire $x \mapsto A x$ de $R^{n}$ dans $R^{m}$ dans les bases canoniques; la $j$ -ième colonne de $A$ est l'image du -ième vecteur de base. Retenir cela dispense d'apprendre la formule du produit: le produit est la matrice de la , ce qui impose la règle des indices

(A B)_{ik} = j \sum a_{ij} b_{j k},

l'associativité $(A B) C = A (B C)$ — la composition d'applications est associative — et la non-commutativité, puisque composer dans l'autre ordre n'est pas la même opération. Les matrices jacobiennes du chapitre 4 obéissent à cette règle: la règle de la chaîne $J_{G \circ F} (a) = J_{G} (F (a)) J_{F} (a)$ n'est rien d'autre que «la différentielle d'une composée est la composée des différentielles», lue en matrices.

La transposée $A^{T}$ échange lignes et colonnes: $(A^{T})_{ij} = a_{j i}$ . On a $(A B)^{T} = B^{T} A^{T}$ et, ce qui nous servira davantage,

⟨ A x, y ⟩ = ⟨ x, A^{T} y ⟩ pour tous x \in R^{n}, y \in R^{m} . (A.3)

En effet $⟨ A x, y ⟩ = \sum_{i} (\sum_{j} a_{ij} x_{j}) y_{i} = \sum_{j} x_{j} (\sum_{i} a_{ij} y_{i}) = ⟨ x, A^{T} y ⟩$ : on a seulement échangé deux sommes finies. Une matrice carrée est si ; (A.3) devient alors , identité dont toute la suite de cette annexe dépend. Le théorème de Schwarz (chapitre 5) garantit précisément que la hessienne d'une fonction de classe est symétrique.

Une matrice carrée $A$ est inversible s'il existe $A^{- 1}$ avec $A A^{- 1} = A^{- 1} A = I_{n}$ ; l'application linéaire associée est alors bijective. En taille , la formule est à connaître par cœur:

A = (a c b d) ⟹ A^{- 1} = \frac{1}{a d - b c} (d - c - b a) (a d - b c \neq = 0) . (A.4)

C'est elle que l'on applique au chapitre 6 pour inverser le bloc jacobien $\partial F / \partial y$ et obtenir $J_{φ} = - [\partial F / \partial y]^{- 1} \partial F / \partial x$ .

Déterminant, aire et volume

Le déterminant d'une matrice $2 \times 2$ et d'une matrice $3 \times 3$ se calcule par

det (a c b d) = a d - b c, det a_{11} a_{21} a_{31} a_{12} a_{22} a_{32} a_{13} a_{23} a_{33} = j = 1 \sum 3 (- 1)^{1 + j} a_{1 j} M_{1 j}, (A.5)

où $M_{1 j}$ est le déterminant $2 \times 2$ obtenu en supprimant la première ligne et la $j$ -ième colonne. C'est le développement selon la première ligne; on peut développer selon n'importe quelle ligne ou colonne, et l'on choisit toujours celle qui contient le plus de zéros. La règle de Sarrus (produits des trois diagonales descendantes moins produits des trois montantes) donne le même résultat en dimension trois et seulement en dimension trois; ne l'étendez jamais à $n = 4$ .

Ces propriétés sont admises: leur démonstration est le contenu même du chapitre «déterminants» d'un cours d'algèbre linéaire, où le déterminant est construit comme l'unique forme $n$ -linéaire alternée valant $1$ sur la base canonique. Nous les utilisons constamment. Le point 2 est ce qui transforme l'hypothèse « $\partial F / \partial y$ inversible» du théorème des fonctions implicites en la condition calculable « $det \neq = 0$ »; le point 3 est ce qui permet d'ajouter «donc inversible sur tout un voisinage»; le point 1 donne, appliqué à $F^{- 1} \circ F = id$ , la relation du chapitre 6.

Nous l'admettons aussi: la démonstration propre demande d'avoir défini la mesure de Lebesgue, ce qui relève de la théorie de la mesure. On peut toutefois s'en convaincre entièrement en dimension deux, et l'argument est instructif. L'aire signée $A (u_{1}, u_{2})$ est linéaire en chaque vecteur (doubler un côté double l'aire; découper un côté en deux découpe le parallélogramme), elle est nulle quand $u_{1} = u_{2}$ (parallélogramme aplati) et vaut sur la base canonique (le carré unité). Ces trois propriétés caractérisent le déterminant: donc .

Question A.2

Calculez le déterminant de la matrice dont les lignes sont $(1, 2, 3)$ , $(0, 1, 4)$ et $(5, 6, 0)$ .

Rang, noyau, image

Ce théorème est admis — c'est un résultat de base sur les applications linéaires, démontré dans le cours d'algèbre linéaire. Ses conséquences pratiques sont celles que l'on utilise. Pour un système homogène $A x = 0$ à $n$ inconnues: il n'a que la solution nulle si et seulement si $rg A = n$ , et l'ensemble de ses solutions est un sous-espace de dimension $n - rg A$ . Pour une matrice carrée $n \times n$ , les énoncés « $rg A = n$ », «», « est inversible» et «» sont quatre façons de dire la même chose.

La situation du chapitre 8 est celle d'une matrice large: $m$ contraintes dans $R^{n}$ avec $m < n$ , donc une jacobienne $J_{g} (a)$ de taille $m \times n$ . Dire qu'elle est de rang $m$ (rang maximal) équivaut à dire que ses lignes — les gradients — sont linéairement indépendantes, et équivaut encore à dire qu'on peut en extraire une sous-matrice de déterminant non nul. C'est sous cette dernière forme qu'on la vérifie, et c'est elle qui permet au théorème des fonctions implicites de s'appliquer après renumérotation des variables. Par (A.6), est alors de dimension : c'est l' à la variété de contrainte.

Reste l'énoncé d'orthogonalité que la démonstration du théorème 8.2 invoque.

Démonstration. Soit $v \in R^{n}$ . Par (A.3), $v \in ker A$ signifie $A v = 0$ , donc $⟨ A v, y ⟩ = 0$ pour tout $y \in R^{m}$ , c'est-à-dire pour tout : autrement dit est orthogonal à tout . Réciproquement, si alors pour tout , en particulier pour , d'où et . La première égalité est établie; la seconde s'en déduit en prenant l'orthogonal des deux membres, car pour tout sous-espace de .

C'est exactement ce dont le chapitre 8 a besoin: un vecteur orthogonal à toutes les directions tangentes, c'est-à-dire orthogonal à $ker J_{g} (a)$ , appartient à l'espace engendré par les gradients des contraintes — d'où l'écriture $\nabla f (a) = \sum_{j} λ_{j} \nabla g_{j} (a)$ .

Question A.3

Soit $A$ une matrice $2 \times 4$ . Laquelle de ces affirmations est équivalente à « $A$ est de rang $2$ »?

Valeurs propres: le calcul à la main

Le cas $2 \times 2$ . Pour $A = (a c b d)$ on développe directement:

χ_{A} (λ) = (a - λ) (d - λ) - b c = λ^{2} - (tr A) λ + det A, tr A = a + d . (A.8)

Les deux racines vérifient donc $λ_{1} + λ_{2} = tr A$ et $λ_{1} λ_{2} = det A$ — deux contrôles gratuits à faire systématiquement. Pour une matrice la formule explicite est

λ_{\pm} = \frac{r + t \pm ( r - t ) ^{2} + 4 s ^{2}}{2}, (A.9)

et le discriminant $(r - t)^{2} + 4 s^{2}$ est visiblement positif ou nul: les valeurs propres d'une matrice symétrique réelle $2 \times 2$ sont toujours réelles. Le vecteur propre associé à $λ$ s'obtient sans calcul supplémentaire: la première ligne de $A - λ I$ donne , donc convient dès que (et si la matrice est déjà diagonale).

Le cas $3 \times 3$ . Le polynôme caractéristique s'écrit

χ_{A} (λ) = - λ^{3} + (tr A) λ^{2} - σ_{2} λ + det A,

où $σ_{2}$ est la somme des trois mineurs principaux $2 \times 2$ (ceux obtenus en supprimant la $k$ -ième ligne et la $k$ -ième colonne). En pratique on préfère écrire l'équation sous la forme $λ^{3} - (tr A) λ^{2} + σ_{2} λ - det A = 0$ et chercher une racine évidente parmi les ; la division euclidienne ramène alors au second degré. C'est la seule méthode manuelle raisonnable, et elle suffit pour tous les exercices du cours, qui sont construits pour cela.

Question A.4

Quelle est la plus grande valeur propre de la matrice symétrique de coefficients $r = 6$ , $s = - 3$ et $t = 6$ , c'est-à-dire de la hessienne de la fonction témoin du cours au point $(1, 1)$ ?

Matrices symétriques et théorème spectral

Démonstration. Réalité. Soit $λ \in C$ une racine de $χ_{A}$ et $v \in C^{n}$ non nul avec $A v = λ v$ . Notons $\overset{ˉ}{v}$ le conjugué et calculons de deux façons. D'une part . D'autre part, en transposant et en conjuguant, et puisque est réelle et symétrique, . Comme , on obtient , donc .

Orthogonalité. Si $A u = λ u$ et $A w = μ w$ avec $λ \neq = μ$ , la symétrie et (A.3) donnent

λ ⟨ u, w ⟩ = ⟨ A u, w ⟩ = ⟨ u, A w ⟩ = μ ⟨ u, w ⟩,

donc $(λ - μ) ⟨ u, w ⟩ = 0$ et $⟨ u, w ⟩ = 0$ . $□$

Ce théorème est admis. Le théorème A.6 en donne les deux tiers — réalité des valeurs propres, orthogonalité des espaces propres — mais il reste à montrer que les espaces propres remplissent tout $R^{n}$ , c'est-à-dire que $A$ est bien diagonalisable et non seulement triangularisable. La démonstration standard procède par récurrence sur $n$ : on prend un vecteur propre $v_{1}$ (il en existe, car $χ_{A}$ a une racine réelle), on observe que $A$ laisse stable l'hyperplan par symétrie, et l'on applique l'hypothèse de récurrence à la restriction. Elle est courte mais elle appartient au cours d'algèbre linéaire, et nous n'aurions rien à ajouter en la recopiant.

Retenez surtout la lecture géométrique de (A.10): dans les coordonnées de la base propre, la matrice devient diagonale. Comme la base est orthonormée, le changement de coordonnées est une rotation (éventuellement composée d'une symétrie) qui conserve les longueurs et les angles. C'est pourquoi l'on peut dire sans abus que, «quitte à tourner les axes», toute forme quadratique s'écrit $\sum_{i} λ_{i} c_{i}^{2}$ — sans carré ni rectangle déformé.

Formes quadratiques

C'est ici que tout converge. Le terme d'ordre deux de la formule de Taylor (chapitre 5) est une forme quadratique, et la nature d'un point critique (chapitre 7) est le signe de cette forme.

Le critère des valeurs propres

Démonstration. Par le théorème spectral A.7, il existe une base orthonormée $(v_{1}, \dots, v_{n})$ de vecteurs propres. Écrivons $h = \sum_{i} c_{i} v_{i}$ avec . Alors , et l'orthonormalité donne, par (A.2),

q (h) = ⟨ A h, h ⟩ = i = 1 \sum n λ_{i} c_{i}^{2}, ∥ h ∥^{2} = i = 1 \sum n c_{i}^{2} . (A.13)

La forme est donc une moyenne pondérée des $λ_{i}$ par les poids positifs $c_{i}^{2}$ , de somme $∥ h ∥^{2}$ . En minorant chaque $λ_{i}$ par et en majorant chaque par :

λ_{1} i \sum c_{i}^{2} \leq i \sum λ_{i} c_{i}^{2} \leq λ_{n} i \sum c_{i}^{2},

ce qui est (A.12). Pour $h = v_{1}$ on a $c_{1} = 1$ et les autres $c_{i}$ nuls, donc $q (v_{1}) = λ_{1} = λ_{1} ∥ v_{1} ∥^{2}$ : la borne de gauche est atteinte, et de même à droite. Les équivalences se lisent sur (A.13): si alors pour ; réciproquement, si alors et n'est pas définie positive.

L'encadrement (A.12) est la raison pour laquelle ce critère est le bon: il ne dit pas seulement « $q$ est positive», il donne une minoration quantitative $q (h) \geq λ_{1} ∥ h ∥^{2}$ , et c'est elle qui permet aux chapitres 5 et 7 de dominer le reste de Taylor, lequel est un $o (∥ h ∥^{2})$ . Géométriquement, (A.12) dit que l'ellipsoïde de niveau $q = 1$ d'une forme définie positive est coincé entre les sphères de rayons et : c'est exactement ce que montre la figure A.1.

Le discriminant en dimension deux

Pour $n = 2$ on n'a pas besoin des valeurs propres. Avec la notation du chapitre 5, $A = (r s s t)$ et $q (h, k) = r h^{2} + 2 s hk + t k^{2}$ , posons . Comme et :

$Δ = r t - s^{2}$	signe de $r$	valeurs propres	nature de $q$	lignes de niveau	si $\nabla f (a) = 0$
$Δ > 0$

Ce tableau est celui que les chapitres 5 et 7 utilisent tel quel; il se démontre en une ligne à partir du théorème A.8. Si $Δ < 0$ les valeurs propres sont de signes opposés, donc $q$ est indéfinie. Si $Δ > 0$ elles sont de même signe, celui de leur somme $r + t$ ; et comme $r t = Δ + s^{2} > 0$ force et à être non nuls et de même signe, ce signe est celui de . Si , l'une des valeurs propres est nulle.

Le critère de Sylvester

Pour $n \geq 3$ le calcul des valeurs propres devient pénible, alors que les déterminants restent accessibles.

Ce critère est admis: il se démontre par récurrence sur $n$ à partir de la réduction de Gauss d'une forme quadratique (méthode de complétion des carrés), et cette réduction appartient au cours d'algèbre linéaire. Le cas «définie négative» se déduit du cas positif appliqué à $- A$ , dont les mineurs dominants valent $(- 1)^{k} D_{k}$ : c'est pourquoi les signes alternent.

Le tableau de décision général, celui que l'on applique à une hessienne:

Situation	Conclusion sur $q$	Point critique de $f$
tous les $D_{k} > 0$	définie positive	minimum local strict
les $D_{k}$ alternent, $D_{1} < 0$

Question A.5

Remettez dans l'ordre la marche à suivre pour classer une forme quadratique donnée par son expression développée.

Glissez les éléments pour les mettre dans le bon ordre

Écrire la matrice symétrique

A

, en prenant la MOITIÉ du coefficient de chaque terme croisé hors de la diagonale.

Calculer les mineurs principaux dominants

D_{1}, \dots, D_{n}

Si les

D_{k}

alternent en commençant par

D_{1} < 0

, conclure: définie négative.

det A \neq = 0

sans être dans l'un de ces deux cas, conclure: indéfinie.

Si tous les

D_{k}

sont strictement positifs, conclure: définie positive.

Si l'un des mineurs dominants est nul, abandonner Sylvester et calculer les valeurs propres de

A

Classifications travaillées

Voici les matrices que les chapitres 5 et 7 rencontrent réellement, classées deux fois chacune: par les valeurs propres et par les mineurs. Les deux méthodes doivent toujours donner le même verdict; si ce n'est pas le cas, c'est qu'une erreur s'est glissée, et ce double contrôle en vaut la peine.

Matrice	$D_{1}$	$D_{2}$	$D_{3}$	Valeurs propres	Verdict
$(0 - 3 - 3 0)$

Question A.6

Une matrice symétrique $3 \times 3$ a pour mineurs principaux dominants $D_{1} = 2$ , $D_{2} = 5$ et $D_{3} = 0$ . Que peut-on conclure?

Question A.7

Au chapitre 7, l'ajustement d'une droite par moindres carrés conduit à une hessienne symétrique de coefficients $r = 110$ , $s = 30$ et $t = 12$ . Calculez son déterminant $r t - s^{2}$ .

Ce que les chapitres empruntent à cette annexe

Chapitre 5 y prend le théorème spectral (A.7), le critère des valeurs propres avec son encadrement (A.12), le critère de Sylvester (théorème A.9) et le tableau du discriminant $r t - s^{2}$ .
Chapitre 6 y prend l'inverse d'une matrice $2 \times 2$ (A.4), la continuité du déterminant et l'équivalence «inversible si et seulement si $det \neq = 0$ » (théorème A.2), qui font marcher le théorème des fonctions implicites et le théorème d'inversion locale.
Chapitre 7 y prend la classification des formes quadratiques et le tableau de décision, qu'il applique à chaque hessienne.
Chapitre 8 y prend la notion de rang (théorème A.4) et surtout l'identité $(ker A)^{⊥} = Im A^{T}$ (théorème A.5), qui transforme « est orthogonal à l'espace tangent» en « est combinaison des ».

Exercices

Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.

Exercice A.1 · Trois classifications

Classer les formes quadratiques suivantes (définie positive, définie négative, indéfinie, dégénérée), par les mineurs et par les valeurs propres:

$q_{1} (h, k) = 4 h^{2} + 4 hk + 3 k^{2}$ ;

Exercice A.2 · Diagonaliser et encadrer

Soit $A = (3113)$ et $q (h) = h^{T} A h$ .

Exercice A.3 · Somme de deux formes, et un contre-exemple

Montrer que si $A$ et $B$ sont symétriques définies positives, alors $A + B$ l'est aussi.
Montrer que si $A$ est définie positive, alors $A$ est inversible et $det A > 0$ .
Donner deux matrices symétriques $A$ et dont la somme est définie positive. Que conclure de la «stabilité» de l'indéfinitude?

Références

Douchet, J. et Zwahlen, B., Calcul différentiel et intégral, PPUR — l'appendice d'algèbre linéaire et le chapitre sur les extrema.
Marsden, J. E. et Tromba, A. J., Vector Calculus, Freeman — chapitre 3, formes quadratiques et critère de la hessienne.
Apostol, T. M., Calculus, vol. 2, Wiley — chapitres 4 et 5, valeurs propres, théorème spectral et formes quadratiques, avec les démonstrations admises ici.
Horn, R. A. et Johnson, C. R., Matrix Analysis, Cambridge University Press — chapitres 4 et 7, la référence pour le théorème spectral, le critère de Sylvester et les formes quadratiques semi-définies.
Ramis, E., Deschamps, C. et Odoux, J., Cours de mathématiques spéciales, Masson — volume d'algèbre, réduction des endomorphismes symétriques.