Le théorème spectral nous apprend que les matrices symétriques (ou hermitiennes) sont diagonalisables dans une base orthonormale. Cependant, la diagonalisation n’est pas possible pour toutes les matrices carrées, et la notion même de diagonalisation n’a pas de sens pour les matrices rectangulaires.
La Décomposition en Valeurs Singulières (SVD) surmonte ces limitations. Elle fournit une « pseudo-diagonalisation » pour n’importe quelle matrice $A$ de taille $m \times n$. L’idée est de trouver deux bases orthonormales, une pour l’espace de départ et une pour l’espace d’arrivée, telles que l’application linéaire associée à $A$ transforme simplement les vecteurs de la première base en multiples scalaires des vecteurs de la seconde base.
Soit $A$ une matrice de taille $m \times n$ à coefficients réels ou complexes. Il existe une factorisation de la forme : $$ A = U \Sigma V^* $$ où :
- $U$ est une matrice unitaire (ou orthogonale dans le cas réel) de taille $m \times m$. Ses colonnes forment une base orthonormale de l’espace d’arrivée.
- $\Sigma$ est une matrice « diagonale » de taille $m \times n$. Ses coefficients $\Sigma_{ii}$ sont des réels positifs ou nuls, appelés les valeurs singulières de $A$, et sont nuls en dehors de la diagonale. Ils sont rangés par ordre décroissant : $\sigma_1 \ge \sigma_2 \ge \dots \ge 0$.
- $V^*$ est la transposée conjuguée (ou simplement la transposée dans le cas réel) d’une matrice unitaire (ou orthogonale) $V$ de taille $n \times n$. Les colonnes de $V$ forment une base orthonormale de l’espace de départ.
Esquisse de la Démonstration
La démonstration est une application élégante du théorème spectral.
- Considérer la matrice $A^*A$ : On construit la matrice $A^*A$ (ou ${}^tAA$ dans le cas réel). Cette matrice est carrée ($n \times n$) et hermitienne (ou symétrique). De plus, elle est positive semi-définie, ce qui signifie que ses valeurs propres sont des réels positifs ou nuls.
- Appliquer le Théorème Spectral : D’après le théorème spectral, il existe une base orthonormale de l’espace de départ, formée de vecteurs propres de $A^*A$. Soient $v_1, \dots, v_n$ ces vecteurs propres, et $\lambda_1, \dots, \lambda_n$ les valeurs propres réelles positives associées. La matrice $V$ est alors la matrice dont les colonnes sont ces vecteurs $v_i$.
- Définir les Valeurs Singulières : On définit les valeurs singulières de $A$ comme étant les racines carrées des valeurs propres de $A^*A$ : $\sigma_i = \sqrt{\lambda_i}$. La matrice $\Sigma$ est la matrice diagonale (de taille $m \times n$) contenant ces valeurs singulières.
- Construire la base de l’espace d’arrivée : Pour les valeurs singulières non nulles (disons les $r$ premières, où $r$ est le rang de $A$), on définit les vecteurs $u_i$ par la relation $u_i = \frac{1}{\sigma_i}Av_i$. On peut montrer que cette famille $(u_1, \dots, u_r)$ est orthonormale. On la complète ensuite (par le procédé de Gram-Schmidt, par exemple) pour former une base orthonormale $(u_1, \dots, u_m)$ de l’espace d’arrivée. La matrice $U$ est la matrice dont les colonnes sont ces vecteurs $u_i$.
- Vérifier l’égalité : Par construction, on a $Av_i = \sigma_i u_i$ pour $i \le r$, et $Av_i = 0$ pour $i > r$. Cette relation peut s’écrire matriciellement $AV = U\Sigma$. Comme $V$ est unitaire, $V^{-1}=V^*$, on obtient $A = U\Sigma V^*$.
Interprétation Géométrique
La SVD révèle que toute transformation linéaire, même entre des espaces de dimensions différentes, peut être décomposée en trois opérations géométriques simples :
- Une rotation (et/ou réflexion) dans l’espace de départ (décrite par $V^*$).
-
Un changement d’échelle (étirement ou compression) le long des axes principaux (décrit par les valeurs singulières dans $\Sigma$). Si la dimension change, des dimensions peuvent être « écrasées » (si $m
- Une rotation (et/ou réflexion) dans l’espace d’arrivée (décrite par $U$).
Implications et Applications
La SVD est l’un des outils les plus polyvalents de l’algèbre linéaire numérique.
- Pseudo-inverse et Moindres Carrés : Elle permet de définir et de calculer le pseudo-inverse de Moore-Penrose pour n’importe quelle matrice, ce qui est la clé pour résoudre les problèmes de régression linéaire (moindres carrés).
- Compression de Données : En ne gardant que les plus grandes valeurs singulières, on peut obtenir une approximation de bas rang d’une matrice. C’est le principe de base de nombreuses techniques de compression d’images et de données.
- Analyse en Composantes Principales (ACP) : La SVD est l’outil de calcul principal pour l’ACP, une technique statistique majeure pour la réduction de dimension et l’analyse de données.
- Stabilité Numérique : Le rapport entre la plus grande et la plus petite valeur singulière (le conditionnement de la matrice) est une mesure cruciale de la stabilité numérique d’un système linéaire.