Relation entre Gradient et Dérivée
Le concept de gradient est la généralisation naturelle de la dérivée pour les fonctions scalaires de plusieurs variables. Alors que la dérivée d’une fonction d’une variable est un nombre (la pente), le gradient est un vecteur qui encapsule l’information sur la pente dans toutes les directions.
1. Rappel : la Dérivée en Dimension 1
Pour une fonction $g: \mathbb{R} \to \mathbb{R}$, la dérivée en un point $a$, notée $g'(a)$, est un scalaire. Elle représente le taux de variation instantané de $g$ en $a$. Son développement limité est : $$ g(a+h) = g(a) + g'(a)h + o(h) $$ Le terme $g'(a)h$ est une application linéaire de $\mathbb{R}$ dans $\mathbb{R}$, $h \mapsto g'(a)h$. Le nombre $g'(a)$ est la « matrice » $1 \times 1$ de cette application linéaire.
2. Le Gradient comme Vecteur des Pentes Partielles
Pour une fonction $f: \mathbb{R}^p \to \mathbb{R}$, on ne peut pas parler d’UNE pente unique. La pente dépend de la direction dans laquelle on regarde. Les dérivées partielles $\frac{\partial f}{\partial x_i}(a)$ représentent les pentes dans les directions des axes.
Le gradient $\nabla f(a)$ est un vecteur de l’espace de départ $\mathbb{R}^p$ qui rassemble toutes ces pentes partielles : $$ \nabla f(a) = \left( \frac{\partial f}{\partial x_1}(a), \dots, \frac{\partial f}{\partial x_p}(a) \right) $$
3. La Relation Fondamentale via la Différentielle
La différentielle $df_a$ est l’application linéaire qui approxime au mieux la variation de $f$ autour de $a$. Le gradient est l’outil qui permet de calculer cette application linéaire.
La différentielle de $f$ en $a$ est l’application linéaire qui, à un vecteur d’accroissement $h$, associe le produit scalaire de $h$ avec le gradient de $f$ en $a$ : $$ df_a(h) = \nabla f(a) \cdot h $$
Le développement limité de $f$ devient : $$ f(a+h) = f(a) + \nabla f(a) \cdot h + o(\|h\|) $$
Analogie : En dimension 1, cette formule s’écrirait $g(a+h) = g(a) + g'(a) \cdot h + o(h)$. On voit que le gradient $\nabla f(a)$ joue le même rôle que le nombre dérivé $g'(a)$.
4. Unicité de la Pente vs Infinité de Pentes
Le lien le plus éclairant se fait via la dérivée directionnelle.
- Pour une fonction d’une variable, il n’y a que deux « directions » : vers la droite (accroissement $h>0$) ou vers la gauche ($h<0$). La pente est la même au signe près.
- Pour une fonction de plusieurs variables, il y a une infinité de directions possibles, données par les vecteurs $v \in \mathbb{R}^p$.
Le gradient unifie toutes ces pentes directionnelles en une seule formule. La dérivée (la pente) dans la direction d’un vecteur $v$ est : $$ D_v f(a) = \nabla f(a) \cdot v $$
Ainsi, le gradient n’est pas « la » dérivée, mais c’est le vecteur qui, par un simple produit scalaire, nous donne la dérivée dans n’importe quelle direction que l’on souhaite.
| Caractéristique | Fonction d’une variable $g: \mathbb{R} \to \mathbb{R}$ | Fonction de plusieurs variables $f: \mathbb{R}^p \to \mathbb{R}$ |
|---|---|---|
| Objet « dérivé » | Le nombre dérivé $g'(a)$ | Le vecteur gradient $\nabla f(a)$ |
| Nature | Un scalaire $\in \mathbb{R}$ | Un vecteur $\in \mathbb{R}^p$ (espace de départ) |
| Interprétation | La pente de la tangente | Le vecteur de la plus grande pente |
| Approximation affine | $g(a+h) \approx g(a) + g'(a)h$ | $f(a+h) \approx f(a) + \nabla f(a) \cdot h$ |