Loi des grands nombres (faible et forte)
Contexte : La Moyenne Empirique

Les lois des grands nombres sont des théorèmes fondamentaux en probabilités qui décrivent le comportement de la moyenne d’un grand nombre de variables aléatoires.

  • Soit $(X_n)_{n \ge 1}$ une suite de variables aléatoires indépendantes et de même loi (i.i.d.), ayant une espérance commune $\mu$.
  • On définit la moyenne empirique par $\bar{X}_n = \frac{X_1 + X_2 + \dots + X_n}{n}$.
  • Intuitivement, on s’attend à ce que cette moyenne se rapproche de l’espérance $\mu$ lorsque le nombre d’observations $n$ devient très grand. Les lois des grands nombres formalisent cette intuition de deux manières différentes.
La Loi Faible des Grands Nombres

La loi faible stipule que la moyenne empirique converge en probabilité vers l’espérance.

Pour tout $\epsilon > 0$, la probabilité que la moyenne empirique s’écarte de l’espérance de plus de $\epsilon$ tend vers zéro quand $n$ tend vers l’infini : $$ \lim_{n \to \infty} P(|\bar{X}_n – \mu| > \epsilon) = 0 $$

Hypothèse : Il suffit que les variables aient une variance finie. La preuve est une application directe de l’inégalité de Bienaymé-Tchebychev.

La Loi Forte des Grands Nombres

La loi forte, plus puissante, stipule que la moyenne empirique converge presque sûrement vers l’espérance.

La probabilité de l’ensemble des réalisations pour lesquelles la suite des moyennes empiriques ne converge pas vers $\mu$ est nulle : $$ P\left(\lim_{n \to \infty} \bar{X}_n = \mu\right) = 1 $$

Hypothèse : Il suffit que les variables aient une espérance finie (théorème de Kolmogorov). C’est une condition plus faible que pour la loi faible, mais le résultat est plus fort.

Différence Fondamentale : Faible vs. Forte

La différence est subtile mais cruciale et porte sur la nature de la convergence.

  • Loi Faible (Convergence en Probabilité) : Pour un $n$ très grand mais fixé, il est très improbable que $\bar{X}_n$ soit loin de $\mu$. Cependant, cela n’exclut pas que pour des $n$ encore plus grands, $\bar{X}_n$ puisse occasionnellement faire de grands écarts. La convergence est affirmée pour chaque $n$ pris isolément.
  • Loi Forte (Convergence Presque Sûre) : La loi forte garantit que pour une réalisation donnée de l’expérience, la suite des moyennes $(\bar{X}_1, \bar{X}_2, \bar{X}_3, \dots)$ va effectivement converger vers $\mu$ comme une suite de nombres. Les grands écarts occasionnels deviennent de plus en plus rares au point de ne pas empêcher la convergence de la trajectoire entière.

Applications

  • Fondement des statistiques : Ces lois justifient l’utilisation de la moyenne d’un échantillon pour estimer la moyenne d’une population.
  • Principe des sondages : Elles garantissent que la fréquence d’un événement dans un grand nombre d’essais se rapproche de sa probabilité théorique.
  • Méthodes de Monte-Carlo : Elles sont à la base des méthodes de simulation qui consistent à estimer une quantité (comme une intégrale) en la calculant comme l’espérance d’une variable aléatoire et en l’approchant par la moyenne d’un grand nombre de simulations.