Contexte : Inverser les Probabilités Conditionnelles
Le théorème de Bayes, ou règle de Bayes, est une formule qui permet de « retourner » une probabilité conditionnelle. Il décrit la probabilité d’un événement, basée sur une connaissance a priori qui est mise à jour par de nouvelles informations.
- La probabilité conditionnelle $P(A|B)$ est la probabilité que l’événement $A$ se produise sachant que l’événement $B$ s’est déjà produit.
- Souvent, il est facile de connaître $P(B|A)$ (par ex. la probabilité d’avoir de la fièvre si on a la grippe), mais ce qui nous intéresse vraiment est $P(A|B)$ (la probabilité d’avoir la grippe si on a de la fièvre).
Le théorème de Bayes fournit le lien mathématique pour passer de l’un à l’autre.
Théorème de Bayes
Soient $A$ et $B$ deux événements avec $P(B) \neq 0$. Alors : $$ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} $$
Dans cette formule, chaque terme a un nom :
- $P(A|B)$ est la probabilité a posteriori : la probabilité de A après avoir observé B.
- $P(A)$ est la probabilité a priori : notre croyance initiale en A.
- $P(B|A)$ est la vraisemblance : la probabilité d’observer B si A est vrai.
- $P(B)$ est la probabilité marginale de B, souvent calculée avec la formule des probabilités totales : $P(B) = P(B|A)P(A) + P(B|\neg A)P(\neg A)$.
Démonstration (très simple)
La preuve découle directement de la définition de la probabilité conditionnelle.
- Par définition, la probabilité de l’intersection de A et B est : $$ P(A \cap B) = P(A|B) \cdot P(B) $$
- Mais on peut aussi l’écrire dans l’autre sens : $$ P(A \cap B) = P(B|A) \cdot P(A) $$
- En égalisant les deux expressions, on a : $$ P(A|B) \cdot P(B) = P(B|A) \cdot P(A) $$
- En divisant par $P(B)$ (supposé non nul), on obtient le théorème de Bayes.
Applications Fondamentales
- Inférence Statistique (Bayésienne) : C’est le fondement de toute l’approche bayésienne des statistiques. On part d’une croyance a priori sur un paramètre, on collecte des données, et on utilise le théorème de Bayes pour mettre à jour notre croyance en une distribution a posteriori.
- Diagnostic Médical : C’est l’exemple classique. On connaît la probabilité d’avoir un test positif sachant qu’on est malade. Le théorème de Bayes permet de calculer la probabilité d’être malade sachant que le test est positif, en tenant compte de la prévalence de la maladie dans la population.
- Apprentissage Automatique (Machine Learning) : Il est à la base des classifieurs bayésiens naïfs, utilisés pour la classification de textes (par exemple, les filtres anti-spam) et de nombreuses autres tâches.