Machine Learning : 10 Concepts de Probabilité Essentiels Décryptés

Concepts de Probabilité pour le Machine Learning

1. Variables Aléatoires

Dans le domaine du machine learning, les variables aléatoires jouent un rôle crucial. Elles représentent des valeurs dont l'issue est incertaine jusqu'à ce qu'un événement se produise. Par exemple, avant de recevoir un e-mail, on ne sait pas s'il sera classé comme spam ou non. De même, on ignore si un visiteur sur un site web effectuera un achat avant qu'il ne le fasse. Ces incertitudes sont capturées par des variables aléatoires, qui incluent les caractéristiques, les étiquettes, les erreurs et les sorties des modèles.

Par convention, les variables aléatoires sont notées avec des lettres majuscules comme X et Y, tandis que les valeurs observées spécifiques sont notées en minuscules, telles que x et y. Prenons l'exemple d'un classificateur de spam : l'étiquette peut être notée comme suit :

• 1 si l'e-mail est un spam
• 0 s'il ne l'est pas

Ainsi, Y est une variable binaire. Avant d'analyser l'e-mail, il pourrait être soit un spam, soit non. Une fois étiqueté, l'incertitude disparaît et il ne reste qu'un nombre.

Dans l'apprentissage supervisé, X représente généralement les caractéristiques d'entrée et Y la cible. Le modèle cherche à répondre à la question suivante :

Étant donné ce que je peux observer, quelle est la probabilité de chaque étiquette ?

En fournissant des informations telles que les mots présents, l'expéditeur ou les liens suspects, le modèle peut estimer la probabilité que l'e-mail soit un spam, par exemple :

P(Y = 1 | X = x) = 0,92

Cela signifie qu'il y a 92 % de chances que cet e-mail soit un spam. Ce n'est pas une certitude, mais une forte probabilité.

2. Distributions de Probabilité

Une fois que l'on sait qu'une variable peut prendre différentes valeurs, la question suivante est de savoir quelles valeurs elle peut prendre et à quelle fréquence. Cette répartition est appelée distribution de probabilité.

Pour les variables discrètes, les probabilités de toutes les valeurs possibles doivent s'additionner à un :

∑ₓ P(X=x) = 1

Pour les variables continues, c'est l'aire sous la courbe de la fonction de densité de probabilité qui doit être égale à un :

∫_{-∞}^{∞} p(x) dx = 1

Différents types de données nécessitent différentes distributions. Par exemple, une variable binaire comme le spam/non-spam suit une distribution de Bernoulli :

Y ~ Bernoulli(p)

où p est la probabilité que l'e-mail soit un spam.

Pour des valeurs continues comme les erreurs de prédiction ou les températures, une distribution gaussienne est souvent utilisée :

X ~ N(μ, σ²)

où μ est la moyenne et σ² la variance.

Les distributions de probabilité sont cruciales car les modèles de machine learning tentent souvent de les apprendre. Par exemple, un modèle de régression essaie d'estimer des valeurs probables pour une cible continue, tandis qu'un classificateur estime une distribution de probabilité sur les classes possibles :

p_θ(y | x)

Ici, θ représente les paramètres que le modèle apprend durant l'entraînement.

3. Espérance, Variance et Écart Type

Lorsqu'une expérience est répétée plusieurs fois, il est utile de connaître la valeur moyenne attendue des résultats. Cette moyenne est l'espérance ou valeur attendue.

Pour une variable discrète, elle est calculée comme suit :

E[X] = ∑ₓ x P(X=x)

Pour une variable continue :

E[X] = ∫ x p(x) dx

L'espérance est utile pour évaluer la performance moyenne d'un modèle. Par exemple, si un modèle prédit les prix des maisons, l'erreur de prédiction variera d'une maison à l'autre. L'erreur attendue indique l'erreur moyenne à travers de nombreuses prédictions.

Cependant, la moyenne seule peut être trompeuse. Deux modèles peuvent avoir la même moyenne d'erreur, mais des comportements très différents. L'un peut avoir des erreurs proches de la moyenne, tandis que l'autre peut avoir des erreurs très dispersées. C'est là que la variance entre en jeu, mesurant l'étalement des valeurs :

Var(X) = E[(X - μ)²], μ = E[X]

L'écart type, qui est la racine carrée de la variance, est souvent préféré car il est exprimé dans les mêmes unités que les données d'origine :

σ = √Var(X)

4. Probabilité Conditionnelle

Les modèles de machine learning ne posent presque jamais de questions sans contexte. Au lieu de demander simplement :

Quelle est la probabilité qu'un e-mail soit un spam ?

Ils posent la question dans un contexte spécifique :

Quelle est la probabilité qu'un e-mail soit un spam étant donné les informations disponibles ?

Cette notion de "étant donné" est la probabilité conditionnelle : la probabilité d'un événement sachant qu'un autre événement est déjà connu.

P(A | B) = P(A ∩ B) / P(B)

Les classificateurs estiment souvent :

Quelle est la probabilité d'une étiquette donnée les caractéristiques observées ?

Par exemple, P(Spam | L'e-mail contient "gratuit") représente la probabilité qu'un e-mail soit un spam sachant qu'il contient le mot "gratuit".

Si 80 % des e-mails contenant "gratuit" sont des spams, alors :

P(Spam | contient "gratuit") = 0,8

La condition modifie la probabilité. Peut-être que seulement 20 % de tous les e-mails sont des spams, mais l'observation du mot "gratuit" augmente considérablement cette probabilité. C'est ainsi que les modèles font des prédictions : ils observent des caractéristiques et mettent à jour leurs estimations.

5. Théorème de Bayes

La probabilité conditionnelle mène naturellement au théorème de Bayes, une formule célèbre en statistiques.

Le théorème de Bayes est souvent perçu comme complexe, mais il s'agit simplement de réviser ses croyances à la lumière de nouvelles preuves.

P(A | B) = (P(B | A) P(A)) / P(B)

Cette formule contient quatre éléments clés :

• P(A) : la croyance initiale (prior)
• P(B | A) : la probabilité de la preuve si A est vrai
• P(B) : la probabilité générale de la preuve
• P(A | B) : la croyance révisée après avoir vu la preuve

Prenons l'exemple du spam. Si A est "l'e-mail est un spam" et B "il contient le mot gratuit", alors :

P(Spam | "gratuit") = P("gratuit" | Spam) P(Spam) / P("gratuit")

Même si le spam est rare, la présence du mot "gratuit" dans un e-mail augmente la suspicion. Cette formule ajuste les croyances en fonction des nouvelles informations. Elle est utilisée dans divers contextes, comme les classificateurs Naïfs de Bayes ou les réseaux de neurones bayésiens.

6. Distributions Conjointe, Marginale et Conditionnelle

Jusqu'à présent, nous avons examiné une variable à la fois. Cependant, dans le machine learning, il est souvent important de comprendre comment plusieurs variables interagissent.

Lors de la création d'un détecteur de spam, par exemple, on pourrait suivre simultanément si un e-mail contient un lien et s'il est un spam. La distribution conjointe est la probabilité que ces deux événements se produisent ensemble :

Si X est "a un lien" et Y est "est un spam", alors :

P(X=link, Y=spam)

Parfois, on ne s'intéresse qu'à une seule variable, et on souhaite ignorer l'autre. C'est la distribution marginale, obtenue en additionnant les probabilités des autres variables :

P(X) = ∑ᵧ P(X, y)

Enfin, la distribution conditionnelle est la probabilité d'une variable donnée une autre, déjà vue plus haut :

P(Y | X) = P(X, Y) / P(X)

Ces trois concepts sont liés. Un modèle apprend souvent l'histoire conjointe des variables, puis l'utilise pour estimer la probabilité conditionnelle.

L'indépendance est un concept clé. Deux variables sont indépendantes lorsque connaître l'une ne donne aucune information sur l'autre :

P(X, Y) = P(X) P(Y)

Bien que l'indépendance totale soit rare, supposer qu'elle existe peut simplifier un modèle. Le Naïf Bayes est un exemple classique, supposant que les caractéristiques sont conditionnellement indépendantes une fois que la classe est connue :

P(x₁, x₂, ..., x_d | y) = ∏_{j=1}^{d} P(x_j | y)

Bien que cette hypothèse soit souvent fausse, elle fonctionne étonnamment bien, surtout pour le traitement du texte.

7. Vraisemblance et Estimation de Vraisemblance Maximale

Lors de l'entraînement d'un modèle de machine learning, une question fondamentale est posée :

À quel point les paramètres du modèle expliquent-ils les données observées ?

La réponse est donnée par la vraisemblance.

La vraisemblance mesure à quel point les données observées sont probables sous un ensemble donné de paramètres du modèle.

Supposons qu'un modèle avec des paramètres θ attribue des probabilités aux résultats :

p_θ(y_i | x_i)

Pour un ensemble de données contenant n exemples indépendants, la vraisemblance est :

L(θ) = ∏ p_θ(y_i | x_i)

Cela revient à multiplier les probabilités attribuées par le modèle à tous les exemples d'entraînement. Un modèle qui attribue systématiquement une probabilité élevée aux résultats corrects aura une vraisemblance élevée.

Cela mène à une stratégie d'entraînement appelée Estimation de Vraisemblance Maximale (MLE).

L'idée est de choisir les valeurs des paramètres qui rendent les données observées aussi probables que possible :

θ̂_MLE = argmax L(θ)

En pratique, multiplier de nombreuses probabilités peut donner des nombres très petits, difficiles à manipuler pour les ordinateurs.