Fonctions d'Activation : Clé de l'Intelligence des Réseaux Neuronaux

L'importance des fonctions d'activation dans les réseaux neuronaux

Les réseaux de neurones, lorsqu'ils sont construits avec de nombreuses couches linéaires sans fonctions d'activation non linéaires, deviennent incapables de réaliser des tâches complexes. En effet, chaque couche linéaire effectue une transformation affine, qui se résume à une multiplication matricielle suivie d'une addition vectorielle. Mathématiquement, cela s'exprime par l'équation y = Wx + b. Si l'on empile plusieurs de ces couches, le réseau se réduit à une simple transformation affine, peu importe le nombre de couches impliquées. Ainsi, un réseau avec dix, cent ou même mille couches linéaires se simplifie en une unique opération : output = Wₑ · x + bₑ.

Pour mieux comprendre, examinons l'équation :

• Couche 1 : y₁ = W₁x + b₁
• Couche 2 : y₂ = W₂y₁ + b₂
• Couche 3 : y₃ = W₃y₂ + b₃

En insérant chaque couche dans la suivante, on obtient : y₃ = W₃(W₂(W₁x + b₁) + b₂) + b₃. En multipliant, cela devient : y₃ = (W₃W₂W₁)x + (W₃W₂b₁ + W₃b₂ + b₃).

Plutôt que de manipuler ces matrices imbriquées, on peut les regrouper en deux variables : Wₑ = W₃W₂W₁, la matrice de poids globale, et bₑ = W₃W₂b₁ + W₃b₂ + b₃, le vecteur de biais global. Le réseau à trois couches se réduit alors à une seule couche : output = Wₑ · x + bₑ.

La nécessité de la non-linéarité

Pourquoi est-il crucial pour un réseau de s'écarter de cette linéarité ? Imaginez une carte où une petite île est entourée par l'océan. Si l'on vous demandait de tracer une ligne droite pour séparer l'île de l'océan, cela serait impossible. Une ligne droite traverserait inévitablement à la fois l'île et l'océan. Ce dont on a besoin, c'est d'une frontière non linéaire qui peut entourer l'île et la distinguer de l'océan. C'est exactement ce que les réseaux de neurones tentent de réaliser. Au lieu de se limiter à des séparations linéaires, ils apprennent à transformer les données en représentations où des frontières complexes deviennent possibles.

Ainsi, lorsqu'un réseau de neurones « sépare des ensembles de données », cela signifie qu'il apprend une fonction de décision qui divise l'espace d'entrée en régions distinctes : d'un côté, tout appartient à la classe A, et de l'autre, tout appartient à la classe B. La nature de cette frontière, qu'elle soit droite, courbe ou complexe, dépend entièrement de la disposition des données.

Le rôle crucial des fonctions d'activation

Les fonctions d'activation jouent un rôle essentiel en introduisant la non-linéarité dans les réseaux de neurones. Après chaque transformation linéaire dans une couche, une fonction d'activation est appliquée pour transformer la sortie avant qu'elle ne passe à l'étape suivante. Par exemple, au lieu de z = W₂(W₁x + b₁) + b₂, le résultat devient z = W₂·f(W₁x + b₁) + b₂, où f est une fonction non linéaire comme sigmoid, tanh ou ReLU. Même une fonction simple comme ReLU, qui se définit par max(0, x), suffit à empêcher le réseau de s'effondrer en une simple transformation linéaire.

Cette simple fonction f brise la linéarité : il n'existe pas de matrice M et de vecteur c tels que f(W₁x + b₁) = Wx + b pour chaque x. En empilant suffisamment de ces étapes non linéaires, le réseau dépasse la simple pensée linéaire et peut créer des formes complexes comme des cercles et des spirales. C'est là l'essence d'une fonction d'activation : elle permet à un réseau de passer d'une simple capacité à tracer des lignes droites à la possibilité d'entourer des formes complexes.

Chaque neurone contribue individuellement à une légère courbure, et un réseau en contient des milliers, chacun apportant une courbure à un endroit différent. En empilant suffisamment de neurones, le réseau peut approximer des courbes et des frontières que même un seul neurone, ou même une centaine, ne pourrait réaliser seul.

Interprétation contextuelle dans les modèles de langage

Prenons l'exemple d'une phrase ambiguë : « Le temps file comme une flèche ; les mouches à fruits aiment une banane. » Dans la première partie, « file » est un verbe indiquant que le temps passe rapidement. Dans la seconde, « file » est un nom, désignant un type d'insecte. Le contexte environnant est ce qui permet de distinguer ces deux usages.

Un modèle de langage doit être capable de séparer ces deux significations en différentes régions de sa représentation interne, même si, au niveau d'entrée, il s'agit du même mot. C'est là que la profondeur et la non-linéarité des réseaux neuronaux deviennent cruciales. Chaque couche commence à partir d'un point aléatoire différent et finit par dessiner sa propre frontière courbée à travers les données. Au fur et à mesure de l'entraînement, cette divergence initiale se transforme en une spécialisation plus précise.

Bien que cet exemple soit simplifié, dans la réalité, les modèles ne divisent pas les couches de manière ordonnée en « cette couche = noms, cette couche = verbes ». Cependant, on peut imaginer que les couches initiales captent des motifs locaux, comme l'ordre des mots ou la partie du discours, tandis que les couches plus profondes intègrent davantage de contexte et commencent à représenter des concepts plus abstraits, comme le sens de « file » ou les références contextuelles. C'est cette courbure progressive, couche après couche, qui permet au réseau de distinguer « le temps file » de « les mouches à fruits » dans différents espaces de représentation.

Le Théorème d'Approximation Universelle

Le Théorème d'Approximation Universelle (UAT) affirme qu'un réseau de neurones à propagation avant avec une fonction d'activation non linéaire et une couche cachée suffisamment grande peut, en théorie, approximer n'importe quelle fonction continue sur un domaine borné avec une précision souhaitée. Cette capacité peut être comprise en imaginant comment les réseaux combinent de nombreux composants non linéaires simples pour créer des formes et des comportements de plus en plus complexes. Ces composants peuvent être...