Réseaux de Neurones : Décryptage du Biais Spectral

Ce que l'analyse de Fourier ne couvre pas

Les réseaux de neurones ont transformé des domaines tels que la classification d'images, l'autonomie des systèmes et la modélisation du langage grâce à leur capacité à ajuster des fonctions non linéaires de haute dimension. Leur efficacité est telle qu'ils peuvent atteindre un taux d'erreur nul même sur des ensembles de données où les étiquettes sont attribuées de manière aléatoire, ce qui démontre leur flexibilité remarquable. Malgré cette flexibilité, ces modèles offrent souvent un biais inductif utile, car ils généralisent généralement mieux aux données de test non vues que d'autres types de modèles.

Cependant, la régression avec des réseaux de neurones présente un inconvénient notable, connu sous le nom de biais spectral dans la littérature. Popularisé en 2019, le biais spectral stipule que les réseaux de neurones ajustent les cibles de régression des basses aux hautes fréquences. Comme illustré par la Figure 1, le réseau apprend d'abord le contenu de basse fréquence d'une fonction, avant de raffiner l'ajustement pour capturer les fréquences plus élevées. Dans cette littérature, le « contenu fréquentiel » de la cible de régression est souvent analysé à l'aide de sa transformée de Fourier.

Problèmes d'ajustement des hautes fréquences

L'ajustement des fonctions de haute fréquence par les réseaux de neurones est notoirement lent, nécessitant de nombreuses époques d'entraînement. Des études ont montré que les fonctions d'activation couramment utilisées, telles que ReLU, la tangente hyperbolique et la sigmoïde, ont des spectres qui diminuent rapidement à haute fréquence, ce qui explique en partie ce biais.

Une approche influente, le Noyau Tangent Neural (NTK), propose que dans un réseau à largeur infinie, la sortie du réseau évolue selon un système dynamique linéaire. En utilisant la théorie des systèmes dynamiques linéaires pour décomposer la sortie du réseau en modes orthogonaux, les auteurs montrent que le taux de convergence est inversement proportionnel au contenu fréquentiel du mode, ce qui explique pourquoi les hautes fréquences sont plus difficiles à apprendre.

Stratégies pour atténuer le biais spectral

Pour contrer le biais spectral, plusieurs stratégies ont été proposées. L'optimisation de second ordre est l'une d'elles, mais des modifications architecturales sont également explorées. Par exemple, remplacer les fonctions d'activation standard par des sinusoïdes, comme dans les réseaux SIREN, ou utiliser des embeddings périodiques aléatoires dans les réseaux de caractéristiques de Fourier, sont des approches prometteuses.

Le succès des architectures de réseaux de neurones standard, comme les perceptrons multicouches et les réseaux convolutionnels, dans l'apprentissage automatique traditionnel suggère que l'ajustement des hautes fréquences n'est pas un goulot d'étranglement pour de nombreux domaines d'application. Cependant, une incapacité à ajuster de manière robuste ou efficace les fonctions de haute fréquence peut poser problème dans des applications scientifiques, où les problèmes multi-échelles et de propagation des ondes dépendent fortement des champs de solutions oscillatoires.

Compréhension intuitive du biais spectral

Bien que le spectre de Fourier de la fonction d'activation offre un certain aperçu de l'origine du biais spectral pour les problèmes d'entraînement de réseaux de neurones généraux, et que le NTK fournisse une explication dans le cas de réseaux à largeur infinie, nous croyons qu'une compréhension plus intuitive du biais spectral est possible. Dans cet article, nous soutenons que, dans de nombreux cas, le biais spectral des réseaux de perceptrons multicouches (MLP) avec des activations de tangente hyperbolique peut être compris du point de vue de ce que nous appelons « ajustement séquentiel ».

Nous définissons l'ajustement séquentiel comme le fait que les réseaux de neurones ajustent leur fonction cible en commençant par la frontière et en progressant ensuite dans le domaine, construisant une oscillation de la fonction cible à la fois. Nous montrons que ce comportement se maintient sur plusieurs problèmes d'exemple en une et deux dimensions spatiales, et trouvons également des preuves d'un « effet de frontière », où le processus d'entraînement est influencé non seulement par le contenu fréquentiel de la fonction cible, mais aussi par son comportement près des frontières.

Régression unidimensionnelle

Dans les exemples suivants, nous travaillons avec des réseaux de neurones MLP à deux couches cachées avec des fonctions d'activation tangente hyperbolique. Nous pouvons écrire le réseau explicitement comme suit :

[ u(\mathbf x; \boldsymbol \theta ) = \mathbf w^3 \cdot \tanh( \mathbf w^2 ( \tanh(\mathbf w^1 \mathbf x + \mathbf b^1)) + \mathbf b^2 ), \quad \boldsymbol \theta=[ \mathbf w^3 , \mathbf w^2 , \mathbf b^2 , \mathbf w^1 , \mathbf b^1] ,]

où (\boldsymbol \theta) est la collection de tous les paramètres entraînables (poids et biais) du réseau, (\mathbf x \in \Omega) est la coordonnée spatiale (soit unidimensionnelle, soit bidimensionnelle), et (\Omega) est le domaine computationnel. Les largeurs des deux couches cachées sont prises comme équivalentes, et nous désignons cette largeur par ( H ). Nous appelons la fonction cible (v(\mathbf x)), et définissons l'objectif d'entraînement comme suit :

[ \underset{\boldsymbol \theta}{\text{argmin }} \frac{1}{2} \int \Big( u(\mathbf x ; \boldsymbol \theta) – v(\mathbf x) \Big)^2 d\Omega. ]

Pour démontrer le phénomène que nous appelons ajustement séquentiel, nous commençons par un problème de régression unidimensionnel sur le domaine unitaire, par exemple, ( \Omega =[0,1] ), avec une fonction cible donnée par ( v(x) = \sin(26 \pi x) ). La largeur du réseau est ( H=100 ), et le problème de régression est résolu avec l'optimisation ADAM en utilisant un taux d'apprentissage de ( 5 \times 10^{-3}). L'intégrale dans l'objectif est approximée en utilisant la quadrature au point médian sur une grille uniforme avec 500 points. Sauf indication contraire, tous les exemples unidimensionnels suivants seront résolus avec cette architecture de réseau et cette règle d'intégration, et ces paramètres d'optimisation. Le nombre d'époques d'entraînement sera affiché sur les graphiques montrant l'avancement de l'ajustement, et donc spécifié au cas par cas.

La Figure 2 montre les résultats de ce premier exemple. Le réseau initialise le processus d'ajustement près des frontières, puis travaille itérativement vers le centre du domaine, ajustant une oscillation de la cible haute fréquence à la fois. C'est le phénomène que nous appelons ajustement séquentiel.

Influence de l'enveloppe de la fonction oscillatoire

Un deuxième exemple montre comment l'enveloppe de la fonction oscillatoire influence le processus d'entraînement. Si l'ajustement séquentiel commence aux frontières, nous émettons l'hypothèse que le comportement de la fonction près des frontières du domaine peut avoir un effet sur l'entraînement. En particulier, nous testons le cas où une fonction enveloppe réduit l'amplitude des oscillations à zéro à une extrémité du domaine. Notre fonction cible est (v(x)=\sqrt{x} \sin(26 \pi x)), où l'enveloppe (\sqrt{x}) supprime les oscillations à l'extrémité gauche du domaine. La Figure 3 montre les résultats. Le processus d'ajustement séquentiel commence du côté droit du domaine, où les oscillations ont une plus grande amplitude. Comme auparavant, le réseau ajuste une oscillation à la fois, sauf que le processus est maintenant unilatéral, en raison des oscillations supprimées à gauche.