Grokking : la généralisation tardive d’un réseau de neurones
Le phénomène de grokking a été observé dans un réseau de neurones entraîné pendant 20 000 étapes. Ce modèle a montré une performance de près de 100 % sur des problèmes inédits après une phase d'entraînement initial de 1 000 étapes.
En 2022, une petite équipe a entraîné un réseau de neurones sur l’addition modulaire, qui a d’abord échoué à généraliser. Des analyses internes ont révélé des mécanismes d’apprentissage inattendus dans ce modèle durant l’entraînement.
La découverte du grokking remet en question l’efficacité des règles d’arrêt précoce dans l’entraînement des modèles de neurones.
“Grokking désigne une transition tardive vers une compréhension générale sans données supplémentaires.”
Pour : chercheurs en intelligence artificielle, ingénieurs en apprentissage automatique, professionnels de la data science
Lire l'article complet
