Anthropic et Stanford : pourquoi seuls les grands modèles réussissent

Une étude qui remet en question les idées reçues

Une récente étude menée par des chercheurs d'Anthropic, de Stanford et d'autres institutions a mis en lumière une nouvelle approche pour comprendre pourquoi les grands modèles de langage acquièrent des compétences que les petits modèles ne parviennent pas à maîtriser. Contrairement à la croyance populaire, il ne s'agit pas simplement d'une question de rapidité d'apprentissage. Les chercheurs suggèrent qu'au lieu d'augmenter indéfiniment la taille des modèles, il pourrait être plus efficace d'augmenter la fréquence de certaines tâches spécifiques dans les données d'entraînement pour ancrer des compétences rares dans des modèles plus petits.

Les limites des petits modèles

L'étude souligne que les petits modèles échouent souvent à apprendre de manière fiable des tâches rares, même si l'on prolonge considérablement les périodes d'entraînement. Les lois de mise à l'échelle bien connues montrent qu'un petit modèle n'atteint jamais la même perte qu'un grand modèle, peu importe la quantité de données qu'on lui fournit. Ce phénomène s'explique par le fait que les tâches fréquentes et simples sont prioritaires dans le processus d'apprentissage, ce qui relègue les tâches rares et complexes au second plan.

La dynamique des tâches fréquentes et rares

Pour isoler le mécanisme en jeu, les chercheurs ont testé un mélange de tâches avec des fréquences et des complexités variées. Un modèle avec un nombre donné de neurones se voit attribuer les caractéristiques les plus utiles, où l'utilité est déterminée par la fréquence d'apparition d'une tâche et son importance. Dans les expériences menées, seuls les modèles suffisamment grands ont appris des tâches qui ne constituaient que 0,25 % des données d'entraînement. Cela s'explique par le fait que tant que les tâches fréquentes ne sont pas bien maîtrisées, elles tirent le modèle fortement dans leur direction à chaque étape d'entraînement, écrasant ainsi une grande partie de ce que le modèle a appris sur les tâches rares.

Expériences et observations

Les chercheurs ont conçu une expérience pour séparer clairement cet effet. La fréquence totale d'une tâche rare reste constante, mais l'écart entre les observations individuelles varie. Plus cet écart est grand, plus le signal se dégrade dans les modèles étroits. En revanche, les modèles larges conservent mieux le signal entre les observations et s'appuient dessus. Pour tester cette théorie lors de la pré-formation, l'équipe a entraîné des modèles OLMo allant de 4 millions à 4 milliards de paramètres sur jusqu'à 210 milliards de tokens du corpus Dolma. Ils ont mélangé deux tâches artificielles dans les données, une comparaison de nombres et une addition modulaire, avec des fréquences allant d'environ 1 000 instances par lot à une instance tous les dix lots.

Les résultats des modèles de langage réels

Dans les résultats obtenus, seuls les grands modèles OLMo ont appris les tâches rares en comprenant la règle qui les sous-tend et en l'appliquant à de nouveaux cas, plutôt qu'en mémorisant simplement des exemples individuels. Cela était particulièrement clair avec l'addition modulaire, où les chercheurs ont observé ce qu'on appelle le "grokking". Un modèle mémorise d'abord une tâche, puis comprend soudainement le principe réel après un entraînement supplémentaire. Seuls les plus grands modèles atteignent ce moment, et seulement lorsque la tâche apparaît suffisamment souvent dans les données.

La mémorisation comme étape intermédiaire

L'étude considère la mémorisation comme une condition préalable à la généralisation, plutôt qu'un effet secondaire indésirable. Un modèle doit conserver des observations individuelles suffisamment longtemps pour qu'un schéma plus large puisse se former à travers de nombreux lots. Cela offre une alternative pratique à la simple augmentation de la taille des modèles. Au lieu d'augmenter la taille du modèle, la fréquence d'une tâche cible dans les données d'entraînement peut être augmentée pour ancrer une compétence spécifique, suggère la recherche.

Vers une nouvelle stratégie d'entraînement

Il existe plusieurs théories expliquant pourquoi la taille du modèle aide. En mai, une équipe du MIT a lié les lois de mise à l'échelle à la géométrie des modèles, où les modèles stockent plus de concepts par superposition que leurs dimensions ne devraient le permettre. Cette nouvelle étude part d'un angle différent, en se concentrant sur ce qu'un modèle peut réellement apprendre d'un mélange de données donné pendant l'entraînement. Le débat plus ancien sur la question de savoir si les capacités "émergent" réellement lors de sauts soudains au-delà d'une certaine taille, ou si cela est en partie un artefact de mesure, est toujours en cours.