Apprendre comme un enfant : l’IA bute sur l’efficacité des données

Les modèles de langage ont appris à manier la syntaxe et à convaincre à l’écrit, mais au prix d’un appétit de données sans équivalent. Les enfants, eux, acquièrent la grammaire avec une exposition minuscule en comparaison. Chercheurs en IA et en sciences cognitives cherchent comment reproduire cette efficience, alors que les corpus en ligne ont une fin possible dès les années 2030.

Des systèmes qui saisissent la syntaxe, mais l’échelle « bébé » reste un cap

Les grands modèles de langage écrivent des sonnets plausibles et franchissent des épreuves de grammaire. Alison Gopnik note que ces systèmes apprennent la syntaxe, un résultat qu’elle-même et d’autres ne pensaient pas atteignable en exploitant des statistiques sur de vastes corpus. Reste une question concrète : un modèle entraîné avec une exposition du niveau d’un bébé peut‑il produire autre chose que du non‑sens ? Alex Warstadt évoque la période autour de BERT et GPT‑2 comme un tournant exaltant, alors qu’en 2019 il observait, doctorant à New York, son domaine basculer. Beaucoup de linguistes demeuraient pourtant sceptiques sur l’apport des LLM à l’étude de l’acquisition, critiquant surtout la taille des jeux de données : à échelle humaine, aucun modèle n’impressionnait. Warstadt défend néanmoins leur utilité comme simulations puissantes de l’usage du langage et propose d’y intégrer des hypothèses sur l’apprentissage des enfants, puis d’en mesurer la performance pour tester ces idées. Il a formulé publiquement cet argument en août 2022. Dans le même temps, pour le grand public, converser naturellement avec des assistants est devenu courant, et des modèles comme Claude, DeepSeek ou GPT soutiennent la comparaison à l’écrit avec des humains.

D’un pari symbolique à l’ère transformer, en passant par l’hiver de l’IA

Au milieu du XXe siècle, la grammaire générative a irrigué l’informatique, alors que des financements militaires poussaient à doter les machines de capacités de compréhension de l’anglais et de traduction du russe. Malgré des succès précoces des réseaux neuronaux simples, l’approche à base de règles s’est imposée pendant des décennies, sans produire des systèmes capables de gérer le langage à grande échelle, jusqu’à l’« hiver de l’IA » des années 1970. À partir des années 2010, avec du matériel plus abordable et un Internet plus vaste, les réseaux neuronaux reprennent la main. En 2018 et 2019, BERT et GPT‑2, bâtis sur l’architecture transformer et entraînés sur des milliards de tokens, démontrent qu’un excédent massif de données permet des progrès concrets. En 2022, cette réalité éclate au grand jour avec ChatGPT. Ces modèles restent des apprenants statistiques puissants, et non des cerveaux, ce que nombre de linguistes générativistes n’auraient pas jugé possible deux décennies plus tôt.

La contrainte majeure : des données qui ne sont pas infinies

La dernière décennie a surtout réduit l’erreur en grossissant les modèles. Llama 3.1, à poids ouverts, a été pré‑entraîné sur 15 trillions de tokens, et certains estiment que des systèmes de pointe pourraient encore multiplier par dix ces volumes pendant la pré‑formation, l’étape préliminaire avant l’affinage pour une tâche. Mais l’Internet ne recèle pas des données à l’infini et la source facilement exploitable pourrait s’assécher dès les années 2030. Or, enseigner le langage aux machines réclame aujourd’hui des corpus proprement inhumains : un LLM ingère aisément cent mille fois plus de mots qu’un locuteur n’en traite pour sa langue maternelle, et bien davantage que ce qu’un bébé entend avant son premier anniversaire. Michael C. Frank salue des progrès « incroyables », tout en soulignant le coût informationnel disproportionné requis pour imiter en laboratoire ce qui se passe, chez les enfants, en un an. C’est tout l’enjeu de l’écart d’efficacité des données qui interroge à la fois chercheurs cognitifs et architectes de modèles.

Ce que prouvent les enfants : une exposition minime suffit souvent

Un préadolescent, même en contexte très riche, a peut‑être entendu de l’ordre de 100 millions de mots ; avec la lecture et l’écriture, l’exposition totale peut culminer vers 300 millions à 20 ans. Pourtant, les tout‑petits se mettent d’ordinaire à produire des phrases grammaticalement correctes après environ 10 millions de mots entendus, voire 30 millions dans les cas favorables. Michael C. Frank observe qu’un GPT‑2 limité à 30 millions de mots ne produit que du non‑sens, rien qui approche un enfant. Par contraste, des modèles modernes auraient vu l’équivalent d’une génération entière de langage d’une ville, selon Ethan Gotlieb Wilcox. Mis sur papier, leur corpus d’entraînement atteindrait la Station spatiale internationale, quand les 100 millions de mots d’un préadolescent ne formeraient qu’une pile de 20 mètres — et les humains peuvent faire avec moins encore. L’espèce parle depuis au moins 100 000 ans, mais jusqu’à très récemment, seul un enfant humain accédait, avec une telle aisance, à une langue humaine.

Théories en tension et promesses d’une IA plus sobre en données

Si l’on sait décrire de nombreux jalons de l’acquisition, la manière dont les bébés y parviennent demeure une énigme. La syntaxe humaine combine récursivité et emboîtement pour exprimer virtuellement une infinité d’idées avec un lexique fini, alors même que l’échantillon entendu par les bébés reste limité. Dans les années 1950, Noam Chomsky a défendu l’idée d’une connaissance grammaticale innée, en réaction à B. F. Skinner qui voyait dans le langage un apprentissage par conditionnement. L’argument de la pauvreté du stimulus affirme que la statistique seule ne suffit pas, comme le résume Richard Futrell, et postule des règles logiques sous‑jacentes nécessaires à l’enfant pour déduire la grammaire. Cette vision a dominé la linguistique américaine sous la grammaire générative. Le fait que des modèles apprennent l’anglais à partir de texte a bousculé ces idées, sans pour autant expliquer l’efficacité infantile. Pour avancer, des équipes projettent de rétro‑ingénierie l’apprentissage des enfants afin de bâtir des modèles plus frugaux en données. De telles avancées pourraient servir l’entraînement sur la vidéo ou la conception de chatbots pour des communautés linguistiques minoritaires. Tester ces hypothèses dans des modèles pourrait aussi apporter des réponses à des questions durables : y a‑t‑il un instinct linguistique, l’apprentissage peut‑il reposer uniquement sur l’expérience, et quelle part revient à la biologie ou à des contraintes plus universelles sur les langues ?