Richard Sutton relance le débat sur le scaling des LLM

Richard Sutton affirme que la puissance de calcul ne suffit pas à elle seule et appelle à des méthodes d'apprentissage nouvelles et continues. Tandis que des laboratoires émergent pour explorer d'autres algorithmes, Sam Altman et Dario Amodei défendent la poursuite du scaling des LLM. Des chercheurs comme Jerry Tworek et Jayden Teoh mettent en garde contre une interprétation réductrice de la « leçon amère ».

Des dirigeants défendent un scaling des LLM encore fécond

Sam Altman, PDG d'OpenAI, estime que le développement à grande échelle des modèles de langage n'a pas encore atteint son plafond et reproche aux détracteurs d'entraver une nouvelle génération de chercheurs en étant trop affirmatifs sur les limites du scaling. Il donne en exemple un modèle d'OpenAI qui a récemment réussi à réfuter une conjecture mathématique restée longtemps sans réponse. Altman juge les modèles du monde utiles, notamment en robotique, mais affirme que les données soutiennent clairement la poursuite du scaling des LLM. Dario Amodei, PDG d'Anthropic, partage cette approche et décrit les progrès du scaling comme un arc-en-ciel sans fin.

Une vague de 45 nouveaux labs mise sur d'autres voies d'apprentissage

Quarante-cinq nouveaux laboratoires d'IA tentent d'explorer les frontières du scaling massif. Parmi ces structures figure Core Automation, sous la direction de Jerry Tworek, qui s'intéresse à des algorithmes d'apprentissage dépassant le cadre du pré-entraînement et de l'apprentissage par renforcement. Richard Sutton participe lui aussi à cette dynamique via Oak Lab. Ces fondateurs partagent la conviction qu'une IA bien plus capable est possible, tout en doutant de la méthode actuellement dominante.

Ce que Richard Sutton demande aux systèmes d’IA

Richard Sutton affirme que la seule puissance de calcul ne suffit pas à atteindre l'intelligence et appelle à des méthodes plus ingénieuses, estimant que la science de l'IA est loin d'être achevée. Il a critiqué les limites du simple scaling des modèles de langage et qualifié les données synthétiques de grosse erreur, en raison d'un monde réel qu'il juge infiniment complexe et dont toute simulation ne serait qu'une représentation microscopique. Sutton considère l'expertise humaine comme un goulot d'étranglement du scaling et rappelle, comme il l'écrivait dès 2019, que les méthodes générales qui progressent avec la puissance de calcul finissent par surpasser les approches conçues à la main. Aujourd'hui, il plaide pour des agents dotés de modèles du monde, capables d'apprendre en continu sans oublier les acquis, notant que les modèles de langage actuels ne continuent pas à apprendre après leur entraînement et que les textes en ligne ne reflètent qu'une infime part de la complexité du monde.

Une communauté partagée sur l’interprétation de la « leçon amère »

Jerry Tworek considère que la Bitter Lesson demeure d'actualité, mais remarque qu'à mesure que l'on augmente la puissance de calcul consacrée à l'entraînement, la sélection des algorithmes prend une importance cruciale. Il observe que certains algorithmes continuent de progresser, d'autres se heurtent à des blocages, et que de nombreux aspects du scaling restent à explorer. À ses yeux, l'adoption temporaire des transformateurs et une interprétation erronée de cette leçon ont marqué une génération de scientifiques. Jayden Teoh rapporte avoir vu cette lecture freiner des travaux académiques, des idées prometteuses étant écartées car jugées trop en décalage, sans que ce soit la responsabilité de Richard Sutton. Il souligne que ces idées, bien qu'ensuite remplacées par des approches plus générales, ont souvent permis des avancées au moment où elles ont été proposées, et appelle à ne pas les rejeter d'emblée, rappelant qu'une idée n'a pas besoin de survivre au scaling pour contribuer au progrès de l'IA.