OpenAI : 100 milliards pour des données d'entraînement IA

OpenAI : 100 milliards pour des données d'entraînement IA

Un ancien chercheur d'OpenAI parie que 100 milliards de dollars seront investis dans des données d'entraînement, car il est sceptique quant à l'idée que le simple agrandissement des modèles de langage permettra d'atteindre de véritables capacités de généralisation.

La nouvelle startup qu'il a lancée se consacre à la production de données d'entraînement de haute qualité, arguant que les sources de données existantes ne parviennent pas à capturer de nombreuses compétences économiquement précieuses dont les systèmes d'IA ont besoin pour fonctionner de manière fiable.

L'entreprise construit des ensembles de données spécialisés pour la bioinformatique et le travail de laboratoire quotidien, soutenue par des chercheurs de l'Université de Cambridge et de Google DeepMind. Ces derniers constatent que les systèmes d'IA actuels tendent vers une plus grande spécialisation plutôt que vers la polyvalence, atteignant un plafond en matière de résolution créative de problèmes.

Andrew Ho quitte OpenAI après seulement huit mois, convaincu que les modèles de langage de grande taille se généralisent mal. Même dans des domaines bien financés comme la programmation, il affirme que leurs performances sont incohérentes.

Selon Ho, la cause principale est un manque de données d'entraînement. La plupart des compétences économiquement significatives sont à peine représentées dans les ensembles de données existants.

"La plupart des travaux sont hautement contextuels et ne peuvent pas être facilement encodés dans un environnement gradable ; même si nous pouvons observer un 'chemin doré' emprunté par un humain que nous croyons bon, il est difficile de comprendre si des chemins alternatifs ou contrefactuels produisent de bons ou de mauvais résultats", écrit Ho.

Il soutient que l'agrandissement à lui seul ne résoudra pas ce problème et s'attend à ce que les laboratoires d'IA dépensent plus de 100 milliards de dollars pour la collecte de données ciblées dans les années à venir. Ho est également sceptique quant aux valorisations exorbitantes des laboratoires à la pointe comme OpenAI ou Anthropic, qu'il considère comme chroniquement non rentables car ils doivent continuer à investir des sommes croissantes dans de nouveaux modèles pour rester en avance sur des concurrents moins chers comme Qwen ou Kimi.

Ses premiers produits ciblent deux domaines. Le premier concerne des ensembles de données pour des analyses scientifiques complexes en bioinformatique, où même les modèles actuels comme GPT-5.6 Sol n'atteignent qu'un taux de succès d'environ 30 %, un sujet sur lequel il a travaillé chez OpenAI. Le second concerne des ensembles de données pour le travail de laboratoire quotidien, comme lorsque des chercheurs soumettent des photos d'expériences à des modèles d'IA pour évaluation. Des domaines comme la chimie, la science des matériaux, la santé et un travail de connaissance plus large sont prévus pour suivre.

Les derniers modèles pourraient devenir plus aigus dans certains domaines tout en s'émoussant dans d'autres

Le chercheur de Cambridge, Adam Hunt, partage le scepticisme de Ho. Hunt décrit comment sa propre vision des modèles de langage a évolué d'un optimisme initial à un pessimisme croissant. Son argument est que les derniers modèles ne deviennent pas plus polyvalents mais plus spécialisés. Les capacités en programmation et en mathématiques complexes continuent de s'améliorer, tandis que des domaines comme la qualité du langage et la logique simple stagnent ou se détériorent, ce qui corrobore l'observation de Ho sur des performances inégales.

Hunt explique que l'apprentissage par renforcement fonctionne bien dans un domaine comme le code parce que des signaux de récompense clairs et des données d'entraînement complètes y existent. Dans d'autres domaines, ces données ne sont tout simplement pas disponibles. Les premiers progrès des modèles de langage de grande taille et leur capacité apparente à se généraliser par la simple échelle et le raisonnement étaient un effet secondaire de l'entraînement sur un large corpus de texte. Ce n'était pas un signe de véritable compréhension générale.

La question de la généralisation est loin d'être résolue

Ce débat revient toujours à la même question : les modèles de langage peuvent-ils développer des capacités qui vont au-delà de la reproduction et de la recombinaison de leurs données d'entraînement, en particulier dans des domaines où les résultats ne peuvent pas être vérifiés automatiquement ? Les scientifiques ne s'accordent pas sur la réponse.

Hunt lui-même estime sa confiance à seulement 40 % et reconnaît que des avancées techniques pourraient prouver qu'il a tort, par exemple si des modèles d'IA spécialisés peuvent être combinés en quelque chose qui ressemble à une intelligence plus générale.

Dans un récent document de position intitulé "Les LLM ne peuvent pas sauter", Tom Zahavy de Google DeepMind propose une explication structurelle pour expliquer pourquoi les modèles sont inégaux. Les modèles de langage sont bons en déduction et en induction mais échouent en abduction créative, c'est-à-dire la capacité d'inventer une cause pour laquelle aucun précédent linguistique n'existe encore. Comme solution possible, Zahavy évoque des modèles du monde contrôlables par l'action qui permettent des expériences contrefactuelles. Les LLM pourraient encore jouer un rôle clé dans de tels systèmes avancés, même s'ils atteignent leurs limites lorsqu'ils travaillent seuls.