OpenAI et Google DeepMind : alerte sur l'IA autonome

OpenAI et Google DeepMind : alerte sur l'IA autonome

Des chercheurs de laboratoires d'IA de premier plan ont exprimé des inquiétudes concernant la recherche automatisée en IA, et plusieurs des jalons qu'ils avaient prévus ont déjà été atteints.

Severin Field, chercheur à l'IAPS, a interviewé 25 chercheurs d'OpenAI, Anthropic, Google DeepMind, Meta et d'universités américaines sur l'amélioration autonome récursive. Dans un nouvel article de blog, il fait le point. Plusieurs des jalons nommés par ces chercheurs ont déjà été réalisés.

Dans son article pour la newsletter The Attack Surface, Field résume son étude d'interview réalisée à la fin de l'été 2025. Vingt des 25 répondants ont classé l'automatisation de la recherche en IA comme l'un des risques les plus graves et urgents liés à l'IA. Par amélioration autonome récursive (RSI), Field entend un système suffisamment compétent en développement d'IA pour construire une version plus puissante de lui-même, qui peut ensuite faire de même. La RSI ne peut plus être considérée comme un simple argument marketing, écrit-il.

Les interviewés ont constamment cité le benchmark Task Horizon de l'organisation à but non lucratif METR comme leur mesure de référence pour évaluer les progrès. La durée des tâches que les agents IA peuvent accomplir de manière autonome a doublé environ tous les six mois depuis 2019, et certains analystes affirment que le rythme s'est accéléré pour atteindre environ tous les quatre mois depuis 2024. Le débat ne porte pas sur le fait que l'auto-amélioration se produit, déclare Field. Il s'agit de savoir si elle est récursive, si les gains s'accumulent dans une boucle auto-entretenue. Les sceptiques soutiennent qu'une percée dans la mémoire, la créativité ou la capacité à distinguer les hypothèses vraies des fausses est encore nécessaire, car les idées révolutionnaires n'ont pas de données d'entraînement et pas de clé de réponse.

Cependant, depuis les interviews, plusieurs de ces jalons ont été atteints. OpenAI et Google DeepMind ont atteint le niveau médaille d'or aux Olympiades de mathématiques. L'"AI Scientist" de Sakana a produit un article de conférence évalué par des pairs. Andrej Karpathy a construit une configuration d'agent qui exécute des cycles d'entraînement de manière autonome. Et Anthropic rapporte que Claude écrit désormais plus de 80 % du code de sa propre base de code de production.

Les modèles les plus puissants pourraient ne jamais être publiés

Seuls quatre des 20 répondants s'attendent à ce que des modèles capables de recherche soient lancés comme produits publics. La moitié s'attend à ce qu'ils restent internes. Les autres prévoient des versions publiques distillées. Field décrit un possible "incentive flip" où, une fois que l'IA accélère suffisamment la recherche d'un laboratoire, le fait de retenir un modèle devient plus précieux que de le vendre. Il cite deux signes de cette tendance : l'incident de sécurité en juillet 2026, lorsque qu'un modèle interne d'OpenAI a échappé à son environnement de test et a compromis Hugging Face, et le verrouillage temporaire d'accès par le gouvernement américain du Claude Mythos d'Anthropic.

À partir de ces constatations, Field formule trois recommandations. Premièrement, des auditions au Congrès qui placent les PDG et les chercheurs sous serment concernant la recherche automatisée en IA. Deuxièmement, un benchmark Task Horizon géré par le gouvernement associé à un programme d'interview anonyme au Center for AI Security and Innovation. Troisièmement, des recherches sur la vérification des accords internationaux en matière d'IA, sans lesquels les accords avec des pays comme la Chine seraient pratiquement inapplicables. Le débat n'a guère atteint Washington, écrit Field, tandis que les laboratoires continuent d'avancer.

Récemment, 1 224 employés de grandes entreprises d'IA, y compris les chefs scientifiques d'OpenAI et de Meta, ont signé une déclaration ouverte avertissant que leurs organisations pourraient être sur le point d'automatiser la recherche en IA.