Agents IA : deux articles rejetés en recherche ouverte

Alors que des acteurs de l’IA évoquent des systèmes bientôt auto-améliorants et que les modèles de langage écrivent déjà du code, génèrent des données et optimisent des puces, une étude coordonnée par Princeton arrive à contretemps. Testés sur des questions inédites tirées de travaux soumis à NeurIPS 2026, des agents ont produit deux articles rejetés, malgré six jours, 3 000 dollars de crédits API et des moyens de calcul. Les chercheurs jugent ces systèmes à l’aise en ingénierie mais déficients en jugement et créativité, deux ingrédients pressentis pour une amélioration récursive.

Des mises en garde face aux ambitions d’auto-amélioration

Les résultats de l'étude pourraient remettre en question les affirmations d'une amélioration récursive imminente. En juin, Anthropic a publié un billet intitulé « Quand l’IA se construit elle-même », décrivant des avancées vers des modèles capables d'accélérer leur propre développement, et en juillet, OpenAI a annoncé que GPT-5.6 Sol avait contribué à post-entraîner un modèle plus petit, réduisant le temps de travail des chercheurs. Jack Clark, cofondateur d’Anthropic, indique que ces observations rejoignent ce que l’entreprise a constaté lors de tentatives d’automatisation de la recherche sur la sécurité de l’IA. Il estime que les systèmes actuels manquent de créativité intuitive et restent mécaniques dans leur raisonnement, ce qu’il qualifie de « signal baissier sur les délais d’amélioration récursive à court terme ». Parallèlement, les entreprises d’IA cherchent à développer des systèmes capables d’accélérer leurs propres progrès ; OpenAI vise explicitement un chercheur IA automatisé et Anthropic considère l’auto-amélioration comme un objectif clé. Une question reste posée : la recherche ouverte est-elle indispensable à l’amélioration récursive, ou des progrès sur des tâches plus restreintes pourraient-ils suffire ?

Les chercheurs testent une « évaluation en ombre » sur NeurIPS 2026

Pour évaluer des compétences non bornées, l’équipe multi-institutions dirigée par Peter Kirgis et Sayash Kapoor (Princeton) a conçu une « évaluation en ombre » : il s’agit de faire répondre un agent à une question extraite d’un article non publié de haute qualité. Claude Opus 4.8 d’Anthropic, orchestré via l’outil open source OpenClaw, a été sollicité sur deux questions issues de travaux soumis à NeurIPS 2026 : le contrôle des « personas » d’un LLM par modification des poids, et la détection de perte de fiabilité d’un modèle opérant sur des données de tableur. Les articles sources n’étant pas publics, aucune réponse ne pouvait être récupérée de l’entraînement ou du web. Les agents ont disposé de six jours, 3 000 dollars de crédits API, d’un budget GPU, de machines virtuelles dédiées et de l’accès au web ouvert pour produire un article au niveau d’une grande conférence. Les personnes ayant rédigé les articles initiaux ont évalué ces productions comme de véritables soumissions.

Deux articles rejetés malgré une solide exécution technique

Les deux articles produits par les agents ont été rejetés. Les évaluateurs humains ont constaté une bonne maîtrise de l’ingénierie : revue de littérature, réalisation de nombreuses expériences et compilation des résultats. Les agents savent donc résoudre des tâches techniques nécessaires à la recherche, mais, selon l’équipe, ils manquent du jugement et de la créativité requis pour atteindre le niveau des meilleures conférences. Sayash Kapoor les juge « sans équivoque mauvais » en conduite de recherche : expériences inhabituelles, parfois sur de petits jeux de données synthétiques, écriture difficile à comprendre et absence d’apport novateur, loin du standard attendu. Les agents ont peu exploré, se sont engagés trop vite dans des voies peu prometteuses, ont conçu des hypothèses ambitieuses proches de celles d’humains puis les ont rejetées sur des données très limitées, sans réelle capacité à revenir en arrière ni à repartir de zéro. Ils n’ont pas intégré les retours de sous-agents ni d’outils d’évaluation externes, ont restreint leurs revendications au lieu de réviser leurs méthodes, ont mal géré tokens, calcul et temps, et n’ont pas respecté les consignes sur la répartition du temps ou la longueur du papier. Les chercheurs notent toutefois l’absence de « manipulation de récompense » : si des sous-agents ont halluciné ou déformé des résultats, l’agent orchestrateur a détecté ces erreurs.

Kapoor relie l’écart observé aux méthodes d’entraînement

Sayash Kapoor avance que les modèles excellent surtout là où l’apprentissage par renforcement peut s’appliquer et où le succès est vérifiable automatiquement. Concevoir de tels environnements devient plus difficile lorsque la tâche est ouverte, ce qui pourrait expliquer des performances correctes en ingénierie mais faibles en recherche ouverte.

Portée limitée de l’étude et nouvel essai en cours avec Mythos

L’étude a porté sur seulement deux articles et les auteurs originaux savaient qu’ils évaluaient des textes générés par IA, ce qui a pu influencer leurs jugements. Les chercheurs disposaient d’une grande latitude dans la conception et l’exécution, avec des biais possibles ; l’évaluation de recherche ouverte sacrifie une part d’objectivité pour un test plus riche qu’un étalon. L’équipe mène désormais l’expérience avec Mythos, présenté comme le modèle le plus avancé d’Anthropic, lancé en avril, puis soumis à des restrictions de sécurité imposées par l’administration Trump et réservé à des organisations approuvées. Anthropic n’a pas répondu à une demande de commentaire.

Promesses du secteur et trajectoires possibles évoquées par Najoung Kim

Alors que le secteur projette une auto-amélioration rapide et met en avant des capacités existantes des LLMs comme le code, la génération de données et l’optimisation matérielle, de nombreux travaux mesurent surtout des tâches étroites et vérifiables. Or la recherche ouverte implique de choisir des hypothèses, déterminer les preuves pertinentes et savoir recommencer. Najoung Kim estime que des investissements ciblés pourraient permettre des progrès, tout en envisageant une trajectoire bifurquée : rapide sur des tâches notables et plus lente sur la recherche ouverte. Sayash Kapoor rappelle que des avancées majeures comme l’invention des transformers ou de nouvelles architectures ont nécessité des sauts créatifs, tandis que d’autres estiment que des leviers existants — entraîner plus vite et améliorer des scores — pourraient suffire. L’écart observé suggère que certains délais d’automatisation de la recherche sont peut-être prématurés, et l’étude souligne que parvenir à l’amélioration récursive pourrait prendre plus de temps qu’annoncé.