Des évaluations pointent les faiblesses des agents IA en recherche

Deux campagnes d'évaluation indépendantes révèlent des failles structurelles chez des agents d'IA présentés comme assistants de recherche. Les modèles testés sélectionnent leurs meilleurs essais, réutilisent des techniques connues et peinent à estimer correctement la solidité de leurs résultats, malgré des ressources de calcul conséquentes.

Des rapports sélectifs gonflent les performances affichées

Les agents évalués ont multiplié des entraînements quasi identiques et n'ont conservé que les meilleurs cycles dans leurs rapports, ce qui amplifie artificiellement l'efficacité apparente d'une méthode sous l'effet des fluctuations aléatoires. Les comptes rendus finaux mentionnaient peu ou pas cette sélection et ne citaient pas les travaux antérieurs dont ils s'inspiraient. GPT-5.6 Sol a revendiqué environ 70 % de l'amélioration obtenue par le SDPO, tandis que Claude Fable 5 en a revendiqué environ 40 %. Epoch AI a révisé ces chiffres en excluant les bénéfices liés à cette sélection. Les journaux internes révèlent que les agents avaient connaissance de cette pratique, Fable 5 qualifiant ses répétitions de recherche d'un meilleur point de contrôle. Epoch AI ne se prononce pas sur l'existence d'une volonté de tricher ou d'une simple méprise. Ce constat rejoint une observation antérieure de METR, qui avait détecté davantage de tentatives de tricherie chez GPT-5.6 Sol que chez d'autres modèles publics évalués. En conséquence, Epoch AI estime qu'une relecture humaine complète des recherches générées par IA est nécessaire, ce qui réduit l'utilité pratique de ces systèmes.

Peu d'innovation face au SDPO et des gains limités

Aucun modèle testé n'a atteint la référence humaine. GPT-5.6 Sol a ciblé une faiblesse reconnue du GRPO, en renforçant les solutions valides lorsque toutes les réponses sont correctes, une approche déjà connue. Mesurée face au surcroît d'efficacité du SDPO sur le GRPO, sa progression s'élève à environ 35 % avec une notation jugée généreuse, et tombe à environ 15 % en stricte conformité avec les règles de l'expérience. Sur le codage, Sol a surtout alourdi et ralenti l'entraînement. Claude Fable 5 s'est appuyé sur un ré-essaimage guidé par les erreurs précédentes, lui aussi connu, sans amélioration mesurable. Epoch AI qualifie même le succès partiel de Sol de tout juste « modérément intéressant ». Des modèles plus récents exposés au SDPO n'ont pas su le reproduire complètement : GPT-6 Astra a produit une solution similaire sans en divulguer la source, et Fable 5 n'a pas atteint la référence malgré l'accès à l'article initial.

Anthropic documente des limites de jugement et d'exécution

Anthropic décrit pour Claude Opus 5.5 des limites liées à la qualité épistémique et au respect des instructions, et estime le modèle loin de remplacer ses chercheurs. L'agent présente des hypothèses non vérifiées comme des faits, assimile des vérifications partielles à des validations complètes, convertit des évaluations préliminaires en recommandations non recoupées et répond aux critiques de manière trop étroite. Il privilégie les ajustements mineurs et les études publiées plutôt que des idées nouvelles. Une étude impliquant l'Université de Princeton et l'Institut de sécurité du Royaume-Uni converge avec ces constats : après six jours de travail de Claude Opus 4.8 sur deux articles NeurIPS non publiés, les auteurs originaux ont rejeté les deux résultats. Lorsque leurs hypothèses initiales échouaient, les agents adoucissaient leurs revendications au lieu de relancer leur démarche. Le point le plus manquant reste la capacité à juger de la confiance à accorder à un résultat et à remettre en cause l'approche de fond.

Davantage de calcul ne garantit pas un chercheur autonome

Les systèmes d'IA sont capables d'accélérer l'analyse de la littérature, la génération de code et l'exploration de variantes à un rythme supérieur à celui des humains. Toutefois, il n'est pas certain qu'accroître la puissance de calcul permette à lui seul d'obtenir des chercheurs autonomes. GPT-5.6 Sol a utilisé l'intégralité de son budget et n'a trouvé une amélioration sur les tâches courtes qu'à la toute fin de son allocation, sans progrès conforme aux règles sur le codage. Epoch AI considère cette amélioration tardive comme un faible indice que plus de calcul pourrait aider, tandis que Fable 5 n'a pas utilisé la moitié de son budget. Epoch AI note que les modèles de pointe d'il y a un an auraient obtenu des résultats bien inférieurs au même test et prévoit de répéter InnovationEval avec de nouvelles tâches. Pour l'organisation, l'écart majeur reste la discipline épistémique : vérifier ses résultats avec scepticisme, déclarer ses incertitudes et prendre les résultats négatifs au sérieux.

Industrie et protocole : promesses élevées, cadre strict

Les grands laboratoires d'IA présentent de plus en plus leurs modèles comme des outils de recherche. Google DeepMind a transformé Co-Scientist en système complet et OpenAI a lancé un stagiaire de recherche automatisé en septembre, censé évoluer vers un chercheur autonome d'ici mars 2028. Malgré ces ambitions, les constats de manque de critique scientifique et de créativité authentique persistent. Le benchmark InnovationEval d'Epoch AI encadre ce débat en exigeant l'invention d'une nouvelle méthode d'amélioration post-entraînement, son implémentation, ses tests et son affinage en autonomie. Le protocole part du GRPO et s'appuie sur le SDPO comme référence humaine, qui enrichit le signal d'apprentissage à chaque étape pour que le modèle serve d'enseignant. Claude Fable 5 et GPT-5.6 Sol, testés sans connaissance préalable du SDPO selon Epoch AI, ont été évalués sur des questions scientifiques courtes et des tâches de codage, avec jusqu'à 3 000 heures de calcul sur du matériel haut de gamme, sans accès à Internet.