Physique théorique : Astra résout 49/50 pour 116 $

Un ensemble de 50 problèmes vérifiables en physique théorique place GPT-6-Astra en tête avec 98 % de bonnes réponses et une facture totale juste sous 116 $. Ces épreuves sont jugées représentatives du « travail à résoudre » et il est constaté qu'un accès web change peu les scores. Ils préviennent toutefois que concevoir de bonnes questions et choisir les directions fécondes restent des points faibles des agents, avec des conséquences pour la formation et l'égalité des chances.

Formation et budgets déjà impactés

Des effets sur la formation sont déjà observés : certains exercices qui auraient pu servir de premiers projets à des débutants ne conviennent plus, sauf à viser explicitement un objectif pédagogique. Ils rappellent que la physique théorique a historiquement nécessité moins de financements que la recherche expérimentale, ce qui a contribué à maintenir des opportunités relativement égales. Selon eux, l'arrivée d'agents d'IA performants pourrait modifier cet équilibre. L'exécution complète d'Astra sur l'ensemble des problèmes a coûté environ 116 dollars, mais une forte augmentation des besoins en ressources est anticipée pour des problèmes plus complexes. À ce stade, le budget d'un groupe de recherche pourrait devenir un facteur plus déterminant, soulevant des questions d'accès et d'égalité des chances. Des débats similaires existent déjà en mathématiques, notamment autour de la Déclaration de Leiden, et il est estimé que la physique théorique devrait s'en saisir. Une école de pensée a longtemps encouragé à « se taire et calculer » ; si le goût et la vision prenaient plus d'importance, « s'arrêter et réfléchir » pourrait devenir nécessaire.

Ce que les calculs ne capturent pas : théorie, choix et « goût »

Il est rappelé qu'un calcul vérifiable intervient à la fin du processus de recherche : il faut d'abord construire une théorie et poser les bonnes questions. Lorsqu'un problème s'avère trop difficile, les chercheurs humains savent se tourner vers un problème connexe plus accessible, ce que les agents d'IA actuels ne font pas bien. Ils estiment que les physiciens partagent, sans unanimité, un sens de l'intérêt d'un problème, un « goût » qui fait défaut aux modèles actuels. Lorsqu'on demande aux agents de concevoir de nouveaux problèmes, ils s'attardent sur des détails qu'un humain jugerait peu pertinents. Il est précisé que ces observations ne sont pas quantifiables et ne constituent pas une prévision sur l'avenir de l'IA, même s'il est jugé plausible que des agents puissent prochainement mener de la recherche de haut niveau de façon autonome, à condition de dépasser la seule résolution de problèmes. Le benchmark a été conçu pour cibler des tâches de type « à résoudre », en modifiant légèrement des questions connues afin d'empêcher de déduire la réponse d'articles antérieurs, un format courant pour les premiers travaux confiés aux doctorants.

Scores : Astra en tête avec 98 %, Opus à 92 %, Gemini à 68 %

GPT-6-Astra, exécuté dans l'environnement Codex d'OpenAI, a obtenu 49 bonnes réponses sur 50, soit 98 %, pour un coût moyen inférieur à 3 dollars par problème et un total juste sous 116 dollars. Opus 5.5 d'Anthropic a atteint 92 %, Gemini 3.8 Flash de Google 68 %, et DeepSeek-V4.1-Flash et GLM 5.3 respectivement 54 % et 42 %. Sans accès à Internet, Astra et Opus ont chacun obtenu 92 %, ce qui montre que la recherche web a eu un effet limité sur les résultats. Avec accès web, Astra a échoué uniquement sur un problème qui a résisté à tous les modèles : il s'agissait de retrouver une équation produisant une courbe donnée, dont la solution experte repose sur des formes mathématiques qui ne correspondent à l'équation différentielle requise que dans un sens large, un cas jugé réaliste. Sur le problème des trous noirs, Gemini et GLM ont repris sans modification des formules valables en cinq dimensions au lieu des quatre exigées.

Une batterie de 50 problèmes, 11 sous-domaines et des runs doublés

Trente-cinq chercheurs issus notamment de l'ICTS, de Harvard, de KU Leuven et de Google DeepMind ont conçu TheoPhysEval, un ensemble de 50 problèmes de recherche non publiés couvrant onze sous-domaines, des écoulements de fluides à la cosmologie. Les agents commerciaux ont été évalués sans indices humains, chacun testé deux fois : une fois avec recherche web, une fois sans accès à Internet. Un expert du sous-domaine résout généralement un problème en une journée ou moins, tandis qu'un spécialiste extérieur mettrait beaucoup plus de temps. Un exemple en recherche sur les trous noirs illustre la complexité : il faut retrouver un ancien article, adapter des équations de cinq à quatre dimensions, puis effectuer le calcul avec un programme spécifique. Suvrat Raju, co-auteur de l'article d'origine, a mis environ un jour pour le résoudre, et avant les agents modernes, même des experts expérimentés auraient eu besoin de plusieurs jours.

Clés de correction ajustées, benchmarks discutés et mémoire des modèles

Des vérifications a posteriori avec les experts ont révélé de petites erreurs dans certaines solutions de référence ; une fois corrigées, elles validaient les réponses d'Astra. Les agents ont obtenu de meilleurs résultats sur TheoPhysEval que sur d'autres benchmarks comme CritPt, alors que ces problèmes sont considérés en moyenne plus difficiles. Une étude récente a montré que certains benchmarks de physique théorique sont mal notés et sous-estiment parfois les capacités des modèles. De nombreux exercices reposent sur des formules issues d'articles que les modèles n'ont généralement pas reçues, ce qui est interprété comme un signe de mémorisation étendue de la littérature par les meilleurs systèmes. Ils avancent que certains modèles pourraient déjà dépasser les meilleurs humains en calculs concrets, y voyant une étape majeure. Ils notent que l'impact est encore plus visible en mathématiques, où, selon OpenAI, des agents ont déjà résolu des problèmes ouverts comme celui de Navier-Stokes, alors qu'aucune percée comparable n'a encore eu lieu en physique théorique.