OpenAI Astra : dix avancées et débat sur l'attribution

OpenAI a d'abord affirmé qu'aucun progrès n'avait été réalisé sur dix problèmes avant de corriger discrètement l'attribution d'au moins l'un d'eux, ce qui a irrité des chercheurs. L'entreprise revendique néanmoins dix avancées d'un seul coup, sur des sujets que des mathématiciens disent juger centraux. Ces annonces surviennent alors que des modèles restent faibles en arithmétique et dans des tâches triviales, tout en semblant produire des résultats de niveau professionnel en mathématiques abstraites. Le contraste alimente un débat sur ce que deviennent le travail et la connaissance en mathématiques à l'ère des modèles.

Attribution corrigée discrètement et réserves de chercheurs

OpenAI a soutenu dans un premier temps qu'aucun progrès n'avait été accompli sur les dix problèmes présentés au cours des dix dernières années, avant qu'un des textes associés ne précise s'appuyer sur des avancées dues à deux chercheurs. Cette présentation a ensuite été modifiée discrètement, ce qui a été jugé peu convaincant par plusieurs chercheurs. Des questions d'attribution se sont ainsi imposées, d'autant que les nouvelles preuves et méthodes se fondent sur des travaux antérieurs. Selon des mathématiciens, les problèmes concernés sont bien au cœur de leurs intérêts, contrairement à des percées précédentes critiquées comme périphériques, et des spécialistes s'y étaient déjà heurtés sans succès.

Dix « avancées » revendiquées et une documentation volumineuse

OpenAI a publié il y a quelques semaines un billet de blog accompagné de plusieurs centaines de pages, intitulé « 10 avancées en mathématiques et en informatique théorique ». L'entreprise affirme que son modèle Astra a résolu d'une certaine manière dix problèmes couvrant plusieurs disciplines, parmi lesquels la théorie des jeux quantiques et l'emballage de sphères en dimensions supérieures à trois. L'annonce a provoqué de vifs remous, en partie parce qu'elle tranche avec le rythme des percées antérieures, souvent isolées, en présentant dix résultats d'un coup. Des chercheurs expliquent qu'un seul de ces problèmes résolus par un humain serait déjà impressionnant, et qu'un individu parvenant aux dix à lui seul paraîtrait à peine croyable.

Un précédent en mai : la conjecture de distance unitaire

En mai, un modèle interne d'OpenAI a réfuté la conjecture de distance unitaire, un problème âgé de 80 ans. Depuis, OpenAI a fait connaître Astra, perçu par certains comme le déclencheur de la crise existentielle au sein du milieu. Robert Hart estime qu'Astra est probablement aussi à l'origine de la réfutation de mai, bien que l'entreprise ait alors simplement parlé d'un modèle interne non nommé et n'ait pas répondu aux questions à ce sujet.

Capacités contrastées : faiblesse en calcul, force en abstraction

Les modèles restent en difficulté sur l'arithmétique et même sur des repères triviaux comme les jours de la semaine, un proche de Robert Hart notant qu'ils répondent souvent qu'il est mercredi. Elissa Welle a écrit que ChatGPT ne sait pas lire l'heure, et selon Robert Hart, cela n'a pas changé. En parallèle, ces systèmes progressent en mathématiques abstraites de haut niveau, au point que leur performance peut paraître de niveau professionnel selon les domaines. Le résultat est un paysage hétérogène où des faiblesses basiques coexistent avec des forces marquées en abstraction.

Pourquoi ça marche parfois : connexions et seuil de capacité

Des observateurs décrivent des modèles capables de relier des domaines différents et d'appliquer d'anciennes méthodes de nouvelles manières, suggérant qu'une forme de seuil de capacité a été franchie pour certains types de mathématiques. La discipline elle-même n'est pas un bloc homogène ; elle regroupe des sous-domaines très distincts. L'IA y demeure particulièrement faible pour le comptage et, selon des témoignages de mathématiciens, elle serait encore assez mauvaise en topologie, un point que Robert Hart indique ne pas pouvoir vérifier. Au total, la performance varie fortement selon les sous-domaines.

Impact pressenti sur recherche, emplois et vérifiabilité

La discussion dépasse les seuls résultats pour toucher à une crise existentielle : que sont les mathématiques, que font les mathématiciens et quel sera leur rôle à l'avenir ? Cette inquiétude se manifeste autant dans les domaines où les modèles semblent produire des travaux équivalents à ceux de bons praticiens que dans d'autres où ils échouent. Des questions portent sur l'emploi et le financement, tandis que les progrès observés concernent surtout des problèmes qui se prêtent à plus de calcul et à une certaine vérifiabilité. Les laboratoires mettent en avant des problèmes théoriques auto-contenus, pour lesquels des modèles génèrent des preuves ou des solutions auparavant introuvables, puis tentent de les vérifier et de répéter le cycle. Cette accélération s'inscrit dans une transition rapide des six à douze derniers mois, quand d'autres domaines ont évolué sur plusieurs années, alors que, jusqu'en 2024, l'idée dominante restait que les modèles échouaient sur des tâches aussi simples que compter des lettres dans un mot. Robert Hart affirme par ailleurs que des cas très spécifiques, comme le comptage de fraises, pourraient être codés en dur, rappelant que, malgré l'importance du raisonnement en mathématiques, les articles académiques eux-mêmes exhibent peu de chiffres.