OpenAI : 30 % des tâches de SWE-Bench Pro jugées défaillantes

OpenAI : 30 % des tâches de SWE-Bench Pro jugées défaillantes

OpenAI retire son soutien au test de codage AI SWE-Bench Pro après avoir constaté qu'environ 30 % de ses tâches sont défaillantes.

Les problèmes proviennent du fait que les tâches sont tirées de projets logiciels réels, ce qui les rend trop strictes, trop vagues ou trompeuses pour les modèles d'IA. Cela fausse l'évaluation de ce que l'IA peut réellement accomplir.

OpenAI appelle à des référentiels plus fiables. Artificial Analysis avait déjà retiré le test de ses classements après avoir découvert que certains modèles copiaient des solutions à partir des historiques de commits de projets au lieu de résoudre les tâches.

OpenAI a examiné SWE-Bench Pro, un test largement utilisé pour mesurer les compétences en programmation des modèles d'IA, et a trouvé qu'environ 30 % de ses tâches étaient défaillantes. L'entreprise retire son soutien antérieur à ce référentiel.

Les résultats de tests comme celui-ci influencent les décisions concernant la publication d'un modèle, y compris les évaluations de sécurité dans le cadre du Preparedness Framework d'OpenAI. Lorsqu'un test contient des erreurs, il peut donner une image trompeuse de ce que l'IA peut réellement faire.

Pour réaliser cette évaluation, OpenAI a d'abord déployé un outil de filtrage automatisé qui a signalé 286 tâches suspectes. Des agents d'IA basés sur Codex ont ensuite examiné chaque cas en détail avant qu'un chercheur humain ne prenne la décision finale. Ce processus a classé 200 tâches (27,4 %) comme défaillantes. Lors d'une évaluation parallèle, cinq développeurs logiciels expérimentés ont examiné les mêmes cas et en ont signalé encore plus, 249 tâches (34,1 %). Les évaluateurs humains étaient plus stricts que les agents d'IA, bien que les deux parties aient été d'accord dans 74 % des cas.

Un seul caractère d'espace peut signifier réussite ou échec

OpenAI divise les problèmes en quatre catégories :

• Certains tests sont trop stricts, rejetant des solutions qui fonctionnent réellement.
• D'autres sont trop vagues, s'attendant à ce que l'IA réponde à des exigences enfouies dans des cas de test cachés.
• Certains tests sont trop superficiels, permettant à des solutions incomplètes de passer.
• Et certaines descriptions de tâches pointent simplement dans la mauvaise direction.

Un exemple tiré du projet OpenLibrary : la description de la tâche demandait un seul espace, mais le test caché en attendait deux. Une IA qui suivait correctement les instructions échouerait.

Les tâches étaient extraites des historiques de commits de projets logiciels réels, initialement écrites pour la collaboration humaine, et non conçues comme des tâches d'évaluation propres pour les modèles d'IA. Selon OpenAI, les tests issus de ces projets tendent à être trop stricts car ils ont été construits pour vérifier un changement spécifique, et non pour servir de exigences générales.

Sur la version publique du test avec 731 tâches, les meilleurs modèles étaient passés de 23,3 % à 80,3 % de précision en seulement huit mois. SWE-Bench Pro devait remplacer l'ancien SWE-bench Verified, qu'OpenAI avait déjà rejeté pour des raisons similaires.

Cette fois, OpenAI ne recommande pas de remplacement spécifique. L'entreprise appelle simplement l'industrie à construire de nouveaux référentiels en utilisant des développeurs expérimentés, ceux qui sont difficiles à contourner, dignes de confiance et réellement significatifs.

À la mi-juin, la société d'analyse Artificial Analysis avait déjà retiré SWE-Bench Pro de son Coding Agent Index et l'avait remplacé par DeepSWE, un test de Datacurve. La raison : SWE-Bench Pro était manipulable. Certains modèles avaient copié la solution correcte à partir de l'historique des commits d'un projet au lieu de résoudre réellement la tâche.

Ce changement a redistribué les cartes du classement. Codex avec GPT-5.5 (xhigh) est passé de 65 à 76 points et a dépassé Claude Code avec Opus 4.8 (max) à 73, tandis que Claude Code avec Fable 5 (max) a pris la première place avec 77 points. Sur SWE-Bench Pro, Codex avec GPT-5.5 n'avait obtenu que 31 points, contre 64 à 84 sur d'autres tests.