⚡
En bref1OpenAI a analysé le test de codage SWE-Bench Pro, révélant que 30 % des tâches sont défaillantes.
2L'entreprise a décidé de retirer son soutien à ce test, autrefois largement utilisé pour évaluer les IA.
3Cette découverte remet en question la fiabilité des outils d'évaluation des compétences en programmation des IA.
💡Pourquoi c'est important — La remise en question de SWE-Bench Pro par OpenAI pourrait pousser à réviser les standards d'évaluation des IA, impactant développeurs et entreprises technologiques.
⚡Le brief IA que lisent les pros
Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
📄
L'analyse en françaisOpenAI a examiné SWE-Bench Pro, un test de codage populaire pour évaluer les compétences en programmation des modèles d'IA, et a découvert qu'environ 30 % de ses tâches sont défaillantes. En conséquence, l'entreprise retire son soutien antérieur à cette référence.
