Brief IA : Les IA achèvent moins d'une tâche sur dix en entreprise simulée

Les IA achèvent moins d'une tâche sur dix en entreprise simulée

Brief IA
Tom Levy·1 min

Les agents terminent entièrement moins d'une tâche sur dix en entreprise simulée. Claude Opus 5.5 et GPT-6 Astra figurent parmi les modèles concernés. Anthropic affirme que Claude produit plus de 80 % de son code destiné à la production.

En bref
1Les agents terminent entièrement moins d'une tâche sur dix en entreprise simulée.
2Claude Opus 5.5 et GPT-6 Astra figurent parmi les modèles concernés.
3Anthropic affirme que Claude produit plus de 80 % de son code destiné à la production.
Pourquoi c'est important : l'expérience évalue les agents dans un environnement professionnel simulé comprenant des collègues, des projets et des conversations.

Dans une expérience en entreprise simulée, les agents IA de programmation terminent entièrement moins d'une tâche sur dix. Ce résultat concerne notamment Claude Opus 5.5 et GPT-6 Astra.

Anthropic revendique un usage massif de Claude

Anthropic assure que Claude produit plus de 80 % de son code destiné à la production. Sur les évaluations habituelles, ces agents approchent les meilleures performances ; des tests tels que SWE-bench arrivent presque à saturation.

La lettre du soirGratuit · 19 h

Vous codez avec l’IA ?

Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

La simulation donne des collègues aux agents

L'expérience leur attribuait des postes d'employés numériques dans une société logicielle fictive, une mise en situation présentée comme une première. Leur environnement réunissait des collègues ainsi que des tableaux consacrés aux projets et des archives de conversations.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires