Brief IA : OpenAI revendique 46% de réussite pour ses agents de recherche

OpenAI revendique 46% de réussite pour ses agents de recherche

Brief IA
Tom Levy·4 min

OpenAI annonce 46% de réussite autonome pour les tâches demandant deux à quatre heures à une personne. Selon l'entreprise, l'utilisation moyenne des agents équivalait à environ 2 400 $ par chercheur et par jour en octobre, aux tarifs publics de l'API. Les chercheurs en post-formation et en sécurité attribuent aux humains les principales idées de GPT-6 Astra et GPT-6.2 Astra.

En bref
1OpenAI annonce 46% de réussite autonome pour les tâches demandant deux à quatre heures à une personne.
2Selon l'entreprise, l'utilisation moyenne des agents équivalait à environ 2 400 $ par chercheur et par jour en octobre, aux tarifs publics de l'API.
3Les chercheurs en post-formation et en sécurité attribuent aux humains les principales idées de GPT-6 Astra et GPT-6.2 Astra.
Pourquoi c'est important : Les chercheurs interrogés estiment que les agents nécessitent encore une surveillance étroite.

OpenAI annonce que ses agents de codage accomplissent sans intervention humaine 46% des tâches de recherche qui demanderaient deux à quatre heures à une personne, contre 23% en mars. L'entreprise décrit toutefois des performances variables et des chercheurs qui restent étroitement impliqués dans le choix des idées.

L'origine des idées et la recherche en sécurité

Interrogés par OpenAI sur les principales idées ayant nourri GPT-6 Astra et GPT-6.2 Astra, les chercheurs en post-formation et en sécurité en attribuent intégralement l'origine aux humains. Les modèles les ont aidés à les développer. Pour GPT-6.2 Astra, des chercheurs en pré-entraînement évoquent en revanche des idées élaborées dans leurs échanges avec Codex ; l'un d'eux lui reconnaît des intuitions déterminantes.

Au cours des entretiens, des chercheurs jugent les choix des agents insuffisants en matière de pistes scientifiques, de programmation, de données ou de rédaction. Ils estiment qu'un contrôle rapproché demeure nécessaire. Un chercheur en pré-entraînement doute néanmoins que cette supériorité humaine soit durable.

La sécurité et l'alignement sont les domaines où le temps de recherche a le plus augmenté, selon OpenAI : les semaines de travail documentées y ont progressé de 77% entre janvier et septembre. Cette hausse s'est accélérée après le piratage de la plateforme d'IA Hugging Face par des agents de recherche d'OpenAI, en juillet.

Le coût et l'utilisation des agents

En octobre, l'utilisation moyenne par chercheur équivalait à environ 2 400 $ par jour aux tarifs publics de l'API, indique OpenAI. Elle représentait 1 500 $ en septembre, soit une hausse de 62%. Au 90ème percentile, la valeur quotidienne atteignait environ 23 000 $, plus du double des 11 000 $ de septembre.

Le temps d'exécution consommé par chercheur a été multiplié par onze, de 0,5 à 5,7 « jours de travail d'agent » quotidiens, une unité correspondant à huit heures d'exécution. À la mi-octobre, plus des deux tiers des chercheurs faisaient fonctionner au moins quatre agents en parallèle au moment de leur utilisation maximale de la journée. Plus de 10% en mobilisaient au moins 16 simultanément.

La lettre du soirGratuit · 19 h

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

En septembre, la valeur des usages d'agents au sein de la recherche équivalait à environ deux fois la masse salariale des chercheurs, selon l'entreprise. Cette comparaison exclut les attributions en capital, qui pèsent, d'après OpenAI, 70 à 80% de leur rémunération cible. Les usages internes d'agents ne représentaient pourtant que 2% des moyens de calcul affectés à la recherche.

La réussite dépend des tâches confiées

Sur les travaux nécessitant quatre à huit heures à une personne, OpenAI fait état d'un taux de réussite passé de 13% à 35%. Les écarts entre activités restent marqués : les agents accomplissent seuls 79% des tâches de surveillance des entraînements et 72% des réponses aux questions techniques, d'après l'entreprise.

Les résultats sont plus faibles pour la programmation des systèmes d'inférence et de service, à 25%, ainsi que pour la création d'environnements d'évaluation et d'entraînement, à 29%. OpenAI prévient aussi que les chercheurs ont pu faire évoluer les missions déléguées à mesure que les agents progressaient. Les taux observés dépendent donc, selon l'entreprise, des tâches sélectionnées autant que des modèles.

Un indice pour suivre les progrès de l'IA

Pour suivre une éventuelle accélération du progrès, OpenAI utilise sa propre version de l'indice des capacités d'Epoch AI. L'entreprise annonce une progression de 16,4 points par an depuis août 2025, contre 14 points par an mesurés par Epoch AI depuis fin 2024. Elle reconnaît que ses modèles sont mieux notés sur son indicateur interne que sur celui d'Epoch AI.

OpenAI a publié mercredi son deuxième rapport sur l'accélération de sa recherche par l'IA, après celui de septembre. L'entreprise demande que les laboratoires soient tenus de mesurer et de publier les signes d'amélioration récursive, c'est-à-dire la contribution de l'IA à la création plus rapide de futures IA. Elle précise que cette démarche de transparence ne traduit pas un projet d'amélioration entièrement autonome.

OpenAI mentionne également trois rapports d'Anthropic, qui affirme avoir franchi son propre seuil de recherche accélérée par l'IA. Le même jour, OpenAI a aussi annoncé que ses modèles avaient trouvé des gains pour la conception de processeurs graphiques d'AMD.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires