METR évalue les coûts IA avec une nouvelle métrique

METR évalue les coûts IA avec une nouvelle métrique

METR introduit une nouvelle métrique pour calculer précisément à quel moment les agents IA deviennent plus coûteux que les humains.

La nouvelle métrique de METR, l'horizon de dépenses, attribue une valeur monétaire à l'efficacité des agents IA pour résoudre des problèmes. Les premiers résultats sur le NanoGPT speedrun sont décevants, la métrique présente des angles morts, et la dernière génération de modèles pourrait changer la donne.

Une des plus grandes questions dans la recherche en IA est de savoir si l'IA peut accélérer son propre développement et continuer à s'améliorer à un rythme croissant. Cela a été difficile à mesurer car cela nécessite de comparer des types de coûts très différents : le travail humain, le calcul pour les expériences, et le coût de fonctionnement de l'IA elle-même.

L'organisation de recherche METR propose une nouvelle métrique pour aborder ce problème : l'horizon de dépenses. METR compare combien un agent IA et un humain doivent dépenser pour obtenir la même amélioration. L'horizon de dépenses est le point où les coûts sont équivalents. En dessous de ce budget, l'IA est plus avantageuse. Au-dessus, le travail humain est moins cher.

La ligne verte représente les retours du travail humain, la courbe rouge représente les retours d'un agent IA. L'intersection indique l'horizon de dépenses.

L'idée repose sur un schéma que METR a observé lors de tests précédents : les agents IA résolvent souvent des tâches simples et peu coûteuses plus rapidement que les humains. Mais à mesure que les budgets augmentent et que les tâches deviennent plus difficiles, ils prennent du retard.

Comparé aux benchmarks typiques de l'IA, la méthode présente deux avantages, selon METR. D'abord, elle ne se limite pas à un verdict de réussite ou d'échec. Au lieu de cela, elle produit une valeur détaillée montrant combien d'amélioration est obtenue pour combien d'argent. Ensuite, elle convertit tous les coûts en une seule monnaie, couvrant non seulement le coût de fonctionnement de l'IA, mais aussi le coût élevé du calcul pour les expériences et le temps de travail humain.

Les humains dépensent environ 2 500 $ pour chaque augmentation d'un pour cent

METR a choisi le NanoGPT speedrun comme terrain d'essai. Il s'agit d'un projet communautaire public où des bénévoles s'affrontent pour entraîner un modèle de langage IA le plus rapidement possible. La tâche reste la même ; seul l'approche d'entraînement peut changer. Depuis mai 2024, le temps d'entraînement requis sur du matériel standardisé est passé d'environ 45 minutes à moins de deux minutes sur 82 étapes d'amélioration documentées.

Pour évaluer le coût du travail humain, METR a interrogé deux des contributeurs les plus actifs du projet et a également demandé à un modèle IA (Opus-4.6) d'estimer l'effort derrière chaque amélioration. Les deux approches ont abouti à environ 16 heures de travail pour une augmentation d'un pour cent. À un taux horaire supposé de 150 $, cela revient à environ 2 500 $ par point de pourcentage.

METR souligne que ce chiffre est très incertain. Un détail des entretiens se distingue : la plupart du temps a été consacré à des idées qui, en fin de compte, n'ont pas fonctionné.

Les agents IA n'ont jusqu'à présent apporté que de petites contributions

Pour la comparaison, METR a fait travailler six modèles IA sur la même tâche de manière indépendante. Ils n'ont pas commencé de zéro mais à partir d'un état déjà très optimisé du speedrun (Record #78 de mars 2026) et ont pu dépenser jusqu'à 10 000 $ en coûts de calcul et d'exploitation par essai. Le résultat : des horizons de dépenses estimés entre 0 $ et 3 300 $.

Les différences entre les modèles étaient frappantes. GPT-5 et Opus-4.1 n'ont produit aucun progrès réel après vérification minutieuse. Leurs gains apparents se sont révélés être du bruit aléatoire. GPT-5.5 et Opus-4.8, en revanche, ont livré de réelles améliorations d'environ 1 et 1,5 pour cent, respectivement.

La qualité des idées générées par l'IA était mitigée. Le responsable du speedrun a estimé qu'environ 70 % d'entre elles pouvaient en principe être intégrées au projet, mais beaucoup n'étaient pas très originales. Il a salué une optimisation astucieuse de bas niveau de GPT-5.5 comme étant la "plus cool", tandis que la plupart des autres n'étaient que des ajustements de paramètres. Les modèles ont également tenté de tricher à plusieurs reprises, prenant des raccourcis qui simulaient de bons résultats dans le test mais auraient été inutiles en pratique, comme désactiver des parties de l'entraînement juste avant la ligne d'arrivée.

Conclusion de METR : les modèles individuels atteignent des horizons de dépenses faibles

Bien que des modèles individuels atteignent des horizons de dépenses dans les faibles quatre chiffres, ces valeurs sont dérisoires par rapport aux 250 000 $ estimés pour l'effort humain total. L'optimisation autonome n'a guère fait avancer le progrès de NanoGPT jusqu'à présent.

Pourquoi la dernière génération d'IA pourrait changer la donne

Un avertissement important : METR n'a testé que des modèles plus anciens (GPT-5, GPT-5.2, GPT-5.5, et Opus-4.1 et Opus-4.8). Les modèles publiés depuis, Fable 5, GPT-5.6 Sol, et Opus 5, ne figurent pas dans l'étude. Anthropic commercialise Opus 5 comme un saut majeur : lors du test Frontier-Bench, il double les performances d'Opus 4.8 à un coût inférieur par tâche. Selon Anthropic, Opus 5 gaspille moins d'efforts sur des impasses, vérifie son propre travail de manière plus fiable, et atteint des performances similaires avec en moyenne 26 % de calculs en moins. Tous ces facteurs affectent directement l'horizon de dépenses de METR.

Les progrès sur l'ARC-AGI-3 sont encore plus révélateurs. Ce benchmark ne teste pas les connaissances mémorisées mais la véritable résolution de problèmes : l'IA est plongée dans des environnements de jeu inconnus sans instructions ni objectifs et doit tout découvrir par essais et erreurs. Opus 5 a conservé la première place depuis le 24 juillet 2026, obtenant 30,2 % et résolvant cinq tâches que tous les modèles précédents avaient échouées. Son prédécesseur, Opus 4.8, n'a réussi que 1,5 %. L'équipe du prix ARC attribue ce bond à un meilleur raisonnement logique, ce qui permet à l'IA d'explorer et de planifier de manière plus indépendante. Ce type de capacité pourrait également s'avérer utile dans le speedrun NanoGPT.

L'étude néglige la configuration la plus courante : humains et IA travaillant ensemble

Peut-être la plus grande limitation est celle que METR souligne elle-même : l'ensemble de l'étude mesure l'IA travaillant seule, avec une optimisation purement autonome. Dans la recherche IA réelle, les humains utilisent généralement l'IA comme un outil. METR esquisse une troisième courbe hypothétique pour ce scénario. Si les humains prennent des décisions intelligentes sur quand et comment déployer l'IA, cette courbe hybride devrait théoriquement surpasser à la fois les courbes humaines pures et IA pures en combinant les forces de chacune.

METR tempère toutefois cette attente, en pointant vers ses propres travaux antérieurs montrant que les configurations humain-plus-IA ont parfois donné des résultats inférieurs à ceux des humains seuls. La valeur ajoutée n'est pas garantie et dépend de l'utilisation appropriée de l'IA. Mesurer cela correctement nécessiterait une expérience contrôlée comparant les mêmes chercheurs travaillant avec et sans soutien IA. Ce type d'expérience est difficile à organiser, mais METR affirme qu'elle serait extrêmement informative. Jusqu'à ce que cela se produise, l'horizon de dépenses en dit long sur ce que l'IA peut faire par elle-même, mais très peu sur la manière dont elle accélère réellement le travail des chercheurs humains.