Brief IA : METR alerte sur les limites des évaluations de l'IA

METR alerte sur les limites des évaluations de l'IA

Brief IA
Tom Levy·2 min

METR avertit que les progrès rapides des modèles d'IA compliquent leur évaluation, car les tests usuels peuvent surestimer leurs performances en conditions réelles. L'organisation projette qu'une extrapolation naïve pourrait aboutir à 50 % de réussite sur des tâches de 200 heures d'ici juillet 2027, tout en soulignant que les modèles peinent face à des problèmes ouverts nécessitant du jugement.

En bref
1METR avertit que les progrès des modèles compliquent leur évaluation.
2Les tests usuels peuvent surestimer les performances en usage réel, selon l'organisation.
3Une extrapolation naïve projette 50 % de réussite sur des tâches de 200 heures d'ici juillet 2027.
Pourquoi c'est important : METR estime qu'une accélération de la recherche pourrait compromettre la capacité humaine à évaluer les risques catastrophiques des nouveaux systèmes.

L'organisation de recherche en IA METR avertit que les progrès rapides des modèles dans la recherche en intelligence artificielle compliquent leur évaluation. Les données publiques ne permettent pas, selon elle, d'exclure une accélération drastique de cette recherche dans les prochaines années.

Les tests peuvent surestimer les capacités réelles

Selon METR, les évaluations usuelles, simples à mettre en œuvre, risquent de donner une image trop favorable des performances en conditions réelles : les développeurs emploient pour l'entraînement des environnements très proches des tests. Les modèles restent pourtant à la peine devant des problèmes ouverts, sans retour immédiat, qui demandent du jugement. Ils éprouvent aussi des difficultés dans les situations que l'entraînement peut difficilement reproduire.

La lettre du soirGratuit · 19 h

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

METR projette des tâches de 200 heures

METR constate une progression continue des principaux modèles, jusqu'à Opus 5.5 et GPT-6 Astra. Sur des exercices de programmation ou de calcul bien délimités, avec un retour direct, ils font déjà mieux, le plus souvent, que des professionnels expérimentés, selon l'organisation. Ils restent toutefois derrière de grands groupes composés des meilleurs experts.

Pour les travaux longs à réaliser par un humain, METR mesure un doublement tous les 3,6 mois de la durée des tâches accessibles aux modèles. Une extrapolation qualifiée de naïve aboutit à une réussite de 50 % pour les tâches les plus longues, de 200 heures, à l'horizon de juillet 2027. L'organisation prévient qu'une accélération de la recherche pourrait priver les humains de la capacité à comprendre les risques catastrophiques des nouveaux systèmes, à les évaluer et à y répondre de façon significative.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires