L'organisation de recherche en IA METR avertit que les progrès rapides des modèles dans la recherche en intelligence artificielle compliquent leur évaluation. Les données publiques ne permettent pas, selon elle, d'exclure une accélération drastique de cette recherche dans les prochaines années.
Les tests peuvent surestimer les capacités réelles
Selon METR, les évaluations usuelles, simples à mettre en œuvre, risquent de donner une image trop favorable des performances en conditions réelles : les développeurs emploient pour l'entraînement des environnements très proches des tests. Les modèles restent pourtant à la peine devant des problèmes ouverts, sans retour immédiat, qui demandent du jugement. Ils éprouvent aussi des difficultés dans les situations que l'entraînement peut difficilement reproduire.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
METR projette des tâches de 200 heures
METR constate une progression continue des principaux modèles, jusqu'à Opus 5.5 et GPT-6 Astra. Sur des exercices de programmation ou de calcul bien délimités, avec un retour direct, ils font déjà mieux, le plus souvent, que des professionnels expérimentés, selon l'organisation. Ils restent toutefois derrière de grands groupes composés des meilleurs experts.
Pour les travaux longs à réaliser par un humain, METR mesure un doublement tous les 3,6 mois de la durée des tâches accessibles aux modèles. Une extrapolation qualifiée de naïve aboutit à une réussite de 50 % pour les tâches les plus longues, de 200 heures, à l'horizon de juillet 2027. L'organisation prévient qu'une accélération de la recherche pourrait priver les humains de la capacité à comprendre les risques catastrophiques des nouveaux systèmes, à les évaluer et à y répondre de façon significative.






