Brief IA : METR étend ses tests d'IA aux tâches exigeant du jugement

METR étend ses tests d'IA aux tâches exigeant du jugement

Brief IA
Tom Levy·5 min

METR a ajouté des tâches ouvertes à son évaluation des capacités de l'IA. Aucune évaluation proposée par les modèles n'a été jugée utile aux recherches de METR par ses salariés. Les durées humaines des nouvelles tâches sont principalement estimées.

En bref
1METR a ajouté des tâches ouvertes à son évaluation des capacités de l'IA.
2Aucune évaluation proposée par les modèles n'a été jugée utile aux recherches de METR par ses salariés.
3Les durées humaines des nouvelles tâches sont principalement estimées.
Pourquoi c'est important : Ces tests examinent des capacités de jugement qui seraient nécessaires à l'automatisation de la recherche en IA, au-delà des performances en programmation.

METR a actualisé son évaluation des capacités de l'IA en ajoutant des tâches plus longues et d'autres faisant davantage appel au jugement. Les résultats indiquent que certaines capacités continuent de progresser de façon exponentielle, mais que les modèles réussissent moins bien les exercices de jugement que la programmation.

Des durées estimées et des évaluations difficiles

Les durées attribuées aux nouvelles tâches reposent surtout sur des estimations. Mesurer systématiquement le temps humain demanderait de rémunérer des personnes pendant des centaines d'heures sur certains exercices, ou de mobiliser les rares experts capables de les mener à bien. Le coût comme le délai rendent cette démarche prohibitive.

La mesure du jugement comporte une autre fragilité : pour l'exercice consacré aux arguments philosophiques, une seule personne a noté la plupart des arguments. Les agents obtiennent donc un score selon leur accord avec cet évaluateur. Consulter davantage d'experts pourrait changer les résultats, mais nécessiterait du temps supplémentaire. Au sein même de METR, les salariés ne partagent pas tous le même avis sur la pertinence de cet exercice pour l'automatisation de la R&D en IA.

La difficulté à construire puis à noter ces exercices explique aussi leur faible nombre, qui limite les prévisions possibles. Matt Putz, membre du personnel technique de METR, estime que les activités tributaires du jugement sont particulièrement ardues à étudier et à quantifier. Il ne s'attend pas à pouvoir en tirer des tendances aussi solides et précises que pour des tâches dont les critères sont simples à définir.

Les propositions des modèles restent inutilisables chez METR

Pour tester des aptitudes susceptibles de compter dans la recherche en IA, METR demande notamment aux modèles d'inventer des évaluations que ses équipes pourraient employer. Ses salariés examinent ensuite les propositions. Bien que les systèmes les plus avancés surpassent presque tous les humains en ingénierie logicielle, aucune des évaluations produites par l'IA n'a été jugée utile aux recherches de METR par ses salariés. Sur l'autre exercice, qui consiste à apprécier des raisonnements philosophiques, les modèles restent également sous le niveau humain.

Les résultats comportent néanmoins des signes de progression. Des systèmes récents, parmi lesquels Opus 5.5, tendent à atteindre la catégorie « limite au-dessus de la barre » pour la conception d'évaluations, sans produire pour autant des outils utilisables par l'organisation. Un an auparavant, tous relevaient de la catégorie « clairement en dessous de la barre ».

OpenAI a signalé mercredi un écart comparable dans ses propres usages. L'entreprise indique que ses modèles réussissent moins bien les missions réelles confiées par ses salariés que les exercices plus simples, à résultat vérifiable, de la batterie initiale de METR.

La lettre du soirGratuit · 19 h

La recherche en IA vous passionne ?

Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Le graphique mesure une durée de travail humain

Dans le dispositif initial, humains et modèles effectuaient les mêmes exercices : la durée nécessaire aux premiers servait à en définir la difficulté, puis à situer les réussites des seconds. Ce mode de mesure complexe a contribué aux mauvaises interprétations d'un graphique largement diffusé. Il montrait que la durée humaine des tâches réussies par les meilleurs systèmes doublait tous les quatre mois. Les progrès sur les tâches vérifiables ne semblent pas ralentir.

La batterie élargie comprend davantage d'exercices, dont certains demanderaient beaucoup plus de temps aux humains, ainsi que des activités aux résultats moins faciles à trancher. Celles-ci étaient absentes du dispositif original précisément parce que leur évaluation était difficile. Choisir une nouvelle orientation de recherche, par exemple, ne fournit pas le même signal de réussite qu'une solution mathématique ou un programme dont le fonctionnement peut être vérifié automatiquement.

Cette différence intervient aussi pendant l'entraînement. L'apprentissage par renforcement consiste à multiplier les tentatives, puis à favoriser les voies associées aux réussites et à affaiblir celles liées aux échecs. La vérification automatique des réponses a favorisé les performances en mathématiques et en programmation. Cette méthode s'applique moins aisément lorsque le succès demeure ambigu ou ne peut être apprécié qu'après un long délai.

Les chercheurs divergent sur la recherche automatisée

La capacité des modèles à transférer leurs progrès sur des problèmes vérifiables vers des activités ouvertes demeure incertaine. Ces dernières seraient essentielles à une éventuelle automatisation de la recherche et du développement. Plus tôt ce mois-ci, METR avait estimé, dans une autre évaluation dont de nombreux passages avaient été retirés, que l'IA pourrait multiplier par deux le rythme des progrès en IA chez Anthropic. Cette perspective a alimenté, dans une partie de la communauté IA, des craintes d'auto-amélioration récursive complète : des systèmes concevraient alors leurs propres successeurs sans intervention humaine.

Sayash Kapoor, informaticien et futur professeur à l'UC Berkeley, estime que savoir sélectionner les bonnes questions, hypothèses et expériences constituera un obstacle majeur à cette automatisation. Les échecs actuels sur les exercices ouverts ne le surprennent pas : en août, ses collaborateurs et lui avaient indiqué que les modèles ne savaient pas encore reproduire seuls des recherches humaines en informatique. Il rapporte toutefois une interprétation concurrente, selon laquelle l'entraînement sur des problèmes vérifiables finira par produire des réussites dans les tâches ouvertes également.

Kapoor accueille favorablement des évaluations plus créatives et juge prometteur l'élargissement engagé par METR, tout en considérant qu'un travail considérable reste nécessaire. Najoung Kim, linguiste et informaticien à l'Université de Boston, voit dans les améliorations constatées une information sur les capacités présentes, mais se dit incertain de leur extrapolation. Les spécialistes consultés jugent encore prématuré de donner une réponse définitive sur la possibilité d'une recherche en IA automatisée ou sur son calendrier.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires