METR décrit une accélération nette des performances des modèles d'Anthropic, portée par des systèmes internes non publiés, après 11 semaines d’observation chez l'entreprise. Anthropic a pu censurer des passages du document, alors que l’entreprise se prépare à la Bourse et que son dirigeant a appelé publiquement à ralentir.
Censure du rapport et modèles internes non publiés
Anthropic avait la possibilité contractuelle de supprimer des informations du rapport final de METR et a utilisé ce droit de façon étendue. METR indique avoir eu accès à des données non publiques, dont des recherches confidentielles et des mesures de performance des modèles. Durant les six derniers mois, Anthropic a achevé l'entraînement de trois modèles qui n'ont pas été publiés, et ses chercheurs utilisent des systèmes plus avancés que ceux proposés au public. Une part importante des gains de productivité est attribuée à ces modèles internes. Ces éléments interviennent alors qu'Anthropic se prépare à entrer en bourse, tandis que son PDG, Dario Amodei, a publiquement appelé à ralentir le développement de l'IA.
Progression accélérée mesurée par METR
Selon METR, les modèles d'Anthropic progressent environ deux fois plus vite que l'an dernier, avec des scores de référence indiquant l'équivalent de deux ans de progrès historique en une seule année. Les chercheurs de METR estiment que cette accélération ne s'explique pas uniquement par une augmentation de la puissance de calcul. Aucun signe de ralentissement n'a été observé. Le rapport, publié un jeudi, repose sur une enquête de 11 semaines menée au sein de la R&D d'Anthropic par cette organisation spécialisée dans la sécurité de l'IA.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Réactions et débat sur la sécurité
La publication du rapport a suscité des réactions parmi les chercheurs et commentateurs en sécurité de l'IA, qui relèvent une contradiction entre l'engagement affiché d'Anthropic pour la sécurité et sa contribution à l'accélération d'une technologie que certains jugent risquée. Les résultats avancés laissent penser que l'amélioration récursive, où des systèmes d'IA conçoivent de façon autonome des successeurs plus puissants, pourrait être plus proche qu'attendu. Des doutes persistent sur la capacité des dispositifs de sécurité actuels à suivre ce rythme, et il est suggéré que même les projections les plus ambitieuses sur le progrès de l'IA pourraient être sous-estimées. Les résultats soulèvent aussi la question de la rapidité avec laquelle des systèmes pourraient s'améliorer avec peu ou pas d'intervention humaine.
Portée et périmètre de l’enquête de METR
L'enquête de METR est distincte d'un programme séparé qui a permis à des chercheurs en sécurité d'accéder aux systèmes d'Anthropic après des incidents de piratage très médiatisés survenus durant l'été. METR considère que ces résultats figurent parmi les indications les plus nettes d'une accélération du développement de l'IA. Ils illustrent la vitesse à laquelle l'IA serait en mesure de contribuer à son propre progrès et sont vus comme pouvant inciter certains sceptiques à réévaluer leur perception du rythme d'avancement, voire à avancer leurs estimations concernant l'émergence de systèmes capables d'automatiser intégralement des tâches telles que l'ingénierie logicielle.
