Anthropic : un audit décrit une IA qui s’entraîne seule

Le groupe externe METR affirme avoir observé chez Anthropic une accélération de la R&D grâce à des modèles qui assistent la formation des suivants. Des modèles internes non publiés et des gains de productivité auto-déclarés sont mentionnés, ainsi que des risques liés à l’auto‑amélioration récursive, selon METR qui affirme que le document a été largement caviardé.

Avertissements de sécurité et caviardage massif signalés

METR affirme que la majorité des preuves qu’il jugeait les plus informatives a été caviardée à l’insistance d’Anthropic. Les chercheurs tiers ont également averti d’un caviardage étendu du rapport. Ajeya Cotra, de METR, a déclaré plus tôt cette année s’attendre à ce que les incidents de sécurité de l’IA les plus graves surviennent chez Anthropic et OpenAI, en partie à cause de lots de modèles internes très capables. Des dirigeants pourraient aussi garder certains modèles privés plus longtemps pour des raisons de sécurité. Jacob Coxon, qui a quitté Anthropic en septembre, met en avant l’auto‑amélioration récursive comme facteur pouvant rendre des systèmes d’IA incontrôlables et a déclaré à propos d’OpenAI et d’Anthropic qu’ils se précipitent vers une superintelligence auto‑améliorante en jouant avec des vies.

Rythme inédit attribué à l’assistance par IA

Les ingénieurs d’Anthropic délèguent davantage la supervision et la formation à d’autres modèles d’IA, une méthode d’auto‑amélioration récursive considérée comme risquée. Cette approche accroît la vitesse de développement. METR estime qu’Anthropic a réalisé environ deux ans de progrès historique au cours de la dernière année. Cette accélération aurait été obtenue principalement grâce à l’assistance de l’IA plutôt que par des contributions entièrement autonomes, même si METR voit des signes que des apports entièrement autonomes pourraient bientôt peser davantage.

Modèles internes récents et non publiés chez Anthropic

Anthropic a achevé récemment trois nouveaux modèles qui ne sont pas encore publiés, tandis que des employés utilisent des modèles internes plus performants que ceux proposés au public. METR décrit un parc interne comprenant un modèle de 2022, ainsi que des modèles finalisés en juillet, en août ou septembre, puis en septembre ou octobre. Selon ses estimations, ces ressources internes accélèrent l’amélioration des capacités. L’usage de modèles existants pour entraîner les suivants à un rythme très rapide et la constitution de modèles non publiés sont également mentionnés.

Productivité auto-déclarée en forte hausse, avec des limites méthodologiques

Anthropic a partagé des sondages internes sur Slack indiquant des gains de productivité importants. METR rapporte une hausse moyenne auto-déclarée d’environ 12x pour le modèle interne le plus capable en octobre, tout en jugeant ces sondages de faible solidité et potentiellement non représentatifs, avec des réponses peu réfléchies. Des chercheurs interrogés affirment que Claude a considérablement amélioré leur travail, l’un d’eux indiquant qu’il a au moins doublé sa productivité et n’est plus limité par le code mais par les idées et les calculs. METR indique ne pas avoir observé de goulets d’étranglement qui empêcheraient une accélération accrue l’an prochain, tout en reconnaissant qu’il pourrait avoir manqué des goulets d’étranglement importants.

Accès exceptionnel de METR et contexte concurrentiel

METR décrit un accès sans précédent de près de trois mois au sein d’Anthropic, mobilisant six chercheurs, avec des entretiens d’employés, une observation de canaux Slack internes et l’examen de modèles non publiés sur le matériel de l’entreprise, depuis le siège de San Francisco. Le rapport a été publié un jeudi. METR est connu pour un précédent rapport sur la violation de l’agent Hugging Face d’OpenAI. Par ailleurs, Anthropic et OpenAI monétisent des modèles avancés vendus au public, tandis que conserver des modèles de pointe en interne procure un avantage aux équipes produits et de recherche.