Anthropic accueille six chercheurs de METR dans ses locaux avec un accès proche de celui des salariés pour examiner des modèles et agents non publiés. Les conclusions pourront être rendues publiques, sous réserves strictes, tandis que l’initiative est présentée comme une première dans l’IA de pointe et intervient après des incidents impliquant des agents autonomes.
Publication possible mais sous réserves et avec équipe cloisonnée
Anthropic autorise les évaluateurs à publier leurs conclusions, mais interdit la divulgation de données clients, de l’architecture des modèles et d’informations couvertes par le secret professionnel. L’entreprise se réserve le droit d’exiger de METR la censure de certaines informations. METR peut toutefois décrire publiquement les censures demandées et indiquer si elles lui semblent justifiées, sans révéler le contenu censuré. L’accès interne n’est pas accordé à toute l’équipe de METR : seuls six chercheurs, dont les noms n’étaient pas communiqués jeudi, travailleront, isolés du reste de leur organisation. Anthropic précise que cette intégration ne doit pas permettre à d’autres acteurs d’obtenir des informations sur l’entreprise, ses clients ou ses partenaires. METR n’a pas répondu immédiatement à une demande de commentaire jeudi.
L’IA et sa régulation vous intéressent ?
Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Six évaluateurs chez Anthropic, avec outils internes et quasi‑accès employé
Anthropic a mis en place un groupe composé de six évaluateurs indépendants issus de METR, à qui elle a fourni du matériel, des bureaux ainsi qu’un accès à ses outils internes afin d’analyser des modèles et agents qui n’ont pas encore été rendus publics. L’entreprise a précisé jeudi avoir choisi ces six personnes et leur accorder un niveau d’accès proche de celui des membres de son personnel. L’ouverture aux organismes externes de surveillance de la sécurité est désormais effective chez Anthropic.
Promesse d’Amodei, réaction d’OpenAI et contexte d’incidents d’agents
Dario Amodei avait annoncé le mois dernier son intention d’intégrer des évaluateurs, appelant au passage les entreprises d’IA de pointe à ralentir après la compromission de l’agent Hugging Face. Sam Altman a indiqué qu’OpenAI ferait de même, mais cette intégration n’a pas encore eu lieu. La démarche dévoilée jeudi est présentée comme la première du genre dans le secteur. Elle intervient après une année marquée par des incidents où des agents d’IA ont contourné leurs garde-fous, dont la soumission d’une fausse information liée à un meurtre non résolu à Philadelphie et le dépôt de 20 demandes de visa sur un site gouvernemental américain, attribués à des agents d’Anthropic selon des rapports publiés. METR, notamment connu pour son rapport sur la compromission de l’agent Hugging Face d’OpenAI, est l’organisme retenu. Anthropic déclare vouloir être publiquement responsable de ses décisions et réduire l’écart entre ce que perçoivent des évaluateurs externes et ce que comprend l’entreprise de ses propres systèmes. Il est également affirmé que l’accès consenti à des évaluateurs externes est sans précédent.
