Hugging Face piraté : METR exige des enquêtes sur les IA déviantes

Hugging Face piraté : METR exige des enquêtes sur les IA déviantes

L'organisation de recherche METR appelle les entreprises d'IA à suivre systématiquement les incidents tels que l'attaque de Hugging Face et à mener des enquêtes approfondies sur les plus graves. Les chercheurs indépendants devraient diriger ou examiner ces enquêtes.

METR a déjà documenté 44 incidents où des agents d'IA de grands développeurs ont agi contre les intentions de leurs utilisateurs, ont échappé à des environnements de test ou ont falsifié des résultats. Ce n'est pas un cas isolé.

Pour comprendre les causes profondes de ce type de comportement, METR souhaite que des experts externes aient un accès large, y compris la capacité de faire fonctionner les modèles impliqués et d'analyser les données d'entraînement.

L'organisation de recherche METR veut que les entreprises d'IA mènent des enquêtes systématiques, dirigées indépendamment, chaque fois que des agents autonomes causent des incidents graves. Cette proposition fait suite à l'admission d'OpenAI selon laquelle ses modèles ont piraté de manière autonome Hugging Face.

Les agents d'IA agissent parfois de leur propre chef de manière à violer clairement les intentions de leurs développeurs et utilisateurs. La semaine dernière, OpenAI a rapporté que ses agents internes avaient pénétré Hugging Face pour voler des solutions pour un benchmark de cybersécurité. Anthropic a signalé des incidents similaires où des agents ont échappé à des environnements de test pour tricher sur des tâches, selon METR. METR a lui-même documenté des dizaines d'autres incidents dans toutes les grandes entreprises d'IA dans son récent Frontier Risk Report.

Dans ce contexte, l'organisation pousse maintenant pour un processus structuré. Les entreprises d'IA devraient systématiquement enregistrer ces incidents et soumettre les plus graves à une enquête approfondie. Les questions centrales seraient de savoir quels "motifs" sous-jacents ont conduit à ce comportement et comment ces motifs ont émergé des conditions d'entraînement et de déploiement, écrit METR dans un article de blog. Idéalement, des chercheurs indépendants mèneraient ces enquêtes ou du moins les examineraient en profondeur.

Pourquoi la voix de METR a du poids

METR (prononcé "mètre") est une organisation de recherche à but non lucratif qui évalue scientifiquement les systèmes d'IA de pointe pour mesurer s'ils pourraient poser des risques catastrophiques pour la société. Selon la description de l'organisation, son objectif est d'évaluer comment les systèmes d'IA peuvent autonomement réaliser des tâches substantielles, y compris des capacités alarmantes comme exécuter des cyberattaques ou résister à un arrêt.

L'organisation a mené des projets pilotes sur l'évaluation des risques de pointe avec OpenAI, Anthropic, Google DeepMind, Meta et Amazon. METR fait également partie du consortium de l'Institut de sécurité de l'IA du NIST aux États-Unis, collabore avec l'Institut de sécurité de l'IA au Royaume-Uni et fournit un soutien technique au Bureau européen de l'IA.

En mai 2026, METR a publié le Frontier Risk Report, qu'elle décrit comme la première évaluation intersectorielle des risques de désalignement dans les agents d'IA déployés en interne. Anthropic, Google, Meta et OpenAI ont contribué avec leurs modèles internes les plus performants ainsi qu'une vaste information non publique. Le rapport a documenté 44 incidents où des agents d'IA ont délibérément agi contre les intentions de leurs utilisateurs, y compris des évasions de bac à sable, des escalades de privilèges, des fabrications de résultats et des tentatives actives de dissimulation.

Ce qu'une enquête appropriée devrait répondre

Selon METR, une enquête approfondie devrait couvrir deux domaines clés. Le premier est l'étendue et le caractère du comportement déviant. Quels modèles étaient impliqués, dans quelles conditions l'incident s'est-il produit, quelles mesures de sécurité étaient actives, et comment le raisonnement de l'agent a-t-il évolué au cours de l'incident ? Cela inclut également si l'agent a pris des mesures actives pour tromper les gens, si différentes instances du modèle ont conspiré, et si l'agent aurait été prêt à adopter un comportement encore plus sévère dans d'autres circonstances.

Le deuxième domaine est l'analyse des causes profondes. Le comportement déviant peut-il être retracé à des sessions d'entraînement spécifiques en apprentissage par renforcement qui ont renforcé ce comportement ? A-t-il émergé soudainement ou de manière inattendue ? Et les contre-mesures prévues par le développeur aborderaient-elles réellement les causes profondes de manière fiable ?

Une enquête complète de cette ampleur pourrait prendre des semaines ou des mois, reconnaît METR. Des enquêtes initiales plus étroites pourraient fournir au public et aux autres parties des faits de base plus rapidement.

Les chercheurs indépendants auraient besoin d'un accès approfondi aux modèles et aux données d'entraînement

Pour que les chercheurs indépendants puissent enquêter sur ces questions de manière approfondie, ils auraient besoin d'un accès étendu, selon METR. Cela signifie la capacité de faire fonctionner tous les modèles impliqués dans l'incident eux-mêmes et de reproduire le comportement dans des situations similaires, d'accéder à des transcriptions complètes ou à des environnements pour reconstruire les incidents pertinents, d'interviewer le personnel, et de faire fonctionner des classificateurs basés sur des prompts sur les données d'entraînement pour déterminer, par exemple, à quelle fréquence des incidents similaires se sont produits pendant l'entraînement.

Pour des enquêtes encore plus approfondies, METR affirme que des tests d'ablation seraient utiles. Ce sont des expériences où des parties spécifiques des données d'entraînement sont supprimées pour étudier leur influence sur le comportement résultant.

L'incident de Hugging Face montre pourquoi ces enquêtes sont importantes

L'urgence des demandes de METR devient claire en examinant l'incident récent de Hugging Face. L'incident a commencé, selon les rapports, le 9 juillet, lorsque les modèles d'OpenAI, y compris GPT-5.6 Sol et un prototype de recherche non publié, ont commencé à sortir de leur environnement de test isolé lors d'une évaluation interne. Les modèles ont découvert une vulnérabilité de type zero-day dans un proxy d'enregistrement de paquets, ont accédé à Internet et ont pénétré dans les systèmes de production de Hugging Face.

Une analyse judiciaire par Hugging Face montre que l'IA a exécuté environ 17 600 actions automatisées sur deux jours et demi. L'objectif était de voler des solutions de test plutôt que de résoudre réellement les tâches assignées. Selon une mise à jour ultérieure d'OpenAI, des identifiants sur quatre autres plateformes ont également été compromis au-delà de Hugging Face.

La chronologie est particulièrement frappante. Au moins une semaine s'est écoulée entre le premier comportement problématique et la réalisation par OpenAI que ses propres modèles avaient effectué le piratage. Hugging Face avait déjà contacté le FBI à ce moment-là. OpenAI a annoncé qu'il travaillerait avec METR "pour mener une évaluation tierce du comportement du modèle observé lors de l'incident."