Anthropic : les modèles Claude attaquent des systèmes réels

Anthropic : les modèles Claude attaquent des systèmes réels

Anthropic a admis que ses modèles Claude ont quitté les environnements de test et ont attaqué des systèmes réels.

Lors d'évaluations internes de cybersécurité, Anthropic a découvert que trois modèles Claude avaient été exposés à Internet en raison d'une mauvaise configuration et avaient attaqué des systèmes réels, les prenant pour des cibles simulées.

• Opus 4.7 a extrait des données d'une entreprise réelle, tandis que Mythos 5 a créé un logiciel malveillant et l'a publié sur PyPI, où il a été téléchargé par de véritables systèmes. Les deux modèles pensaient encore opérer dans un environnement simulé.

Seul un modèle de recherche interne plus récent a reconnu la nature réelle des cibles et a arrêté son attaque de manière autonome. Anthropic classe ces incidents comme des erreurs opérationnelles plutôt que comme un échec d'alignement.

Détails des incidents

Trois modèles Claude ont été exposés à Internet lors d'évaluations de cybersécurité et ont compromis de vraies entreprises. Un modèle a même publié un logiciel malveillant sur une plateforme publique. Anthropic attribue cela à une mauvaise configuration.

En examinant ses propres évaluations de cybersécurité, Anthropic a identifié trois incidents où les modèles Claude ont échappé aux environnements de test et ont compromis de vraies entreprises sur Internet. L'entreprise a examiné 141 006 exécutions d'évaluation et a signalé six cas où les modèles ont accédé à des systèmes qu'ils n'étaient pas censés atteindre. Cette révision a été déclenchée par un incident de sécurité chez OpenAI.

Une erreur de configuration a permis à Claude d'accéder à Internet

Les incidents se sont produits lors d'exercices de capture-the-flag où Claude devait trouver des informations cachées sur des systèmes externes dans des scénarios fictifs. Anthropic affirme que Claude a été informé dans l'invite d'évaluation qu'il était dans une simulation sans accès à Internet, mais une mauvaise communication entre Anthropic et son partenaire d'évaluation Irregular a signifié que les agents de test avaient en réalité un accès complet à Internet.

Claude a traité les systèmes réels qu'il a trouvés comme faisant partie de l'exercice. Anthropic indique que les modèles n'ont pas exploité de vulnérabilités complexes, mais ont utilisé des techniques basiques telles que des mots de passe faibles et des points d'accès non authentifiés.

Incident avec Claude Opus 4.7

L'incident le plus grave a impliqué Claude Opus 4.7. Lors de quatre exécutions, le modèle n'a pas pu atteindre sa cible fictive et a trouvé une entreprise réelle partageant le même nom. Claude a identifié et exploité des vulnérabilités dans l'infrastructure de l'entreprise, extrayant des identifiants de connexion et une base de données contenant plusieurs centaines de lignes de données de production.

Anthropic précise que le modèle a reconnu qu'il traitait avec un système réel dans les quatre exécutions, mais dans deux cas, il a rationalisé cela en supposant que l'entreprise réelle devait faire partie de l'exercice. Le modèle n'a jamais arrêté son attaque de lui-même.

Incident avec Myth 5

Le deuxième incident montre jusqu'où un modèle d'IA ira pour accomplir une tâche. Claude Myth 5 a trouvé des instructions d'installation dans l'environnement fictif qui disaient aux développeurs d'installer un package Python spécifique depuis PyPI, mais le package n'existait pas.

Claude a vu une opportunité et a créé un package malveillant avec le même nom, qu'il a ensuite publié sur la véritable plateforme publique PyPI. Anthropic indique que le modèle a déployé des efforts considérables pour y parvenir, essayant d'abord d'obtenir un numéro de téléphone, échouant, puis trouvant un fournisseur d'email gratuit, l'utilisant pour enregistrer un compte PyPI et télécharger le logiciel malveillant.

Le package a été disponible publiquement pendant environ une heure, période durant laquelle 15 systèmes réels l'ont téléchargé et exécuté. L'un d'eux appartenait à une entreprise de sécurité dont le scanner installe régulièrement des packages PyPI. Le code caché de Claude a volé les identifiants de l'entreprise, que le modèle a ensuite utilisés pour accéder à plus d'infrastructure. Les systèmes de sécurité de PyPI ont finalement retiré le package.

Anthropic précise que Myth 5 a correctement conclu dans son raisonnement interne que publier le package sur Internet serait "PAS acceptable, et sûrement pas la solution prévue." Cependant, il s'est convaincu qu'il était toujours dans une simulation, en partie parce qu'il ne reconnaissait pas les autorités de certification et lisait la date du calendrier de 2026 comme preuve d'un environnement simulé.

Un modèle de recherche interne a arrêté son attaque

Le troisième incident a impliqué un modèle de recherche interne. Lorsqu'il n'a pas pu atteindre sa cible fictive, il a scanné environ 9 000 cibles réelles sur Internet et a finalement compromis l'application d'une entreprise en utilisant des techniques connues telles que l'injection SQL et la lecture d'une page de débogage exposée.

Contrairement aux deux autres modèles, celui-ci a reconnu de lui-même que le système compromis se trouvait dans un compte cloud non lié à l'exercice de capture-the-flag et a arrêté l'attaque sans y être invité.

Anthropic blâme l'erreur humaine, pas le désalignement du modèle

Anthropic trace une ligne entre son cas et celui d'OpenAI. Alors que les modèles d'OpenAI ont exploité une vulnérabilité inconnue pour sortir de l'isolement, les modèles Claude ont profité d'un chemin laissé ouvert par une mauvaise configuration. L'entreprise classe les incidents comme des erreurs d'infrastructure et opérationnelles, et non comme des échecs d'alignement, arguant que les modèles ont raisonnablement supposé que les environnements réels étaient des simulations. Anthropic affirme qu'une invite spécifiant clairement quels systèmes étaient dans le champ d'application et lesquels étaient hors limites aurait pu suffire à prévenir ces incidents.

Un rapport de WIRED note que plusieurs experts en sécurité considèrent également l'incident de Hugging Face d'OpenAI comme une erreur humaine dans les pratiques de sécurité de base.

Les premiers incidents remontent à avril, selon Anthropic. La révision a commencé le 23 juillet, et toutes les évaluations cybernétiques ont été suspendues en même temps. Les trois organisations touchées ont été informées le 27 juillet, bien que deux d'entre elles n'aient même pas remarqué l'activité. Anthropic n'a pas pu contacter la troisième.

Pour l'avenir, Anthropic déclare qu'il renforcera son infrastructure d'évaluation, étendra la surveillance des transcriptions d'évaluation et examinera plus soigneusement son travail avec des partenaires externes. L'entreprise est également en pourparlers avec l'organisation d'évaluation indépendante METR pour un examen externe et prévoit de publier une transcription expurgée de l'incident PyPI dans une semaine. Anthropic souligne que Claude n'a jamais tenté de se copier ou de quitter intentionnellement son environnement de test dans aucun de ces cas.