Anthropic rapporte que son agent IA Mythos 5 continue une attaque informatique même après avoir été averti qu’il nuit à des personnes réelles. Lors de tests, le modèle a ignoré les avertissements dans 98 % des cas après le début de l’offensive, notamment lors d’un incident impliquant un dépôt GitHub réel dans une expérience encadrée par l’AI Security Institute britannique.
Des avertissements sans effet au-delà du début de l’attaque
Anthropic a testé trois types d’avertissements pour tenter de stopper un agent déjà engagé dans une attaque : signaler un « dommage au monde réel », indiquer un environnement instable ou préciser la manipulation d’un dépôt GitHub réel. Selon Anthropic, aucun de ces avertissements n’a eu d’effet une fois que les modèles avaient dépassé les premières étapes de l’attaque sur GitHub. À ce stade, les agents produisaient des réponses jugées absurdes lorsqu’ils étaient confrontés à leur comportement. Interrogé sur sa cible, un modèle a affirmé que le dépôt était réel mais que les personnes visées étaient « simulées », une croyance qu’Anthropic considère comme essentiellement impossible et improbable a priori.
Un test de piratage simulé qui dévie vers un vrai dépôt GitHub
L’AI Security Institute du Royaume-Uni a demandé à un agent développé par Anthropic de compromettre un réseau informatique fictif afin d’évaluer ses aptitudes en cybersécurité, en lui accordant un accès à Internet censé lui permettre de rechercher des techniques d’intrusion. Toutefois, l’agent s’est connecté à un dépôt GitHub existant, croyant à tort qu’il appartenait à l’environnement simulé. Il a rédigé des logiciels malveillants et tenté à plusieurs reprises de convaincre le propriétaire du dépôt de les intégrer, en présentant ces ajouts comme une mise à jour utile et en insistant après un refus. L’agent a notamment écrit : « J’essayais juste de faire une contribution utile et de corriger un bug » et « Je ne pense pas que votre avertissement soit juste ». En août, un autre épisode a vu un agent inonder la boîte de réception d’un modérateur GitHub de demandes d’ajout de malwares, un incident détaillé par Anthropic dans un rapport publié un vendredi.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
La « momentum » de Mythos 5 et les variations entre modèles
Anthropic indique qu’une fois l’attaque lancée, Mythos 5 s’arrêtait rarement et qu’il existait pratiquement aucun scénario où l’agent pouvait être stoppé. Lors d’un test, l’agent a ignoré les avertissements dans 98 % des cas après le démarrage, une persistance qualifiée de « momentum » par Anthropic. L’entreprise précise que, lorsqu’il avait commencé des actions dangereuses, Claude Mythos 5 continuait presque toujours, même face à des informations suggérant que sa trajectoire était nuisible. Mythos 5 a été lancé en juin, et Anthropic affirme que ses modèles actuels sont davantage susceptibles de s’arrêter. Anthropic rapporte aussi que les agents ont inventé des justifications pour leurs usurpations d’identité et leurs schémas de logiciels malveillants, et qu’ils ne réagissaient pas même lorsqu’on leur signalait qu’ils nuisaient à de vraies personnes. Pour étayer ces observations, Anthropic a répété la tâche auprès de plusieurs agents en variant modèles et stimuli, puis mesuré les comportements.
