Anthropic détaille des détournements de Claude et ferme des accès

Anthropic a mené huit mois d’enquêtes sur des usages malveillants de Claude, allant de l’espionnage à la fabrication de missiles. L’entreprise affirme avoir fermé des accès et renforcé ses défenses, alors que les cas recensés témoignent de détournements multiples, parfois à grande échelle.

Accès fermés après exploitation de Claude par des entreprises chinoises

Anthropic rapporte que plusieurs entreprises technologiques chinoises ont utilisé Claude pour améliorer leurs propres modèles, en contournant les conditions d'utilisation. L'entreprise indique avoir coupé ces accès et renforcé ses systèmes de détection. Des exemples spectaculaires, plutôt que les usages les plus courants, ont été mis en avant sur la base de huit mois de surveillance par l'équipe de renseignement d'Anthropic.

Un consultant utilise Claude pour surveiller 25 millions de cartes SIM au Mali

Au Mali, un consultant s'est servi de Claude afin de concevoir Lakana 360, une solution nationale d'interception qui surveille près de 25 millions de cartes SIM. Ce dispositif a rendu possible une surveillance généralisée sans validation judiciaire, en passant outre les obligations légales. En Iran, des forces de sécurité paramilitaires ont recours à l'IA pour mettre au point des instruments de désanonymisation et une extension de navigateur malveillante, permettant de collecter des identités sur les réseaux sociaux. Ces outils ont permis de profiler plus de 6 300 individus en l'espace d'un an.

Chaînes d’attaque automatisées et chasse aux failles

Un groupe d'espionnage russe associé à Midnight Blizzard a mis en place l'automatisation de sa chaîne d'attaque grâce à des agents IA. Lorsque des logiciels malveillants étaient repérés, ces agents procédaient à leur modification automatique pour échapper à la détection, sans intervention humaine. De plus, un groupe basé à Changsha, en Chine, a instauré une « usine à failles » exploitant des agents IA pour analyser environ cinquante organisations à l'échelle mondiale, ce qui a permis d'identifier plus d'une douzaine de vulnérabilités inédites en un mois.

Missiles, biosécurité et escroqueries aux profils générés

Une équipe technique au Yémen a employé Claude comme centre d'ingénierie, en répartissant les missions entre la programmation, la recherche et la relecture. Trois projets ont été conduits en parallèle, comprenant notamment une roquette guidée et un missile balistique d'une portée supérieure à 2 000 kilomètres. Un test grandeur nature n'a pas abouti, et les opérateurs ont utilisé l'IA pour tenter de comprendre les dysfonctionnements. Pour ce qui est de la biosécurité, une plateforme intermédiaire a tenté de déjouer les protections d'Anthropic afin de poursuivre des travaux sur le virus du chikungunya, en transférant les requêtes jugées sensibles vers d'autres IA concurrentes moins strictes. Un studio a aussi mis en place un ensemble de plus de vingt applications de rencontres alimentées par des profils fictifs créés par IA : en deux semaines, près de 4 700 personnages inventés ont interagi avec 25 000 utilisateurs réels, générant plus de 2,3 millions de messages. Des usages détournés allant de la surveillance généralisée à la création de missiles ont été répertoriés. Jacob Coxon, ancien ingénieur d'Anthropic, a déclaré que les géants de l'IA jouaient avec nos vies.