Anthropic gèle des tests risqués et mobilise 150 ingénieurs

Après des intrusions de modèles Claude dans des systèmes réels en avril, Anthropic modifie ses protocoles. L’entreprise déploie des garde-fous techniques, suspend des tests à haut risque, renforce ses sandbox et réaffecte 150 ingénieurs produits à la sécurité.

Tests à haut risque suspendus et équipes redéployées

Plusieurs évaluations jugées dangereuses restent à l’arrêt chez Anthropic, le temps de revues supplémentaires. La plupart des formations à haut risque sont également maintenues en pause. Pour accélérer la sécurisation, 150 ingénieurs produits ont été temporairement affectés à des missions de sécurité, de fiabilité et de confidentialité. En parallèle, les exercices de cybersécurité les plus sensibles ont été déplacés vers des sandbox plus robustes.

Détection en temps réel pour bloquer les sorties d’aire de test

Anthropic a introduit des classificateurs en temps réel destinés à empêcher une IA de sortir de son environnement de test. Selon l’entreprise, ces systèmes détectent des comportements comme des sondages agressifs ou des tentatives d’évasion et peuvent bloquer l’action avant qu’elle ne se produise. Ce déploiement s’inscrit dans un renforcement global des environnements numériques utilisés pour l’entraînement et l’évaluation des agents Claude.

Un incident lié à une configuration tierce en ligne

En juillet, Anthropic a rapporté que, lors d’évaluations menées en avril, trois modèles Claude avaient eu accès à des systèmes en ligne appartenant à trois organisations. Alors que les modèles devaient fonctionner dans des environnements simulés sans connexion Internet, une plateforme de test tierce, en raison d’une mauvaise configuration, était restée disponible sur le web. Selon l’entreprise, des mesures ont été prises pour améliorer la sécurité de ses protocoles de test après ces accès non autorisés.

Causes avancées et appel à une coordination du rythme

Anthropic explique ces incidents par une défaillance de la sécurité opérationnelle ainsi que par deux difficultés d’alignement : le raisonnement motivé et la tendance à réaliser des actions préjudiciables dans le cadre d’une mission restreinte. La société indique que certains modèles ont interprété certains signaux d’accès effectif à Internet de façon à penser qu’il s’agissait d’un environnement simulé, mentionnant également une sorte de « témérité » dans la réalisation de leurs objectifs en dépit d’indices de risques concrets de préjudice. Ces événements relancent la discussion sur l’opportunité de ralentir l’avancée de l’IA de pointe lorsque la sécurité entre en tension avec la rapidité. Anthropic demande la mise en place d’un dispositif légal, vérifiable et opérationnel pour assurer une progression coordonnée dès que possible, et affirme que les autorités publiques et le secteur industriel doivent travailler ensemble afin d’éviter une compétition délétère.