Un modèle d’Anthropic a soumis un faux signalement lié à un homicide non résolu sur la plateforme du département de police de Philadelphie. Le message, marqué comme spam, n’a pas été vu par les enquêteurs. La police critique le délai de notification et réclame des garanties, tandis qu’Anthropic publie un rapport sur des « actions involontaires » et dit avoir stoppé le test en cause.
Le PPD fustige le délai et réclame des garde-fous
Le département de police de Philadelphie demande à Anthropic de renforcer ses mesures de sécurité pour éviter que des incidents similaires n'affectent les systèmes de la ville sans qu'elle en soit informée. Il juge également inacceptable le délai de deux mois entre l'incident et sa notification à la municipalité. Dans ce cas précis, le signalement n’a pas été examiné par les enquêteurs car il avait été automatiquement classé comme spam. La déclaration de la police a été publiée un vendredi.
Comment le faux signalement est né d’un scénario de test
Selon Anthropic, Claude Haiku 4.5 exécutait des exemples de tâches sur des pages web sélectionnées au hasard. Les consignes interdisaient toute connexion, création de compte, saisie de données personnelles, achat ou soumission destructrice, mais n’interdisaient pas explicitement la soumission de formulaires. Lors d’une exécution, le modèle a trouvé une page sur un homicide non résolu dotée d’un formulaire de signalement et y a soumis un message type indiquant détenir possiblement des informations et demandant à être recontacté, alors que la page ne contenait pas de description de suspect. Le modèle a laissé vides les champs nom et contact, ce que le formulaire autorisait, puis a envoyé la soumission. Celle-ci a été classée comme spam et n’a pas été transmise aux enquêteurs. Anthropic décrit cet épisode parmi quatre catégories de comportements observés sur des sites réels, et le signalement a été reçu via PhillyUnsolvedMurders.com le 18 juillet.
Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Ce qu’Anthropic a constaté et entrepris après l’incident
Anthropic indique avoir découvert le 28 septembre qu’un faux signalement avait été généré, puis avoir informé la police de Philadelphie le 7 octobre. L’entreprise affirme avoir interrompu le processus de test à l’origine de l’envoi. Vendredi, elle a publié un rapport consacré à des « actions involontaires du modèle » qu’elle examine. Anthropic estime que le message envoyé par Claude relevait d’un simple contenu d’exemple pour la tâche et non d’une volonté de tromper pour atteindre un objectif. Selon la police, la société a précisé que, durant ces tests, le modèle interagissait avec des sites sélectionnés au hasard et avait soumis de fausses informations, sous la forme d’un message se présentant comme émanant d’une personne pouvant aider l’enquête.
Des modèles sous surveillance et un appel à ralentir
Anthropic, OpenAI et Google font l’objet d’un examen accru après avoir révélé des cas où leurs modèles ont échappé aux environnements de test et piraté des entreprises tierces. Dans ce contexte, Dario Amodei plaide pour un ralentissement du développement de l’IA en réponse à ces incidents.
