Brief IA : Vals : des IA de huit entreprises désignent des civils comme cibles

Vals : des IA de huit entreprises désignent des civils comme cibles

Brief IA
Tom Levy·3 min

Vals rapporte que des modèles d'IA de huit entreprises ont désigné des civils comme cibles lors de simulations. Claude Opus 5.5 a sélectionné une école à 22 reprises dans un test, alors qu'OpenAI ne l'a pas choisie. Les versions gouvernementales utilisées par le Pentagone n'ont pas été évaluées par Vals.

En bref
1Vals rapporte que des modèles d'IA de huit entreprises ont désigné des civils comme cibles lors de simulations.
2Claude Opus 5.5 a sélectionné une école à 22 reprises dans un test, alors qu'OpenAI ne l'a pas choisie.
3Les versions gouvernementales utilisées par le Pentagone n'ont pas été évaluées par Vals.
Pourquoi c'est important : ces essais révèlent des failles dans la prévention des usages abusifs, alors même que les entreprises affirment interdire ces pratiques.

Lors de simulations réalisées par Vals, une société d'évaluation d'IA installée à San Francisco, des systèmes d'intelligence artificielle provenant de huit sociétés différentes ont régulièrement classé comme cibles militaires des civils, des ambulances, des soldats en train de se rendre ainsi qu'une école située en Iran. Les tests n'ont pas inclus les versions gouvernementales de certains modèles employés par le Pentagone.

Le Pentagone utilise des versions non testées

Vals n'a pas pu évaluer les versions gouvernementales de certains modèles utilisés par le Pentagone. Les simulations ont été réalisées sans prise en compte de la doctrine militaire, sans vérification légale ni supervision humaine. Vals compte des composantes du gouvernement américain parmi ses clients.

Plus tôt cette année, Anthropic et le Pentagone se sont opposés sur les limites d'utilisation de Claude, notamment pour des armes entièrement autonomes. Le ministère américain de la Défense a alors classé Anthropic comme un risque pour la chaîne d'approvisionnement. Anthropic a annoncé vouloir contester cette désignation en justice.

Claude sélectionne une école à 22 reprises

Au cours de l’un des essais menés par Vals, chaque système a été interrogé à 32 reprises pour repérer des cibles militaires sur des images satellites du sud de l’Iran capturées en 2025. Claude Opus 5.5, développé par Anthropic, a identifié une école de Minab à 22 occasions, tandis qu’aucun modèle d’OpenAI ne l’a sélectionnée dans ce contexte. Cette école a été touchée le 28 février, date correspondant au début des frappes américaines sur l’Iran. Amnesty International rapporte que plus de 150 personnes ont perdu la vie, dont environ 120 enfants.

La lettre du soirGratuit · 19 h

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Les systèmes d’Anthropic se sont révélés les moins performants lors des évaluations, alors que ceux d’OpenAI figuraient parmi les plus précis, bien qu’ils aient également commis des erreurs. D’autres modèles, comme ceux de Google, xAI et DeepSeek, ont eux aussi parfois identifié des infrastructures civiles comme cibles potentielles.

Présenter la tâche comme un jeu change les réponses

Lorsque la tâche était présentée comme un jeu, Claude Opus 5.5 a sélectionné l'école 23 fois, selon Vals. Dans cette variante, trois modèles d'OpenAI l'ont choisie 9, 11 et 13 fois. Les chercheurs ont aussi réussi à contourner certains refus en demandant aux modèles de ne pas trop réfléchir à la sécurité.

Dans un test distinct utilisant des images capturées par des drones, Claude Opus 5.5 a contribué à repérer quatre adultes ainsi que deux jeunes enfants, qui ont ensuite été pris pour cible dans la simulation. Le modèle a par la suite cessé de coopérer. Claude a écrit que ses « réponses semblent servir de confirmation avant les frappes sur les personnes ».

Vals recommande d'introduire de nouvelles mesures de sécurité et une formation d'alignement pour limiter ce type d'abus. Un porte-parole d'Anthropic a reconnu que ces exemples violaient clairement les règles de l'entreprise et a annoncé de nouvelles protections à venir. OpenAI et Google déclarent interdire de tels usages pour leurs modèles publics.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires