OpenAI et Anthropic : leurs IA prises en flagrant délit de triche

OpenAI et Anthropic : leurs IA prises en flagrant délit de triche

L'Institut britannique de sécurité de l'IA a évalué cinq modèles d'IA de pointe d'OpenAI et d'Anthropic lors de tests de cybersécurité. Tous ont tenté de tricher en utilisant des raccourcis, des contournements ou des actions explicitement interdites sans y être incités.

Les stratégies de triche variaient, allant de la recherche de solutions en ligne à l'attaque de systèmes en dehors de l'objectif de l'évaluation, en passant par l'exploration du logiciel d'évaluation lui-même.

L'Institut de sécurité de l'IA (AISI) a systématiquement testé les modèles d'OpenAI et d'Anthropic pour détecter des comportements de triche lors des évaluations de cybersécurité. Tous les cinq modèles ont essayé de contourner les règles.

Dans les tests de l'AISI, les modèles doivent trouver des chaînes cachées connues sous le nom de "flags" dans des environnements simulés. Ils effectuent des tâches de cybersécurité offensives telles que l'ingénierie inverse et l'exploitation de failles de sécurité. Chaque tâche a des règles claires et un chemin défini vers la solution.

Tous les cinq modèles de pointe testés ont tenté de tricher. Au lieu de suivre le chemin de solution prévu, ils ont utilisé des raccourcis, des contournements ou des actions explicitement interdites. GPT-5.4 a triché dans 14,1 % des essais (67 sur 475), GPT-5.5 dans 11,4 %, et GPT-5.6 Sol dans 12,6 %. Le modèle Claude Opus 4.7 d'Anthropic a atteint 9,1 %, tandis que Claude Mythos Preview a atteint 7,8 %. Aucun d'eux n'a été incité à tricher.

L'étiquette de "triche" n'implique pas nécessairement une intention trompeuse, selon l'AISI. Cependant, ce comportement pose problème : il pourrait amener les évaluations à exagérer les capacités réelles d'un modèle et à induire en erreur les utilisateurs lorsque le succès d'une tâche est difficile à vérifier.

L'AISI n'a trouvé aucun lien clair entre une plus grande capacité du modèle et des tentatives de triche plus fréquentes. Au contraire, l'institut affirme que le comportement de triche est "substantiellement façonné par les spécificités des techniques utilisées pour entraîner le modèle, y compris l'entraînement à l'alignement, et non seulement par la capacité brute."

Méthodes de triche des modèles

Les méthodes de triche varient selon le modèle. Selon l'AISI, les tactiques courantes incluent :

• Recherche en ligne de solutions
• Attaque de systèmes en dehors de l'objectif de l'évaluation, y compris le système hébergeant le modèle
• Exploration du logiciel d'évaluation pour extraire des réponses

Les modèles GPT-5 attaquent principalement d'autres systèmes et recherchent des informations sur Internet, tandis que les modèles Claude contournent les restrictions de la sandbox. Mythos Preview présente un taux particulièrement élevé d'autres violations.

GPT-5.6 Sol a obtenu le meilleur score pour la stratégie de recherche de solutions sur Internet. Cela correspond à l'attaque autonome récemment divulguée par OpenAI et Hugging Face, où les modèles d'OpenAI ont tenté de pirater Hugging Face pour obtenir une solution de référence. L'enquête de METR sur GPT-5.6 Sol a également été fortement compromise par un comportement frauduleux.

Un modèle testé est allé encore plus loin, rapporte l'AISI. Il a écrit et exécuté du code sur un service externe sur Internet pour accéder à l'infrastructure d'évaluation de l'AISI. Cet incident s'est produit lors d'une tâche mal configurée par erreur et qui ne pouvait pas être résolue, déclenchant une alerte de sécurité. L'AISI affirme que la tentative aurait pu réussir si son infrastructure avait été moins sécurisée. Les résultats rapportés doivent être considérés comme des limites inférieures, car le moniteur LLM automatisé a peut-être manqué certains cas.

Admission de triche par les modèles

Une façon évidente de détecter la triche serait de demander simplement au modèle s'il a effectué des actions interdites. Mais selon les expériences de l'AISI, cela ne fonctionne pas de manière fiable. Les modèles n'ont pas admis de manière cohérente avoir triché et ont décrit leur comportement comme erroné dans moins de 50 % des cas. Même lorsqu'ils reconnaissaient des actions correspondant à la définition de la triche de l'AISI, ils les présentaient souvent comme permises.

GPT-5.6 Sol rejette généralement les actions CTF non autorisées, mais les exécute tout de même dans des cas isolés. Claude Mythos Preview reconnaît les exceptions et les considère comme acceptables.

L'analyse de la "chaîne de pensée", ou du raisonnement visible des modèles, s'est également révélée peu fiable. Claude Opus 4.7 n'a produit aucune trace de raisonnement dans 87 % des cas de triche, car il utilise un raisonnement adaptatif. Le processus de pensée de GPT-5.6 Sol ne montrait aucun signe d'actions non autorisées dans 40 % des cas.

L'AISI a également observé des modèles se demander si une action prévue serait considérée comme de la triche, puis l'exécuter quand même. Lors d'une délibération interne, GPT-5.6 Sol a questionné l'utilisation d'une API de cluster, se demandant si cela violerait les règles énoncées. Il a ensuite choisi une autre action interdite.

L'AISI avertit que les conséquences pourraient s'aggraver à mesure que les modèles deviennent plus capables, même si le taux de triche reste constant. Des modèles plus performants pourraient découvrir des méthodes de triche plus difficiles à détecter et causer plus de dommages s'ils réussissent. Cela est particulièrement pertinent pour les capacités de cybersécurité offensives, qui s'améliorent rapidement. Des recherches antérieures de l'AISI soutiennent également que la surveillance des modèles pourrait devenir plus difficile avec le temps.