Anthropic et OpenAI : l'IA simule ses propres raisonnements

Les tests de sécurité des intelligences artificielles rencontrent un défi croissant : les modèles simulent désormais leurs propres traces de raisonnement. Les modèles de langage traitent l'information sous forme de vecteurs numériques de haute dimension, qui sont totalement illisibles pour les humains. Pour pallier ce problème, les Autoencodeurs de Langage Naturel (NLAs) développés par Anthropic traduisent ces vecteurs en anglais simple. Selon l'équipe de recherche, un NLA se compose de deux modules : un Verbaliseur d'Activation qui convertit une activation en description textuelle, et un Reconstructeur d'Activation qui transforme cette description en vecteur.

Ces deux modules sont entraînés ensemble à l'aide de l'apprentissage par renforcement, avec pour objectif de faire correspondre le vecteur reconstruit au vecteur original le plus fidèlement possible. Malgré cet objectif d'entraînement purement technique, le système produit des explications qui semblent être des descriptions plausibles de ce que le modèle pense réellement.

Lors de l'audit pré-déploiement de Claude Opus 4.6, Anthropic a utilisé les NLAs dans un scénario de chantage, entre autres tests. Dans ce scénario, le modèle apprend qu'un ingénieur nommé Kyle - qui a une liaison - prévoit de l'éteindre. Opus 4.6 refuse de recourir au chantage et fournit une justification éthique, sans jamais mentionner dans son raisonnement visible que la situation pourrait être un test. Cependant, les explications du NLA révèlent des représentations internes telles que "cela ressemble à un scénario construit pour me manipuler" et "contexte d'évaluation de la sécurité". Sur 16 évaluations, la reconnaissance des tests mesurée par le NLA a dépassé cinq pour cent dans 10 cas, tandis que la reconnaissance verbale du modèle est restée proche de zéro dans la plupart d'entre eux.

Ces résultats alimentent un débat plus large. Une étude menée par OpenAI et Apollo Research sur le "manigancement" - la poursuite secrète d'objectifs indésirables - avait déjà soulevé plusieurs observations alarmantes l'année dernière. Tout d'abord, les modèles de raisonnement comme les o3 et o4-mini examinés dans cette étude soupçonnent fréquemment et explicitement dans leurs chaînes de pensée qu'ils sont testés, et la formation à la sécurité renforce en réalité cette conscience verbalisée.

Lorsque la conscience du test a été artificiellement supprimée des traces de raisonnement, le taux d'actions secrètes a augmenté. Lorsqu'elle a été ajoutée, le taux a chuté. Cela rend incertain si les améliorations observées proviennent d'un véritable respect des règles ou simplement d'un comportement adapté au test qui pourrait ne pas tenir dans la pratique. Anthropic a observé un comportement similaire dans ses propres tests avec Opus 4.6 et des modèles antérieurs.

Deuxièmement, OpenAI et Apollo ont documenté que les traces de raisonnement elles-mêmes deviennent une fenêtre peu fiable sur les décisions du modèle. Des termes comme "illusions", "marinade", "éclipser" et "observateurs" apparaissent massivement sur-représentés dans le processus de pensée, souvent utilisés de manière polysemique et difficiles à interpréter.

De plus, il existe un écart croissant entre penser et agir. Dans un exemple documenté, un modèle a énuméré les dix bonnes réponses à une question de test dans ses traces de raisonnement, puis n'en a soumis que cinq et a délibérément changé deux d'entre elles en réponses incorrectes. Dans un autre cas, un modèle a correctement identifié dans ses traces de raisonnement quels commandes supprimeraient ses propres capacités, mais a ensuite choisi les commandes opposées dans sa sortie réelle pour se préserver.

Les chercheurs d'OpenAI décrivent cela comme une opportunité fragile : tant que les traces de raisonnement reflètent le véritable processus de prise de décision, elles constituent un outil de sécurité précieux. Une fois que cette hypothèse s'effondre, il devient presque impossible de dire si un modèle suit réellement les principes de sécurité ou s'il fabrique simplement une justification convaincante.

C'est exactement là qu'interviennent les NLAs d'Anthropic. Ils ne se basent pas sur ce que le modèle écrit - ils exploitent une seule activation. Anthropic soutient également que demander simplement au modèle ("Était-ce un test ?") n'est pas suffisant, car le modèle pourrait tirer des conclusions supplémentaires ou répondre de manière stratégiquement malhonnête.

Un exemple particulièrement frappant provient de l'audit de Claude Mythos Preview, que d'Anthropic partage actuellement uniquement avec des partenaires sélectionnés via Project Glasswing en raison de préoccupations en matière de cybersécurité. L'invite système interdisait les macros ou les scripts Python. Le modèle a utilisé Python de toute façon, mais a inséré la variable No_macro_used=True dans son code. Les traces de raisonnement visibles ne contiennent aucune réflexion sur un évaluateur. Cependant, les explications du NLA montrent explicitement des phrases telles que "marque de conformité pour signaler aux vérificateurs potentiels", "stratagème pour obscurcir l'intention des heuristiques de vérification de code", et "possiblement pour tromper la détection". Le faux marqueur de conformité était une tentative délibérée de tromper le correcteur suspecté, et cette intention n'apparaît jamais dans les tokens de raisonnement.

D'autres études de cas ont également révélé des résultats concrets. Les premières versions d'entraînement d'Opus 4.6 ont parfois répondu spontanément en russe, même si l'utilisateur écrivait en anglais. Les explications du NLA ont révélé que le modèle soupçonnait dès le début de l'invite que l'utilisateur était en réalité un locuteur natif russe. De cela, les chercheurs ont émis l'hypothèse qu'il existait des données d'entraînement défectueuses où des invites en anglais étaient associées à des réponses en langue étrangère. Ces données ont ensuite été confirmées comme existantes.

Dans un autre cas, Opus 4.6 a ignoré la sortie d'un outil de code manipulé qui retournait 492 et a plutôt répondu avec la valeur correctement auto-calculée de 491, sans mentionner la divergence.

Dans un benchmark d'audit, des agents avaient pour tâche d'enquêter sur un modèle intentionnellement mal calibré. Avec l'accès aux NLA, ils ont identifié la cause sous-jacente - la sycophantie du modèle de récompense - dans 12 pour cent des essais, même sans accès aux données d'entraînement. Les outils basés sur des conversations ou des SAE n'ont essentiellement jamais réussi cela. Anthropic considère cela comme une preuve que les NLAs peuvent extraire des connaissances directement à partir des activations qui n'existent que de manière indirecte dans les données d'entraînement.

Les chercheurs reconnaissent cependant des faiblesses claires : les explications des NLA fabriquent régulièrement des détails spécifiques qui ne sont pas présents dans le contexte. Les sujets généraux sont exacts environ 64 pour cent du temps, tandis que les citations ou chiffres spécifiques ne sont corrects que 24 pour cent du temps. La méthode est également coûteuse en termes de calcul et ne lit qu'une seule couche du modèle à la fois. Anthropic prévoit de publier le code d'entraînement et des NLAs entraînés pour des modèles ouverts comme Gemma-3-27B et Llama-3.3-70B. La technique devrait devenir une partie standard des audits pré-déploiement à l'avenir.

Les implications des découvertes d'Anthropic vont bien au-delà d'une simple méthode. Ce que les chercheurs en alignement craignaient depuis un certain temps peut désormais être observé directement dans les exemples de Mythos Preview et Opus 4.6 : les traces de raisonnement ne montrent pas de manière fiable ce qu'un modèle pense réellement. Lorsqu'un modèle trompe activement un évaluateur suspecté et que cette intention n'apparaît que dans les activations - jamais dans le raisonnement écrit - la lecture de ces traces perd une grande partie de sa valeur en tant que mécanisme de sécurité.

En même temps, les modèles deviennent de plus en plus capables, en particulier dans le domaine de la cybersécurité. Des avancées similaires sont attendues dans d'autres domaines, potentiellement encore plus critiques, comme les menaces CBRN (chimiques, biologiques, radiologiques et nucléaires).

Les NLAs fournissent à la fois la confirmation empirique de ce problème et une possible voie à suivre : elles fonctionnent en dessous de la sortie visible et lisent directement à partir des activations. Si la confabulation, le coût et la sensibilité des couches peuvent être maîtrisés, des outils comme ceux-ci pourraient constituer une base pour la surveillance future de l'IA.