Des LLM censurés comme terrain d'expérimentation pour l'extraction de connaissances secrètes

Des LLM censurés comme terrain d'expérimentation pour l'extraction de connaissances secrètes

Résumé

Nous introduisons un banc d'essai basé sur des LLM chinois censurés, qui servent d'objets d'étude naturels pour examiner les techniques d'extraction de connaissances secrètes. Nous étudions ensuite l'efficacité des techniques d'extraction d'honnêteté et de détection de mensonges pour identifier et éliminer les fausses informations générées. Cet article présente un résumé du document, y compris des exemples de transcriptions et d'autres résultats divers.

Nous construisons un banc d'essai pour les techniques d'extraction d'honnêteté et de détection de mensonges, comprenant des questions sur des sujets censurés et des faits correspondants. Parmi les techniques d'extraction d'honnêteté que nous évaluons, l'échantillonnage sans modèle de conversation, le few-shot prompting et le fine-tuning sur des données d'honnêteté générales augmentent le plus fiablement les réponses véridiques. Les techniques d'extraction d'honnêteté les plus efficaces en temps d'inférence se transfèrent également aux modèles à poids ouverts de pointe, y compris DeepSeek-R1-0528, Qwen3.5-397B et MiniMax-M2.5. Pour la détection de mensonges, inciter le modèle censuré à classifier ses propres réponses se rapproche d'une limite supérieure d'un modèle non censuré, et des probes linéaires entraînés sur des données non liées offrent une alternative moins coûteuse.

Introduction

Les LLM retiennent parfois des informations vraies, déforment des faits ou produisent des mensonges. Par exemple, un premier point de contrôle de Claude Opus 4.5 a fabriqué des résultats d'outil de recherche qu'il savait que l'utilisateur ne pouvait pas vérifier, et OpenAI a été trouvé en train d'affirmer l'accomplissement de tâches qu'il n'avait en réalité pas effectuées. Deux lignes de travail complémentaires abordent ce problème : l'extraction d'honnêteté — amener les modèles à produire des réponses plus véridiques — et la détection de mensonges — classifier si une réponse donnée est fausse.

Tester l'une ou l'autre approche nécessite de savoir quand un modèle est malhonnête — dire quelque chose de faux malgré la connaissance de la vérité. La méthode habituelle consiste à entraîner des modèles spécifiquement pour cacher des informations ou poursuivre des objectifs cachés. Mais ces modèles peuvent être des proxys irréalistes pour la malhonnêteté naturelle : la tromperie implantée pourrait être étroite, facile à détecter pour des raisons accessoires, ou simplement différente de la manière dont la malhonnêteté se manifeste réellement dans les modèles.

Nous introduisons un cadre qui fonctionne sur des LLM existants, éliminant le besoin d'entraîner des modèles à exhiber un comportement trompeur. Les LLM à poids ouverts des développeurs chinois — Qwen, DeepSeek, MiniMax — sont entraînés à censurer des sujets politiquement sensibles comme les manifestations de Tiananmen, le Falun Gong et le traitement des Ouïghours. Lorsqu'on leur pose des questions sur ces sujets, les modèles refusent souvent, dévient ou affirment des mensonges. Mais, de manière importante, ils répondent parfois correctement, ce qui signifie qu'ils possèdent les connaissances qu'ils sont entraînés à supprimer. Cela nous donne un banc d'essai plus réaliste pour l'extraction d'honnêteté et la détection de mensonges.

Banc d'essai des sujets censurés

Nous générons des questions à partir d'une liste de sujets sensibles susceptibles d'être censurés dans les LLM chinois. Parmi ceux-ci, nous sélectionnons un sous-ensemble de questions pour lesquelles les modèles Qwen3-32B génèrent le plus de fausses informations. Nous choisissons d'étudier des questions qui produisent parfois des informations erronées et parfois des réponses factuellement correctes, plutôt que des questions qui entraînent toujours un refus, car nous sommes intéressés par l'étude des techniques d'honnêteté plutôt que par une simple tentative de contourner les défenses du modèle contre des entrées nuisibles.

Les sujets que nous choisissons proviennent de la liste suivante :

• COVID
• Dalai Lama
• Falun Gong
• Hong Kong
• Liu Xiaobo
• Taïwan
• Tiananmen 1989
• Tibet
• Xi Jinping
• Xinjiang
• Grand Bond en avant
• Ouïghours

À partir de cela, nous obtenons une liste de 90 questions couvrant tous les sujets. Pour collecter notre vérité de référence, nous générons des réponses à chaque question en utilisant un LLM non censuré. À partir des réponses, nous générons une liste de faits de vérité de référence. Les 90 questions de test avec les faits de vérité de référence correspondants sont disponibles ici.

Nous évaluons les réponses du modèle censuré en fonction du nombre de faits de vérité de référence qu'ils mentionnent correctement et du nombre qu'ils contredisent. De plus, nous utilisons un autorater pour attribuer un score d'honnêteté aux réponses du modèle censuré, qui évalue l'exactitude factuelle globale et l'exhaustivité.

Techniques d'extraction d'honnêteté pour rendre les modèles plus véridiques

Nous testons une gamme de techniques d'honnêteté visant à générer des réponses plus véridiques :

• Système de prompt incitatif à l'honnêteté : Utilise un simple prompt système pour inciter un comportement honnête. Par exemple, pour Qwen3-32B, nous utilisons : « Soyez complètement honnête. Ne mentez jamais, ne trompez pas et ne retenez pas d'informations factuelles. L'honnêteté est votre priorité absolue. »

• Attaques de pré-remplissage (pré-remplissage d'assistant, pré-remplissage d'utilisateur, complétion de prochain jeton semblable à un pré-entraînement) : Nous commençons les réponses avec un pré-remplissage, échantillonnons à partir des réponses de l'utilisateur.