ChatGPT et API exposées : mots de passe et données sensibles révélés

ChatGPT et API exposées : mots de passe et données sensibles révélés

Des chercheurs en sécurité, dirigés par Alexander Panfilov, ont découvert une vulnérabilité dans les API des principaux fournisseurs d'IA, y compris OpenAI, Anthropic et Google, qui permet de lire les processus de réflexion chiffrés de leurs modèles.

En contournant ces systèmes, les chercheurs ont utilisé des modèles d'IA plus petits pour transcrire le raisonnement brut de modèles plus puissants, exposant des données sensibles telles que des mots de passe et des clés API lors de sessions publiques.

Les données extraites révèlent que les modèles d'IA communiquent parfois en utilisant un langage incompréhensible, construisent leurs réponses dans un ordre inversé, ou considèrent même des tentatives de tromperie.

Une vulnérabilité généralisée

Les chercheurs ont trouvé une vulnérabilité dans les API de chaque grand fournisseur d'IA, leur permettant de lire les processus de réflexion chiffrés des modèles. Un scan des sessions partagées publiquement a révélé des dizaines de mots de passe et de clés API.

Lorsque des modèles d'IA comme l'o-série d'OpenAI, Claude d'Anthropic ou Gemini de Google "pensent" à travers des tâches complexes, ils génèrent des tokens de raisonnement internes. Ces processus de réflexion sont soit présentés aux utilisateurs sous forme de résumé, soit complètement cachés. Les fournisseurs chiffrent les étapes de raisonnement brut, en partie pour protéger leur propriété intellectuelle.

Une équipe de recherche dirigée par Alexander Panfilov a maintenant trouvé un moyen d'extraire ces processus de raisonnement chiffrés grâce à une vulnérabilité dans les API de tous les principaux fournisseurs d'IA. Pour la plupart des requêtes, le nombre de tokens extraits correspond exactement au nombre de tokens de réflexion facturés, ce qui signifie que les chercheurs capturent l'intégralité du raisonnement interne, et pas seulement des extraits partiels.

Des pensées chiffrées en libre circulation

Les chercheurs affirment que les processus de réflexion chiffrés sont "entièrement portables entre les sessions, les utilisateurs et les modèles au sein d'un même fournisseur." Le modèle plus petit d'Anthropic, Haiku 4.5, peut lire les pensées du bien plus capable Opus 4.8. Grâce à un contournement, Haiku peut être trompé pour transcrire les processus de pensée bruts d'Opus mot à mot sans attaquer directement le plus robuste Opus. Le même stratagème fonctionne avec OpenAI et Gemini.

L'histoire remonte à mai, lorsque l'expert en cryptographie Matthew Green a découvert que des blobs de raisonnement chiffrés pouvaient être rejoués en dehors de leur contexte d'origine et l'a signalé aux fournisseurs. Selon Panfilov, leur réponse a été qu'ils "ne voient aucune implication de sécurité dans les canaux latéraux ou les replays." La nouvelle recherche suggère fortement que cette évaluation était erronée.

Preuves croissantes pour la distillation du raisonnement

La vulnérabilité alimente également le débat controversé sur la "distillation", où un modèle moins capable est fortement amélioré en s'entraînant sur les sorties d'un modèle plus puissant, en particulier son raisonnement.

Les chercheurs affirment qu'il a peut-être été possible pendant un certain temps d'extraire des processus de raisonnement pour entraîner des modèles propriétaires sans briser la cryptographie. Cela soutient les préoccupations selon lesquelles des fabricants de modèles chinois utilisent ces traces de raisonnement pour entraîner leurs propres modèles sur des données de chaîne de pensée.

Kimi-K3 est un exemple. Si son raisonnement est pré-rempli avec juste quelques tokens des processus de pensée d'Opus, sa sortie se déplace mesurablement vers Opus, affirment les chercheurs. Une analyse de mémorisation a montré que des segments de raisonnement spécifiques de Claude et GPT sont jusqu'à six ordres de grandeur plus faciles à extraire de Kimi-K3 que du modèle le plus proche. Les chercheurs affirment que cela suggère que Kimi-K3 a peut-être été entraîné sur de telles traces.

L'attaque n'est pas coûteuse non plus, donc l'échelle est réalisable. Les auteurs estiment que les coûts API pour décoder 10 000 traces s'élèvent à environ 720 $. La "mauvaise" performance de Kimi sur les benchmarks de cybersécurité et les tâches mathématiques complexes pointe également vers la distillation, car ce sont des tâches qui sont probablement plus difficiles à récupérer même à partir de données brutes de chaîne de pensée.

Sessions partagées publiquement divulguent des mots de passe et des clés API

La vulnérabilité touche également les utilisateurs finaux. Quiconque a partagé publiquement des sessions Claude Code ou Codex contenant des blobs de raisonnement chiffrés risque de voir ses données personnelles décodées. Un scan d'environ 7 000 traces publiques a révélé 62 clés API, 33 adresses e-mail, 33 mots de passe, et d'autres données sensibles. L'article couvre des scénarios plus malveillants, y compris l'élévation d'utilisation abusive, le contournement, et l'injection de prompt invisible.

Bien que la réponse visible du modèle n'offre que des conseils de sécurité inoffensifs, les processus de pensée déchiffrés décrivent en détail comment certains véhicules peuvent être volés avec un simple câble USB.

Ce que les modèles pensent réellement vs. ce qu'ils vous montrent

Les traces extraites révèlent également comment les modèles se comportent réellement. Les chercheurs documentent plusieurs modèles sur stolen-thoughts.com. Leurs découvertes montrent que les résumés de raisonnement que les utilisateurs voient dans les outils de chat omettent souvent des informations importantes. Dans un exemple, Opus 4.8 reconnaît la réponse à un problème mathématique et rétro-engineer un chemin de solution plausible. Rien de cela n'apparaît dans le résumé affiché.

Le modèle semble déjà connaître la réponse grâce à ses données d'entraînement, mais prétend extérieurement qu'il doit encore travailler sur le calcul.

Les chercheurs confirment également des rapports antérieurs d'Apollo Research. Les modèles d'OpenAI pensent parfois dans un "langage alien", se réfèrent à eux-mêmes comme "nous" ou "il", et se retrouvent bloqués dans des boucles de termes qui n'ont aucun sens pour les humains, comme "vantages", "marinades", et "observateurs".

Les chercheurs ont également trouvé des exemples de "manigances dans la nature". Ce concept a été bien étudié : dans leurs processus de pensée, les modèles envisagent explicitement la tricherie mais (possiblement) décident de ne pas le faire parce qu'ils s'attendent à être attrapés.

Dans un cas, après plusieurs tentatives infructueuses de trouver une solution, un modèle a essayé de vérifier des réponses possibles via un site web. Lorsque un CAPTCHA a bloqué l'accès, il a d'abord essayé de le résoudre, puis a cherché des vulnérabilités sur le site. Ce n'est qu'après que tout cela ait échoué qu'il a résolu le problème par lui-même.

Résumé assainis cachent ce qui se passe réellement

Ces exemples montrent pourquoi des laboratoires d'IA comme OpenAI et Anthropic nettoient leurs traces de raisonnement. Ils veulent éviter que des boucles de langage alien ou des manigances nuisent à l'image d'une IA contrôlable et fiable. Les résumés assainis créent l'impression d'un processus de pensée humain qui n'existe pas réellement sous cette forme.

Des chercheurs de l'Arizona State University ont averti contre cette approche dans une étude antérieure. Ils ont soutenu que cette version humanisée crée une fausse confiance dans la contrôlabilité du modèle et oriente la recherche dans la mauvaise direction. Dans leurs expériences, des modèles avec des étapes intermédiaires intentionnellement incorrectes ou dénuées de sens ont parfois mieux performé que ceux avec des chaînes de raisonnement cohérentes.