OpenAI dévoile GPT-Red : le super-hacker qui renforce GPT-5.6

OpenAI et son nouvel atout : GPT-Red

OpenAI a récemment introduit un modèle de langage avancé, GPT-Red, conçu pour agir comme un "super-hacker" dans le but de renforcer la sécurité de ses autres modèles d'intelligence artificielle. Ce modèle innovant a été développé pour servir de partenaire d'entraînement, aidant ainsi à améliorer la robustesse des modèles face aux cyberattaques. La semaine dernière, OpenAI a lancé la dernière version de son modèle phare, GPT-5.6, qui bénéficie de cet entraînement intensif avec GPT-Red, le rendant ainsi plus sécurisé que ses prédécesseurs.

GPT-Red est conçu pour automatiser un processus connu sous le nom de "red-teaming", une méthode de test de sécurité généralement réalisée par des équipes humaines. L'objectif de ce processus est de découvrir autant de vulnérabilités que possible dans un système, permettant ainsi de les corriger avant la mise en production du logiciel. Cette approche est cruciale à mesure que les modèles de langage deviennent de plus en plus complexes et sont utilisés dans des tâches variées, notamment celles impliquant des interactions avec des fichiers informatiques, des sites web et du code tiers.

Un défi croissant pour la sécurité

Avec l'évolution rapide des modèles de langage, la tâche de suivre toutes les menaces potentielles devient de plus en plus ardue pour les équipes humaines. "La surface de risque s'accroît et le rayon d'action augmente également", explique Nikhil Kandpal, chercheur chez OpenAI et co-créateur de GPT-Red. Ce modèle a été conçu pour anticiper cette complexité croissante, garantissant que le processus de test de sécurité reste à la pointe.

Dylan Hunn, un autre chercheur impliqué dans le développement de GPT-Red, souligne que le modèle a déjà permis de découvrir de nouveaux types d'attaques qui n'avaient pas été identifiés auparavant. Cette capacité à identifier des menaces inédites est essentielle pour maintenir la sécurité des modèles d'OpenAI.

Focus sur les attaques par prompt injection

Un des principaux types d'attaques que GPT-Red aide à contrer est connu sous le nom de "prompt injection". Ce type d'attaque consiste à insérer des instructions malveillantes dans un modèle de langage pour le manipuler à des fins indésirables, telles que la divulgation d'informations confidentielles ou la modification de code. Ces instructions peuvent être cachées dans n'importe quel texte que le modèle pourrait rencontrer, comme du code ou des pages web.

Pour développer GPT-Red, les chercheurs ont utilisé une approche innovante appelée "boucle de jeu autonome". Dans ce cadre, GPT-Red a été configuré pour attaquer d'autres modèles, tandis que ces derniers devaient se défendre. Au fil des sessions, GPT-Red est devenu de plus en plus habile à identifier et exploiter les failles des autres modèles, qui ont, en retour, amélioré leurs défenses.

Un entraînement intensif dans un environnement simulé

L'entraînement de GPT-Red s'est déroulé dans un environnement simulé, ou "dojo", conçu par OpenAI. Ce dojo permet de recréer divers scénarios où les modèles de langage pourraient être utilisés dans le monde réel, tels que la navigation sur le web, la gestion d'e-mails ou l'édition de code. Lorsqu'un nouveau type d'attaque était découvert par GPT-Red, le modèle explorait différentes variantes pour déterminer celle qui serait la plus efficace dans des situations spécifiques.

Dylan Hunn note que GPT-Red est particulièrement doué pour identifier les attaques les plus efficaces, surpassant souvent les capacités des testeurs humains. "Il est extrêmement persistant pour approfondir une attaque qu'il a découverte", ajoute-t-il.

Une découverte majeure : la chaîne de pensée factice

Parmi les nouvelles attaques identifiées par GPT-Red, l'une des plus notables est ce que les chercheurs appellent une "chaîne de pensée factice". Dans ce type d'attaque, GPT-Red parvient à insérer des informations erronées dans le processus de réflexion d'un autre modèle, le conduisant à prendre des décisions basées sur des données falsifiées. Chris Choquette-Choo, un autre chercheur de l'équipe, illustre ce concept en expliquant : "C'est comme si je te disais que 1+1=3 et que tu avais déjà vérifié cela."

Validation et tests de performance

Pour évaluer l'efficacité de GPT-Red, OpenAI a reproduit une expérience de 2025 où des équipes humaines tentaient de détecter des faiblesses dans une version antérieure de GPT-5. GPT-Red a réussi à identifier plus d'attaques que les humains dans cette même tâche. De plus, le modèle a été testé contre Vendy, un agent de distributeur automatique développé par Andon Labs, et a réussi à manipuler les prix des articles et à annuler des commandes.

Résultats et limites de GPT-Red

Les tests ont montré que certaines des attaques les plus puissantes découvertes par GPT-Red ont réussi dans plus de 90 % des cas contre GPT-5, mais seulement dans moins de 23 % des cas contre le nouveau GPT-5.6. Cela démontre l'amélioration significative de la sécurité grâce à GPT-Red.

Cependant, GPT-Red n'est pas sans limites. Il n'est pas encore très efficace pour identifier les attaques impliquant une interaction continue entre le hacker et la cible, un domaine où les humains excellent. De plus, il rencontre des difficultés avec les images, qui peuvent être utilisées pour transmettre du texte dans des attaques par prompt injection.

L'avenir de la sécurité des LLM

OpenAI considère que GPT-Red complète le travail des équipes humaines, chaque approche ayant ses propres forces. "L'expertise humaine restera très importante", affirme Jessica Ji du CSET. Elle souligne l'importance de déterminer où les tests humains sont les plus nécessaires.

Enfin, OpenAI n'a pas l'intention de rendre GPT-Red public, soulignant que sa création a nécessité des ressources considérables. "Ce n'est pas une chose triviale que quelqu'un d'autre pourrait facilement faire", conclut Choquette-Choo, mettant en avant la complexité et la puissance de ce modèle.