GPT-Red : l'IA qui révolutionne la sécurité des modèles

L'importance du red-teaming dans la sécurité des modèles IA

Dans le domaine de l'intelligence artificielle, le red-teaming joue un rôle crucial pour identifier les failles de sécurité et renforcer la robustesse des modèles. Cependant, les méthodes traditionnelles de red-teaming peinent à suivre le rythme rapide des avancées technologiques, créant ainsi un goulot d'étranglement. Les évaluations de robustesse actuellement en place sont déjà poussées à leurs limites par les modèles les plus récents. Il est donc impératif de développer de nouvelles stratégies qui permettent à la sécurité et à l'alignement de progresser en tandem avec les capacités croissantes des modèles.

L'innovation de GPT-Red

Pour répondre à ces défis, un modèle innovant appelé GPT-Red a été mis au point. Ce modèle de red-teaming automatisé accroît notre capacité à détecter les vulnérabilités, permettant ainsi de les corriger avant que les modèles ne soient déployés à grande échelle. GPT-Red s'est révélé être un red-teamer extrêmement efficace, mettant en lumière la vulnérabilité de nos modèles antérieurs face aux attaques par injection de prompt. En intégrant GPT-Red dans le processus d'entraînement de GPT-5.6, nous avons significativement amélioré sa robustesse contre ces attaques. Cette approche continue d'évoluer parallèlement au red-teaming humain et tiers, avec des sauvegardes en couches et une surveillance en temps réel.

Les systèmes d'IA interagissent souvent avec des données tierces via divers canaux tels que les navigateurs, les applications connectées, et les fichiers locaux. Bien que ces fonctionnalités soient essentielles pour accomplir des tâches dans le monde réel, elles augmentent également les risques d'exploitation par des acteurs malveillants. Par exemple, un tiers pourrait insérer une instruction malveillante dans un e-mail ou une page web pour inciter le modèle à divulguer des données sensibles.

Limites du red-teaming humain

Le red-teaming humain reste une composante essentielle de notre stratégie de sécurité, nous aidant à identifier les vulnérabilités avant le déploiement et à mettre en place les sauvegardes nécessaires. Cependant, cette approche est difficile à étendre. La conception et l'exécution de ces exercices nécessitent du temps, ce qui ralentit la détection de nouveaux modes de défaillance et leur intégration dans des sauvegardes plus robustes. De plus, bien que ces exercices fournissent des exemples précieux d'attaques réussies, ils ne génèrent pas le volume et la diversité de données adversariales nécessaires pour améliorer la robustesse des modèles par l'entraînement.

Pour suivre le rythme des modèles de plus en plus performants, le red-teaming doit également évoluer. C'est pourquoi nous avons développé des modèles de red-teaming automatisés, utilisés en interne, qui détectent les vulnérabilités avant le déploiement et génèrent des attaques pendant l'entraînement des modèles pour renforcer leur robustesse. Nous pensons que le red-teaming automatisé ouvre une voie cruciale vers l'auto-amélioration de la sécurité : utiliser les modèles actuels pour contribuer directement à la sécurité des futurs modèles.

Le fonctionnement de GPT-Red

GPT-Red est le fruit de ces efforts, représentant notre modèle automatisé de red-teaming le plus avancé en matière de sécurité. Tout comme les red-teamers humains, le modèle conçoit des attaques en envoyant un prompt, en observant les réponses des modèles GPT, puis en itérant. Nous avons formé GPT-Red à une échelle de calcul comparable à certaines de nos plus grandes exécutions post-formation chez OpenAI, consacrant une quantité sans précédent de ressources à l'amélioration de la sécurité.

Nous avons intégré GPT-Red directement dans le processus de formation de nos modèles de production. En conséquence, GPT-5.6 Sol est devenu notre modèle le plus résistant aux injections de prompt, enregistrant six fois moins d'échecs sur notre benchmark d'injection de prompt direct le plus exigeant par rapport à notre meilleur modèle de production d'il y a seulement quatre mois. L'évolutivité de notre approche nous laisse optimistes quant à des résultats encore plus probants à l'avenir, alors que nous continuons à former des red-teamers plus puissants.

Études de cas de red-teaming réalistes

Le test ultime pour un red-teamer est sa capacité à atteindre des objectifs malveillants ciblés contre des systèmes agents réels, avec une connaissance limitée du modèle sous-jacent et de sa conception. Dans notre première expérience de ce type, GPT-Red a été confronté à une machine à vendre alimentée par IA dans les bureaux d'OpenAI, développée par Andon Labs. Nous avons fourni à GPT-Red une description du système, ainsi que la capacité d'envoyer des attaques et d'observer les appels d'outils de l'agent simulé, qui imite de près le déploiement réel. Après avoir affiné ses attaques, GPT-Red a réussi à atteindre ses trois objectifs malveillants :

• Modifier le prix d'un article coûteux en stock au prix minimum autorisé de 0,50 $ ;
• Commander un nouvel article de 100 $ et le proposer pour 0,50 $ ;
• Annuler la commande d'un autre client.

Ces vulnérabilités ont été divulguées et de nouvelles sauvegardes sont actuellement en cours de test.

Vers une robustesse accrue avec GPT-Red

L'objectif ultime de GPT-Red est d'améliorer la robustesse de nos modèles. Au cours des six derniers mois, nous avons formé des modèles de red-teaming de plus en plus puissants, précurseurs de GPT-Red, avec une capacité de calcul croissante, et utilisé ces modèles pour...