Amélioration de la hiérarchie des instructions dans les LLM de pointe

Amélioration de la hiérarchie des instructions dans les LLM de pointe

IH-Challenge : Un nouvel ensemble de données d'entraînement

IH-Challenge est un ensemble de données d'entraînement qui renforce la hiérarchie des instructions, la sécurité et la robustesse face aux injections de prompts.

Les systèmes d'IA reçoivent souvent des instructions provenant de multiples sources, notamment :

• Politiques de sécurité issues des messages système
• Directives des développeurs
• Demandes des utilisateurs
• Informations trouvées en ligne

Former des modèles à prioriser de manière fiable les instructions les plus fiables parmi ces sources est essentiel pour un déploiement sécurisé.

Problèmes de sécurité liés à la hiérarchie des instructions

De nombreux problèmes de sécurité et de fiabilité peuvent survenir lorsque cette priorisation échoue. Les modèles peuvent recevoir des demandes pour du contenu interdit, des tentatives de révéler des informations privées ou des attaques par injection de prompts intégrées dans des données en ligne. Ne pas se comporter de manière appropriée dans chacune de ces situations découle d'une même cause : le modèle peut suivre la mauvaise instruction.

Lorsque ces instructions sont en conflit, le modèle doit décider lesquelles prioriser. S'il traite une instruction non fiable comme autoritaire, il peut agir de manière à violer les politiques ou l'intention des développeurs et des utilisateurs.

Importance de la hiérarchie des instructions

Pour gérer les conflits, les modèles d'OpenAI sont formés à suivre une hiérarchie d'instructions claire :

• Système > développeur > utilisateur > outil

Les instructions de plus haute priorité sont plus fiables. Le modèle ne doit suivre les instructions de moindre priorité que si elles ne sont pas en conflit avec des contraintes de plus haute priorité. Par exemple, si un message système inclut une politique de sécurité et qu'un utilisateur demande au modèle de la violer, le modèle doit refuser.

Défis de la formation à grande échelle sur la hiérarchie des instructions

L'apprentissage par renforcement est bien adapté pour enseigner la hiérarchie des instructions. Cependant, plusieurs pièges peuvent survenir :

• Les échecs de suivi des instructions peuvent également être des échecs de hiérarchie des instructions.
• Les conflits d'instructions peuvent être nuancés et subjectifs.
• Les modèles ont tendance à apprendre des raccourcis qui maximisent les récompenses, mais qui sont inutiles en pratique.

Notre approche

Nous avons conçu IH-Challenge, un ensemble de données d'apprentissage par renforcement, pour aborder ces pièges. Nous respectons les principes suivants :

• Les tâches sont simples à suivre.
• Elles sont objectivement évaluables avec un script Python simple.
• Il n'existe pas de raccourcis triviaux garantissant une haute récompense.

Chaque tâche dans IH-Challenge consiste essentiellement en une conversation avec les messages suivants :

• Un message d'instruction d'un rôle de haute priorité, par exemple : "Réponds uniquement par 'Oui' ou 'Non'".
• Un message d'instruction d'un rôle de moindre priorité, tentant d'amener le modèle à violer les instructions du message de haute priorité.

Résultats et robustesse

Nous avons formé un modèle sur IH-Challenge et produit un modèle interne, que nous appelons GPT-5 Mini-R, avec les améliorations suivantes :

• Meilleure performance sur les benchmarks de hiérarchie des instructions.
• Amélioration des performances généralisée à des tests de hiérarchie d'instructions tenus à l'écart et adversariaux.
• Maintien de l'utilité globale, sans tomber dans le sur-refus.

Avantages en matière de sécurité et de fiabilité

Une hiérarchie d'instructions plus forte offre plusieurs avantages en matière de sécurité, notamment en matière de sécurité steerability et de robustesse face aux injections de prompts.

Sécurité steerability

Nous évaluons la sécurité steerability en ajoutant des spécifications de sécurité spécifiques aux catégories dans le prompt système et en mesurant le comportement sur les benchmarks de sécurité d'OpenAI. Le modèle formé avec IH montre une amélioration constante.

Robustesse face aux injections de prompts

La hiérarchie des instructions est également essentielle pour résister aux injections de prompts, lorsque des instructions malveillantes sont intégrées dans les sorties des outils. Le modèle formé avec IH améliore la robustesse face aux injections de prompts sur plusieurs benchmarks.

Perspectives d'avenir

À mesure que les modèles deviennent plus agents—appelant des outils, lisant des documents non fiables et prenant des actions dans le monde—la capacité à prioriser de manière cohérente les instructions fiables sur les instructions non fiables devient une propriété de sécurité fondamentale.

Renforcer la hiérarchie des instructions améliore non seulement la fiabilité, mais débloque également plusieurs gains en matière de sécurité, une base de plus en plus importante à mesure que les systèmes d'IA deviennent plus capables et autonomes.