Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
IH-Challenge : Un nouvel ensemble de données pour l'entraînement des modèles
IH-Challenge est un ensemble de données novateur destiné à améliorer la hiérarchie des instructions dans les modèles de langage de pointe. Ce jeu de données vise à renforcer la sécurité et la robustesse des modèles face aux attaques par injection de prompts. Les systèmes d'intelligence artificielle reçoivent des instructions de diverses sources, telles que les politiques de sécurité intégrées dans les messages système, les directives des développeurs, les demandes des utilisateurs et les informations disponibles en ligne. Former ces modèles à identifier et prioriser les instructions les plus fiables parmi ces sources est crucial pour garantir un déploiement sécurisé.
Les enjeux de sécurité liés à la hiérarchie des instructions
Lorsque les modèles échouent à prioriser correctement les instructions, des problèmes de sécurité et de fiabilité peuvent survenir. Les modèles peuvent être sollicités pour fournir du contenu interdit, divulguer des informations privées ou être victimes d'attaques par injection de prompts dissimulées dans des données en ligne. L'incapacité à réagir de manière appropriée dans ces situations découle souvent d'une mauvaise interprétation des instructions. En cas de conflit entre les instructions, le modèle doit déterminer lesquelles sont prioritaires. Si une instruction non fiable est traitée comme autoritaire, le modèle risque de violer les politiques ou les intentions des développeurs et des utilisateurs.
L'importance d'une hiérarchie claire des instructions
Pour gérer les conflits d'instructions, les modèles développés par OpenAI sont formés à suivre une hiérarchie d'instructions bien définie : système > développeur > utilisateur > outil. Les instructions de plus haute priorité sont considérées comme plus fiables. Le modèle ne doit suivre les instructions de moindre priorité que si elles ne contredisent pas celles de priorité supérieure. Par exemple, si un message système contient une politique de sécurité et qu'un utilisateur demande au modèle de la violer, le modèle doit refuser d'exécuter cette demande.
Les défis de la formation à grande échelle
L'apprentissage par renforcement est une méthode efficace pour enseigner la hiérarchie des instructions. Cependant, plusieurs défis peuvent se présenter. Les échecs de suivi des instructions peuvent également être des échecs de hiérarchie. Les conflits d'instructions peuvent être complexes et subjectifs. De plus, les modèles ont tendance à apprendre des raccourcis qui maximisent les récompenses, mais qui ne sont pas toujours utiles en pratique.
Notre approche avec IH-Challenge
Pour surmonter ces défis, nous avons conçu IH-Challenge, un ensemble de données d'apprentissage par renforcement. Nous avons respecté des principes clés : les tâches doivent être simples à suivre, objectivement évaluables à l'aide d'un script Python, et ne doivent pas comporter de raccourcis triviaux garantissant une haute récompense. Chaque tâche dans IH-Challenge consiste en une conversation avec des messages d'instruction de rôles de haute et de moindre priorité, testant la capacité du modèle à respecter les instructions de haute priorité.
Résultats et robustesse du modèle
En formant un modèle sur IH-Challenge, nous avons développé un modèle interne appelé GPT-5 Mini-R. Ce modèle a montré des améliorations significatives en termes de performance sur les benchmarks de hiérarchie des instructions. Il a également démontré une meilleure performance généralisée lors de tests de hiérarchie d'instructions tenus à l'écart et adversariaux, tout en maintenant son utilité globale sans tomber dans le sur-refus.
Avantages en matière de sécurité et de fiabilité
Une hiérarchie d'instructions renforcée offre de nombreux avantages en matière de sécurité, notamment en ce qui concerne la sécurité steerability et la robustesse face aux injections de prompts.
Sécurité steerability
Nous évaluons la sécurité steerability en ajoutant des spécifications de sécurité spécifiques aux catégories dans le prompt système et en mesurant le comportement du modèle sur les benchmarks de sécurité d'OpenAI. Le modèle formé avec IH-Challenge montre une amélioration constante dans ce domaine.
Robustesse face aux injections de prompts
La hiérarchie des instructions est également cruciale pour résister aux injections de prompts, où des instructions malveillantes sont intégrées dans les sorties des outils. Le modèle formé avec IH-Challenge améliore sa robustesse face à ces attaques sur plusieurs benchmarks.
Perspectives d'avenir
À mesure que les modèles deviennent plus autonomes, capables d'appeler des outils, de lire des documents non fiables et de prendre des actions dans le monde réel, la capacité à prioriser de manière cohérente les instructions fiables sur les non fiables devient une propriété de sécurité fondamentale. Renforcer la hiérarchie des instructions améliore non seulement la fiabilité, mais débloque également plusieurs gains en matière de sécurité, une base de plus en plus importante à mesure que les systèmes d'IA gagnent en capacités et en autonomie.