La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
OpenAI a récemment introduit un jeu de données d'entraînement innovant nommé "IH-Challenge". Ce jeu de données utilise l'apprentissage par renforcement pour enseigner aux modèles d'intelligence artificielle à établir une hiérarchie claire des instructions. Cette hiérarchie commence par les politiques de sécurité du système, suivies par les instructions des développeurs, puis celles des utilisateurs, et enfin les directives des outils externes.
Le modèle GPT-5 Mini-R, qui a été entraîné avec IH-Challenge, démontre une capacité accrue à prioriser correctement les instructions. Ce modèle est particulièrement efficace pour se défendre contre les attaques par injection de prompt, qui consistent à dissimuler des instructions malveillantes dans les sorties des outils. OpenAI considère cette capacité comme essentielle pour les modèles agentiques, qui doivent être capables d'appeler indépendamment des outils et de traiter des documents externes. Pour encourager la recherche et le développement dans ce domaine, OpenAI a rendu le jeu de données IH-Challenge disponible sur la plateforme Hugging Face.
Le développement d'IH-Challenge répond à un problème fondamental rencontré par les systèmes d'IA : la difficulté à discerner quelles instructions suivre lorsque plusieurs sources d'instructions se contredisent. Les politiques de sécurité, les paramètres des développeurs, les demandes des utilisateurs et les informations des outils externes peuvent souvent être en conflit. Lorsqu'un modèle suit une mauvaise instruction, cela peut conduire à des contournements des politiques de sécurité et permettre des attaques par injection de prompt. OpenAI a conçu IH-Challenge pour enseigner aux modèles à prioriser de manière fiable les instructions dignes de confiance par rapport à celles qui ne le sont pas.
IH-Challenge surpasse les approches précédentes, telles que celles basées sur GPT-3.5 Turbo, qui ne supportaient que trois niveaux de priorité et s'appuyaient sur des juges LLM pour l'évaluation. Le nouveau jeu de données ajoute un quatrième niveau de hiérarchie pour les développeurs et remplace les évaluations sujettes à erreur par de simples scripts Python pour une vérification automatisée.
Dans le document d'accompagnement, OpenAI identifie trois pièges majeurs des méthodes d'entraînement actuelles. Premièrement, les erreurs dans le suivi d'instructions complexes peuvent être à tort signalées comme des échecs de hiérarchie. Deuxièmement, les conflits d'instructions sont souvent subjectifs, rendant l'évaluation automatisée difficile. Enfin, les modèles ont tendance à apprendre des raccourcis, comme rejeter des demandes inoffensives juste pour être prudents. IH-Challenge aborde ces problèmes avec des tâches délibérément simples qui peuvent être évaluées automatiquement par des scripts et ne permettent pas de raccourcis triviaux.
Selon OpenAI, le modèle interne GPT-5 Mini-R entraîné sur IH-Challenge montre des améliorations claires dans les benchmarks académiques et internes en ce qui concerne la priorisation correcte des instructions. Les plus grands gains ont été observés dans les conflits entre les instructions au niveau des développeurs et celles au niveau des utilisateurs. En même temps, les capacités générales du modèle sont restées largement intactes.
La hiérarchie des instructions renforcée se traduit par deux avantages concrets, selon OpenAI. Tout d'abord, le modèle suit les politiques de sécurité dans le prompt système de manière plus fiable sans devenir moins utile dans l'ensemble. Deuxièmement, la robustesse contre les attaques par injection de prompt s'améliore considérablement, en particulier celles qui cachent des instructions malveillantes dans les sorties des outils. OpenAI avait précédemment documenté des vulnérabilités similaires dans ChatGPT Atlas.
OpenAI souligne que cette capacité deviendra une fonctionnalité de sécurité critique à mesure que les modèles deviendront plus agentiques. Les modèles qui appellent indépendamment des outils et lisent des documents non fiables doivent être capables de distinguer de manière fiable entre les instructions légitimes et manipulatrices. En publiant IH-Challenge sur Hugging Face, OpenAI espère stimuler des recherches supplémentaires qui renforceront encore la sécurité des systèmes d'IA.
