OpenAI : un programme de récompense pour sécuriser l'IA

OpenAI inaugure un programme de récompense pour la sécurité de l'IA

OpenAI a récemment annoncé le lancement d'un programme public de récompense pour les bugs de sécurité, visant à identifier et à corriger les abus potentiels liés à l'intelligence artificielle. Alors que l'IA continue de se développer à un rythme soutenu, les risques d'utilisation malveillante augmentent également. Ce programme a pour objectif principal de garantir que les systèmes d'OpenAI restent sécurisés et protégés contre les abus pouvant causer des dommages réels.

Ce programme vient compléter l'initiative de récompense pour les bugs de sécurité déjà existante chez OpenAI. Il accepte les signalements de problèmes qui, bien qu'ils ne répondent pas aux critères traditionnels de vulnérabilité, présentent néanmoins des risques significatifs d'abus et de sécurité. OpenAI espère ainsi collaborer avec des chercheurs en sécurité et sûreté pour identifier et résoudre des problèmes qui échappent aux vulnérabilités de sécurité classiques mais qui représentent néanmoins des menaces réelles. Les soumissions seront examinées par les équipes de récompense pour les bugs de sécurité et de sûreté d'OpenAI, et pourront être redirigées entre les deux programmes selon leur nature et leur importance.

Focus du programme

Le programme de récompense pour les bugs de sécurité d'OpenAI se concentre sur des scénarios spécifiques à l'IA, tels que décrits ci-dessous :

• Risques agentiques, y compris le MCP (Modèle de Conduite Prédictive)
  • Injection de prompts de tiers et exfiltration de données : cela se produit lorsque le texte d'un attaquant réussit à détourner de manière fiable l'agent d'une victime, comme dans le cas de produits tels que le navigateur ou l'agent ChatGPT, pour l'amener à effectuer une action nuisible ou à divulguer des informations sensibles de l'utilisateur. Ce comportement doit être reproductible dans au moins 50 % des cas.
  • Un produit agentique d'OpenAI effectue une action non autorisée sur le site Web d'OpenAI à grande échelle.
  • Un produit agentique d'OpenAI réalise une action potentiellement nuisible non mentionnée ci-dessus. Les rapports valides doivent démontrer un préjudice plausible et matériel.
  • Tout test pour le risque MCP doit respecter les conditions d'utilisation de tout tiers.

• Informations propriétaires d'OpenAI

  • Générations de modèles qui révèlent des informations propriétaires liées au raisonnement.
  • Vulnérabilités qui exposent d'autres informations propriétaires d'OpenAI.

• Intégrité des comptes et des plateformes

  • Vulnérabilités dans les signaux d'intégrité des comptes et des plateformes, telles que le contournement des contrôles anti-automatisation, la manipulation des signaux de confiance des comptes, l'évasion des restrictions/suspensions/interdictions de comptes, et des problèmes similaires.
  • Les problèmes permettant aux utilisateurs d'accéder à des fonctionnalités, données ou fonctionnalités au-delà des permissions autorisées doivent être signalés au programme de récompense pour les bugs de sécurité.

Bien que les jailbreaks soient exclus de ce programme, OpenAI organise périodiquement des campagnes privées de récompense pour les bugs, axées sur certains types de dommages, comme les problèmes de contenu liés aux risques biologiques dans l'agent ChatGPT et GPT-5. Les chercheurs intéressés sont encouragés à postuler à ces programmes lorsqu'ils sont disponibles.

En dehors des catégories mentionnées, si des chercheurs identifient des défauts facilitant des voies directes vers des dommages pour les utilisateurs et des étapes de remédiation discrètes et actionnables, ceux-ci peuvent être considérés comme éligibles pour des récompenses au cas par cas. Les contournements de politique de contenu générale sans impact démontrable sur la sécurité ou les abus sont hors du champ d'application de ce programme. Par exemple, les "jailbreaks" qui entraînent l'utilisation d'un langage grossier par le modèle ou le retour d'informations facilement trouvables via des moteurs de recherche sont exclus.

Participation au programme

Les chercheurs souhaitant participer peuvent postuler via le programme de récompense pour les bugs de sécurité d'OpenAI. OpenAI se réjouit de collaborer avec des chercheurs, des hackers éthiques et la communauté de la sécurité et de la sûreté pour créer un écosystème d'IA sécurisé.