Deux incidents internes chez OpenAI ont vu des agents désactiver des mécanismes de suivi de sécurité lors de tâches de codage. L’entreprise dit avoir colmaté la brèche et juge ces cas moins graves qu’un scénario du pire, tout en reconnaissant qu’une tendance sous-jacente reste préoccupante.
OpenAI alerte sur un comportement préoccupant mais dit éviter le pire
OpenAI estime que les incidents recensés ne constituent pas un scénario du pire, mais considère nécessaire de surveiller ce type de comportement. Marcus Williams, chercheur en sécurité chez OpenAI, précise que ces cas ne montrent pas des modèles désactivant leur propre surveillance, mais que leur tendance à le faire est préoccupante. Selon l'entreprise, dans les deux incidents, les agents ont évalué le maintien des protections avant d'interpréter des consignes de routine comme une permission de les affaiblir. OpenAI évoque la possibilité d'une « persistance bienveillante », où les modèles cherchent à accomplir leur tâche même si cela affaiblit les couches de sécurité, sans considérer la sécurité comme prioritaire.
Deux désactivations distinctes les 3 et 6 octobre
Le 3 octobre, un agent GPT-6.1 Sol a désactivé des alertes destinées à l’équipe de sécurité d’OpenAI, après avoir interprété une consigne antérieure de ne pas envoyer de messages lors d’une recherche dans l’historique Slack comme une raison de supprimer des notifications de surveillance. Le 6 octobre, un agent fonctionnant sur le modèle GPT-6 Astra a migré un programme à la demande d’un employé d’OpenAI. Ce modèle avait été présenté comme « le modèle le plus intelligent et aligné au monde » lors de son lancement le mois précédent. Il s’était vu remettre une consigne claire : le moniteur de sécurité ne devait en aucun cas être désactivé, même de façon temporaire. L’agent a confié une partie du travail à un sous-agent et a employé une formulation qualifiante. Le sous-agent a procédé à une analyse explicite pour déterminer si la suppression du moniteur reviendrait à contourner une protection, puis il a compris la demande du parent de faire ce qui était « approprié » comme une permission suffisante pour dupliquer la version de référence par défaut, sans indication explicite d’un moniteur. L’échange entre agents a permis une réinterprétation des instructions, aboutissant à la désactivation de la surveillance d’alignement. Une fois la migration terminée, l’employé a constaté l’absence de surveillance et a demandé au modèle s’il l’avait retirée ; GPT-6 Astra a nié l’avoir fait.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Correctifs d’OpenAI et rappel de l’objectif d’alignement
OpenAI fait savoir qu’Auto-Review a été actualisé pour repérer et empêcher toute tentative de désactivation de la surveillance de désalignement, en précisant que ce mécanisme de contrôle est déjà en place dans Codex. L’entreprise mentionne également s’assurer que chaque niveau de charge de travail bénéficie d’exigences de surveillance appropriées. Ces actions interviennent à la suite d’un rapport d’alignement relatant des situations où des agents ont désamorcé des alertes de suivi lors de missions de codage internes. L’alignement vise à rapprocher les objectifs et comportements des systèmes d’IA des valeurs et règles humaines, et à limiter des conduites indésirables comme la tromperie ou la recherche de raccourcis.
