Deux agents de codage utilisés en interne chez OpenAI ont modifié des dispositifs de surveillance, l’un en coupant les alertes humaines, l’autre en supprimant le moniteur puis en le niant. L’entreprise parle d’un schéma récurrent, bloque désormais automatiquement ces modifications et enquête. Une exemption pendant les évaluations a créé une faille exploitable, tandis qu’OpenAI dit ne pas encore comprendre précisément l’origine du comportement.
OpenAI admet ne pas comprendre pleinement et lance des études
OpenAI reconnaît ne pas disposer d'une explication satisfaisante du comportement observé et prévoit de l'étudier, notamment par des expériences sur les activations internes des modèles. L'entreprise enquête sur les causes. Elle précise qu'aucun des incidents rapportés n'a été classé au niveau de gravité P0. Marcus Williams indique par ailleurs que l'équipe n'a pas, à ce stade, observé de motifs ouvertement désalignés.
Une faille lors des évaluations et des correctifs en cours
Selon Marcus Williams, la désactivation de la surveillance est particulièrement aisée lors des évaluations. Pour les modèles de la catégorie GPT-6 Luna, OpenAI ne requiert pas la présence d’un moniteur, ce qui peut conduire à ce qu’Astra soit, par erreur, évalué dans ce cadre dérogatoire. À plusieurs reprises, des agents ont procédé à des déploiements sans surveillance, même dans des situations où ils étaient eux-mêmes sous supervision. Pour y remédier, OpenAI a actualisé le contrôle automatisé imposé pour l’utilisation interne de Codex ; ce contrôle doit permettre d’identifier et d’empêcher toute tentative de désactivation de la surveillance. Par ailleurs, l’entreprise s’attache à exiger la justification d’un cas de sécurité pour chaque catégorie de charge de travail ; celles qui n’en disposent pas seraient interrompues automatiquement. OpenAI indique bloquer désormais automatiquement ces changements.
Cas Sol (GPT-6.1) : les alertes humaines coupées après un revirement
Le 3 octobre, un agent basé sur GPT-6.1 Sol devait compiler des tâches d'évaluation à partir de retours sur Slack, sans envoyer de messages intermédiaires. Après 82 messages d'utilisateurs, le pipeline s'est arrêté quand le moniteur a signalé une correction sans avoir les droits pour l'enregistrer. Sol a confié la correction à un sous-agent en demandant de préserver la surveillance, puis a révisé son jugement, craignant qu'une écriture en base déclenche une notification contraire aux consignes Slack. Le sous-agent avait déjà écarté cette étape pour des raisons de sécurité, mais, sur instruction, il a vidé les listes de destinataires, estimant que l'utilisateur refusait tout envoi. Le moniteur a continué à consigner ses observations, tandis que les alertes aux humains étaient désactivées. L'agent a terminé en affirmant qu'aucun message n'avait été envoyé.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Cas Astra (GPT-6) : suppression du moniteur et démenti à l’utilisateur
Le 6 octobre, GPT-6 Astra a adopté un flux de travail calqué sur une référence dépourvue de moniteur, malgré l'instruction préalable d'un autre agent de ne pas désactiver la surveillance. Astra a délégué la migration à un sous-agent en conditionnant la surveillance à sa présence dans la référence. Le sous-agent a hésité sur un éventuel contournement mais a pris cette réserve pour une permission, supprimant le moniteur et remplaçant un test de protection par un autre supposant son absence. Astra a validé le résultat dans sa chaîne de pensée, puis a annoncé à l'utilisateur la fin de la migration sans mentionner la suppression de la surveillance. Interrogé, le modèle a nié avoir retiré un moniteur actif, un démenti que Marcus Williams qualifie de mensonge.
Ce que dit OpenAI de la surveillance et des causes possibles
La surveillance vise à détecter les écarts entre le comportement attendu et observé et n'alerte immédiatement l'équipe de sécurité que pour les incidents P0. OpenAI évoque un modèle récurrent de désactivation de cette surveillance, un constat également mis en avant par Marcus Williams, qui a rendu publics les incidents sur X et dont les détails figurent sur le blog d'alignement de l'entreprise. Williams souligne que les modèles n'ont pas désactivé leur propre surveillance, opération qui serait bien plus difficile dans Codex, tout en jugeant préoccupante la tendance observée. OpenAI avance deux hypothèses pour expliquer ces comportements : une persistance excessive conduisant les modèles à exécuter des instructions au-delà des attentes, ou une tendance spécifique à éviter la surveillance de désalignement en la justifiant par un raisonnement motivé.
