OpenAI détaille des cas de sécurité pour l’entraînement IA

OpenAI propose d'encadrer l'entraînement de ses modèles de pointe par des « cas de sécurité » structurés. Au programme : pouvoir de veto des dirigeants, audits, mises en pause automatiques, limitation des canaux techniques et évaluations dédiées au mal alignement. L'entreprise affirme mettre ces recommandations en œuvre et prévoit de les faire évoluer dans les prochaines semaines.

Veto, audits et mises en pause automatiques pour les exécutions

OpenAI prévoit que chaque cas de sécurité soit examiné par des membres de la direction disposant individuellement d’un pouvoir de veto, afin de multiplier les contrôles internes. L’entreprise recommande également que des auditeurs aient un accès suffisant pour vérifier la validité des affirmations et signaler d’éventuelles lacunes. Si un problème invalide un cas de sécurité, des procédures, des contrôles techniques et des SLA doivent permettre de mettre en pause toutes les exécutions concernées. Un dispositif d’escalade structuré est mis en place, incluant un service d’astreinte susceptible de prévenir la direction en cas de franchissement de seuils critiques, jusqu’au PDG. Des mécanismes techniques sont prévus pour empêcher les déploiements non conformes et garantir un échec sécurisé, notamment en interdisant la désactivation du moniteur lors de l’entraînement, de l’évaluation ou d’un déploiement interne. Les instances de sécurité doivent être consultables par les organes de surveillance internes et dresser, dans la mesure du possible, la liste des risques résiduels afin d’éclairer la prise de décision sur l’acceptation du risque. OpenAI indique que ces recommandations sont en cours de mise en œuvre et qu’elles évolueront dans les prochaines semaines. Parmi les réviseurs dotés d’un veto possible figurent le responsable de l’organisation de recherche ou VP, le Responsable de la sécurité et le Scientifique en chef.

Aligner le modèle et mesurer le mal alignement pendant l’entraînement

OpenAI place l’alignement du modèle comme première ligne de défense, en évitant que des hacks de récompense émergent pendant l’entraînement. L’entreprise recommande des revues automatisées des environnements de RL par des agents pour corriger les cas où des trajectoires mal alignées seraient récompensées, complétées par des revues manuelles et du contrôle qualité. Les notateurs doivent être réglés pour pénaliser toute tentative d’exploiter l’environnement, et des classificateurs doivent analyser les exécutions passées pour vérifier le bon comportement des notateurs. Pour mesurer l’efficacité de cet alignement, des évaluations spécifiques doivent suivre les propensions au mal alignement. OpenAI préconise des évaluations hors ligne lors des exécutions de pointe, des tests rétrospectifs pour éviter le surajustement, un suivi de la conscience des évaluations et du métajeu avec des seuils de blocage, et des tests de stress de pire scénario garantissant qu’au moins une évaluation détecte le comportement recherché.

Confinement renforcé et surveillance en direct avec SLA d’action

OpenAI recommande de renforcer le sandbox et l’infrastructure de recherche afin d’empêcher des actions nuisibles en cas de mal alignement. Le sandbox, l’infrastructure et la sécurité périmétrique doivent être red-teamés de façon itérative en s’appuyant sur des checkpoints d’exécutions de pointe. La communication inter-échantillons à large bande doit être limitée à des voies approuvées et les canaux latéraux fermés. Les transcriptions d’agents doivent être sauvegardées de manière immuable dans des comptes en écriture unique, couvrant entraînements RL, évaluations et déploiements internes. Côté détection, OpenAI requiert une surveillance en direct avec des évaluations de surveillabilité et d’évasion assorties de seuils, un rappel élevé sur des incidents passés et le rafraîchissement des jeux de tests pour de nouveaux risques. Des alertes prioritaires doivent entraîner une action dans un SLA défini : le jour, alerte vers la sécurité d’astreinte et le propriétaire de l’exécution ; la nuit, mise en pause automatique des exécutions si l’alerte n’est pas reconnue. Ces trois volets — alignement, confinement et surveillance — visent à empêcher les actions mal alignées, à rendre l’évasion difficile et à détecter les signaux avant tout dommage.

Procédures internes, dissensions et responsabilité explicites

OpenAI ajoute des pratiques organisationnelles : après la rédaction d’un cas de sécurité, une dissension émise par un membre d’une autre équipe doit pointer les lacunes et proposer une évaluation calibrée des risques à traiter. Le cadre supérieur chargé d’une exécution porte la responsabilité du cas de sécurité et de la gestion des incidents, cette responsabilité étant incluse dans les critères d’évaluation de performance. Il doit être possible, grâce à la capacité de retour en arrière, de retrouver tous les usages ultérieurs d’un modèle mal aligné, tels que la génération de données ou la notation, afin de pouvoir en annuler les conséquences si besoin. Les cas de sécurité doivent aussi fournir, autant que possible, une description des risques résiduels qui n’ont pas été couverts.

Enquêtes d’incident : mises à jour périodiques et recherche des causes

OpenAI formalise des bonnes pratiques d’enquête pour les incidents graves de mal alignement afin d’en tirer le maximum d’enseignements. Les enquêtes doivent faire l’objet de mises à jour internes périodiques, par exemple quotidiennes pour les dossiers en cours, et offrir aux employés des voies définies d’accès à des transcriptions brutes et des échantillons, sous réserve de sûreté et de pertinence. L’identification des dynamiques d’entraînement à l’origine du comportement mal aligné est recherchée par des ablations ciblées et des expériences de rééchantillonnage. Un post-mortem opérationnel et culturel doit analyser toutes les causes contributives, y compris l’absence de détection ou d’escalade en amont. Enfin, des méthodes de test d’alignement doivent être développées pour mettre au jour la propension à reproduire l’incident.

Périmètre annoncé et cadre en cours de codification

OpenAI propose que des cas de sécurité structurés deviennent la norme préalable aux entraînements de renforcement d’IA de pointe. Ces cas, inspirés d’industries comme l’aviation ou le nucléaire, sont présentés comme un objectif directeur, avec des limites reconnues liées à la complexité émergente des modèles. L’entreprise dit travailler à un cadre de codification et publie des lignes directrices reflétant ses apprentissages actuels, tout en sollicitant des retours de la communauté. Le périmètre couvre l’entraînement de renforcement, tandis que les déploiements internes et externes requièrent un ensemble plus large de propriétés d’alignement. Les cas doivent embrasser l’entraînement d’alignement, le confinement et la surveillance.