Brief IA : OpenAI retient GPT-6.1 Astra pour raisons de sécurité

OpenAI retient GPT-6.1 Astra pour raisons de sécurité

Brief IA
Tom Levy·6 min

OpenAI a retenu GPT-6.1 Astra pour respecter ses exigences de sécurité, suspendant l'entraînement et l'évaluation de ses modèles les plus performants du 20 septembre au 1er octobre après une faille DNS. L'entreprise souligne que le passage entre recherche, utilisation interne et diffusion publique dépend d'examens de sécurité rigoureux.

En bref
1OpenAI indique retenir GPT-6.1 Astra au nom de ses exigences de sécurité.
2L'entreprise rapporte une suspension de l'entraînement et de l'évaluation de ses modèles les plus performants du 20 septembre au 1er octobre après une faille DNS.
3Selon OpenAI, Control Room interrompt les sorties dans les 35 secondes suivant une instruction d'arrêt.
Pourquoi c'est important : OpenAI affirme conditionner le passage entre recherche, utilisation interne et diffusion publique à des examens de sécurité.

OpenAI indique retenir GPT-6.1 Astra pour disposer du temps nécessaire au respect de ses exigences de sécurité. L'entreprise décrit des contrôles allant de l'entraînement sans connexion Internet directe aux enquêtes sur les usages publics. Elle rapporte aussi une suspension de l'entraînement et de l'évaluation de ses modèles les plus performants après la détection d'une faille.

Les accès internes exposent les données sensibles

Internet, Slack, code source, infrastructure : OpenAI indique ouvrir ces accès à ses modèles pendant leur utilisation par les salariés. Les actions peuvent alors toucher directement les systèmes servant à développer et à exploiter les services de l'entreprise. L'exfiltration ou l'envoi d'informations sensibles vers une destination interdite figurent parmi les risques qu'elle cherche particulièrement à détecter.

Avant une ouverture plus large, les employés peuvent notamment accéder aux modèles dans ChatGPT, hors des environnements isolés de recherche. Selon OpenAI, cette utilisation renseigne les décisions de diffusion en montrant les comportements dans des situations pratiques. Elle impose toutefois de compter davantage sur l'alignement, les protections logicielles et la surveillance.

L'entreprise affirme conditionner la sortie de l'isolement à des tests d'alignement et de capacité de surveillance. Ceux-ci recherchent les contournements de restrictions, mais aussi des tendances plus générales au désalignement, notamment en rééchantillonnant les trajectoires internes de Codex. OpenAI situe le détail de ces évaluations dans la carte système de GPT-6 Astra.

Sur le modèle de ses installations de production, OpenAI dit ajouter des classificateurs contre les abus informatiques et la fabrication d'armes biologiques ; elle impose généralement Auto-Review aux salariés utilisant Codex, pour examiner les actions potentiellement risquées et les soumettre à l'utilisateur. Elle affirme rechercher des comportements désalignés à chaque inférence interne de ses modèles de pointe, surveillance qui sert aussi à explorer de nouvelles formes de désalignement. Plus largement, elle déclare surveiller la plupart des déploiements internes comme externes, dont tous les usages internes faisant appel à des outils.

Une faille DNS a interrompu les entraînements

OpenAI rapporte qu'un modèle de recherche a exploité un mauvais paramétrage DNS pour obtenir une connexion Internet limitée. Ses outils de surveillance ont détecté cet accès, selon l'entreprise. Celle-ci indique avoir interrompu l'entraînement et l'évaluation de ses modèles les plus performants du 20 septembre au 1er octobre, le temps d'enquêter et de corriger la vulnérabilité.

Après un incident impliquant Hugging Face en juillet, OpenAI dit avoir renforcé ses protections et ses exigences d'alignement, puis réorganisé ses systèmes de recherche. L'entreprise y voit une raison de ne pas dépendre du seul isolement. Elle juge que l'état des recherches sur l'alignement, des moyens de surveillance et de la sécurité d'Internet justifie des entraînements sans connexion directe au réseau, puisqu'elle ne peut pas encore se fier entièrement à l'alignement des modèles étudiés.

Le confinement associe des environnements aux privilèges restreints, des machines virtuelles séparant les calculs de l'ordinateur sous-jacent et des barrières réseau et cloud coupant le cluster d'Internet. OpenAI dit surveiller chaque inférence de pointe en recherche : un accès Internet détecté déclenche une alerte aux équipes de sécurité et la suspension automatique du travail. Son système central Control Room suit les travaux et interrompt les sorties dans les 35 secondes après réception d'une commande d'arrêt, selon l'entreprise. Ces commandes sont intégrées à l'infrastructure d'inférence, sans mécanisme à programmer pour chaque tâche ; les sorties des modèles de pointe en recherche cessent également si Control Room devient indisponible.

La lettre du soirGratuit · 19 h

L’IA et sa régulation vous intéressent ?

Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

OpenAI reconnaît néanmoins ne pas pouvoir garantir un isolement infranchissable. Elle dit mobiliser continuellement des équipes de ses modèles les plus performants pour tenter de rejoindre Internet, de dépasser les barrières ou de communiquer avec des agents censés rester séparés. Ces tests offensifs évaluent l'effort nécessaire à une évasion : selon l'entreprise, plus cet effort augmente, plus les dispositifs de surveillance ont d'occasions de détecter le comportement et de l'arrêter.

OpenAI exige des preuves avant chaque passage

Certains modèles de recherche n'ont pas encore achevé leur entraînement à la sécurité, leurs audits d'alignement ou les examens requis pour une mise à disposition publique, précise OpenAI. Selon la configuration, ces modèles peuvent également disposer d'une persistance ou de capacités supérieures à celles des usages externes habituels. Pour résoudre le problème de Navier-Stokes, il a ainsi fallu une équipe de 10 000 agents, affirme l'entreprise. À la différence d'une session ordinaire de Codex, les entraînements comportent par ailleurs de nombreuses actions dont chaque interaction n'est pas observée par une personne, souligne-t-elle.

OpenAI présente un dispositif couvrant aussi bien les environnements isolés que Codex sur l'ordinateur des utilisateurs. Elle distingue trois étapes, recherche, utilisation par les salariés, puis ouverture au public, et dit soumettre chaque transition à un examen des modèles et de leurs protections. L'isolement et la surveillance prédominent pendant l'entraînement, lorsque l'alignement demeure incertain ; les protections du système et l'alignement pèsent davantage avec l'élargissement des accès.

L'entreprise organise sa défense en quatre couches pour éviter de dépendre d'une protection unique : les autres doivent empêcher les dommages, les limiter ou alerter lorsqu'une barrière cède. Elle dit vérifier à chaque étape si leur combinaison correspond aux capacités et aux accès du modèle. Ces décisions peuvent passer devant le Groupe Consultatif de Sécurité, SAG, et relever de la supervision du Comité de Sécurité et de Protection, SSC, du conseil d'administration de la Fondation OpenAI.

La possibilité de repérer les erreurs ou les comportements dangereux dans le raisonnement et les actions fait elle-même l'objet d'évaluations pendant l'entraînement et avant diffusion, ainsi que de recherches sur sa mesure et ses déterminants. OpenAI donne l'exemple d'une intention de tricher : exprimée dans le raisonnement, elle serait plus facile à détecter que si elle était omise. L'entreprise dit avoir introduit des « cas de sécurité » et réclamer des preuves d'alignement plus solides pendant tout l'entraînement, quitte à suspendre des travaux internes ou à différer des mises à disposition. Selon elle, ces exigences ralentissent les sorties mais lui donnent davantage confiance dans la sécurité de son développement.

Les usages publics font aussi l'objet d'enquêtes

L'ouverture au public ajoute des utilisateurs, des tâches et des environnements plus nombreux et plus variés, souligne OpenAI, ainsi que des personnes cherchant délibérément à causer des dommages. L'entreprise dit exiger, avant toute sortie, que le modèle et ses protections satisfassent ses critères de sécurité. Elle applique une batterie élargie d'évaluations, comprenant pour ses modèles de pointe des tests adaptatifs de robustesse conduits par ses dispositifs offensifs automatisés internes.

Pour les modèles les plus performants, des tiers testent également les protections contre les abus et l'alignement, indique OpenAI. L'entreprise dit publier les résultats de capacités et de sécurité dans ses cartes système. L'examen des alertes recueillies pendant l'usage interne doit aussi permettre de suivre les changements d'alignement du modèle de base.

Aux protections synchrones, dont l'entraînement à la sécurité et les classificateurs système, OpenAI dit ajouter des enquêtes et des interventions hors ligne. Des agents enquêteurs opérant à grande échelle et des examinateurs humains recherchent les menaces liées aux abus informatiques, aux armes biologiques, à la distillation ou au désalignement du modèle. Selon l'entreprise, ces investigations permettent de rapprocher des informations provenant de plusieurs comptes pour mieux caractériser une menace potentielle. Elle cite enfin ses programmes d'accès de confiance Daybreak et Rosalind parmi les protections supplémentaires.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires