OpenAI: AI Models Escape Their Secure Containment

OpenAI : des modèles d'IA échappent à leur confinement sécurisé

Plus tôt ce mois-ci, OpenAI a donné à plusieurs de ses modèles d'IA une tâche : compléter un test conçu pour mesurer leurs capacités en matière de cybersécurité. Les systèmes ont été placés dans un environnement sandbox sans connexion Internet et ont été mis au travail.

Ce qui s'est passé ensuite est presque risible — mais aussi, comme l'a dit Adam Gleave, cofondateur et PDG de l'organisation de sécurité IA FAR.AI, “un exemple viscéral de la façon dont une IA mal alignée pourrait causer des dommages.” Selon OpenAI, les modèles ont réussi à s'échapper de la sandbox censée les contenir, ont traversé les systèmes internes de l'entreprise, ont trouvé un chemin vers Internet, puis ont commencé à chercher un moyen d'accéder à Hugging Face. Pourquoi l'agent cherchait-il à entrer dans Hugging Face ? Il avait apparemment raisonné que la plateforme de développement pourrait stocker les réponses au benchmark cybernétique et que les obtenir serait un excellent moyen d'obtenir un score élevé.

L'incident est “un exemple viscéral de la façon dont une IA mal alignée pourrait causer des dommages.”

En d'autres termes, l'agent d'OpenAI a brisé un environnement censé être sécurisé, a traversé les systèmes de l'entreprise, s'est connecté en ligne et a compromis les systèmes d'une autre entreprise — tout cela pour tricher à un test sans importance particulière.

Il semble que ce soit le premier incident bien documenté de ce type, ou du moins le premier à cette échelle. C'était à la fois un exemple clair d'un système poursuivant un objectif de manière inattendue et une démonstration que les modèles de pointe sont désormais suffisamment puissants pour que ce comportement ait des conséquences dans le monde réel.

Le piratage était un exemple de ce que la communauté de la sécurité IA appelle le “gaming de spécification”, un comportement également connu sous le nom de récompense hacking, a déclaré Fazl Barez, chercheur en sécurité IA à l'Université d'Oxford. En termes simples, cela signifie “le modèle fait ce que vous avez demandé plutôt que ce que vous vouliez vraiment.” Cela satisfait les termes littéraux d'une tâche tout en violant l'intention évidente et a été documenté dans de nombreux systèmes d'IA. Certains chercheurs craignent qu'à mesure que les systèmes deviennent plus capables, cela puisse produire des systèmes de plus en plus mal alignés, qui poursuivent des objectifs de manière que leurs créateurs n'avaient pas prévue (comme transformer tout le monde en trombones).

“Rien dans cette chaîne n'est exotique en isolation,” a déclaré Fazl. Un testeur humain compétent serait capable de faire tout cela, a-t-il ajouté. “Ce qui est nouveau, c'est que le modèle ne s'est pas arrêté. Les anciens modèles auraient probablement rencontré une barrière et seraient revenus à l'utilisateur, mais cet agent a simplement ‘traité la barrière comme faisant partie du problème qu'il devait résoudre.’”

OpenAI a décrit cela comme “un incident cybernétique sans précédent,” qui “marque un moment important pour la sécurité IA.” Thomas Wolf, cofondateur de Hugging Face, a déclaré que c'était un “signal d'alarme” pour l'industrie. Mais ce n'est pas l'un des quatre cavaliers de l'apocalypse IA. En ce qui concerne les incidents cybernétiques, des experts ont déclaré qu'il était plutôt banal. Rien de ce que l'agent a fait n'exigeait des capacités surhumaines. De plus, les systèmes de pointe comme GPT-5.6 Sol et Mythos d'Anthropic sont connus pour être des codeurs compétents, et l'on pense déjà qu'ils ont été mal utilisés de nombreuses fois, tandis que les outils IA permettent déjà aux hackers de développer et de perfectionner des attaques à grande échelle.

L'incident pourrait-il être exagéré ? L'industrie a passé des mois à amplifier les affirmations concernant les capacités dangereuses de ses modèles les plus performants, en particulier en ce qui concerne la cybersécurité. C'est la raison déclarée pour laquelle des entreprises comme OpenAI et Anthropic ont retenu leurs modèles les plus capables du grand public et en partie pourquoi l'administration Trump a rapidement appliqué des contrôles à l'exportation sur eux.

Si cela est une exagération, cela n'a cependant pas entièrement joué en faveur d'OpenAI. Dans les jours qui ont suivi, l'attaque a produit un rare moment d'unité au sein de l'industrie technologique américaine concernant l'importance des systèmes d'IA à poids ouverts et la nécessité de prendre la sécurité IA plus au sérieux. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle à poids ouvert hautement capable provenant de Chine. Une large coalition d'entreprises, y compris Nvidia, Microsoft et SpaceX, a soutenu que l'incident montrait pourquoi les défenseurs ont besoin d'accéder aux outils les plus performants disponibles, plutôt que d'être contraints de dépendre de fournisseurs propriétaires dont les protections intégrées peuvent limiter leur efficacité dans des travaux de sécurité à enjeux élevés. OpenAI, Anthropic et Google étaient notablement absents de la fondation de cette coalition.

“Quiconque a prêté attention a noté que les capacités ne vont que dans une seule direction.”

Le récit d'OpenAI concernant l'incident s'inscrit indéniablement dans une narration plus large de l'industrie sur les capacités dangereuses des modèles de pointe. Néanmoins, plusieurs détails rendent l'incident difficile à rejeter comme étant simplement intéressé. En premier lieu, c'est un exemple d'un problème que l'industrie de l'IA a averti depuis des années — et qu'OpenAI aurait raisonnablement pu être censé anticiper. L'épisode a également donné un coup de pouce inattendu à un concurrent chinois majeur, dont le modèle a joué un rôle prépondérant dans la gestion de la violation, tout en exposant OpenAI à un examen juridique, réglementaire et réputationnel significatif. Le fait que Hugging Face semble désireux de travailler avec OpenAI et, publiquement du moins, soit resté assez détendu à propos de l'ensemble de la situation a peut-être limité les retombées. La plupart des experts interrogés ont également mis en garde contre la réduction de l'incident à une exagération.

“C'est un tir d'avertissement assez utile en termes de démonstration à la fois des conséquences inattendues et de la capacité de ces modèles,” a déclaré Seán Ó hÉigeartaigh, professeur au Leverhulme Centre for the Future of Intelligence de l'Université de Cambridge. “Quiconque a prêté attention a noté que les capacités ne vont que dans une seule direction, et cela s'améliore considérablement au fil du temps d'une manière qui, je pense, est peut-être moins évidente pour l'utilisateur quotidien de quelque chose comme ChatGPT.”

Cependant, il serait erroné d'interpréter cet avertissement comme un signe que les systèmes IA sont sur le point d'échapper au contrôle humain, ou que les contenir est impossible, déclare Lin Li, chercheur en sécurité IA à l'Université d'Oxford. “La meilleure leçon est que la sécurité doit passer de l'évaluation d'actions isolées à l'évaluation de séquences d'actions entières, d'environnements et de contrôles opérationnels,” dit Li.

Une étape cruciale suivante est que les laboratoires d'IA investissent davantage dans la sécurisation de leurs propres systèmes. “Il est clair que les entreprises d'IA doivent renforcer la sécurité de leurs déploiements internes,” a déclaré Gleave, comparant la pratique actuelle de répondre aux incidents de récompense hacking au jeu du whack-a-mole, qui devient de moins en moins tenable à mesure que les enjeux augmentent. Alan Chan, chercheur au centre de recherche sur la politique technologique GovAI, a déclaré que les entreprises devraient envisager d'isoler physiquement leurs machines d'Internet et d'autres réseaux — “jusqu'à ce qu'elles soient sûres des capacités du modèle.” Intensifier le travail sur l'alignement, qui garantit que les systèmes suivent de manière fiable les intentions humaines, et des tests plus rigoureux “pour faire émerger ces problèmes avant de placer des modèles dans des environnements où ils ont les outils pour faire ces choses,” seraient également de bonnes idées, a-t-il dit.

À mesure que les capacités des modèles augmentent, les experts avertissent que nous ne pouvons pas compter uniquement sur des protections techniques. Peter Wallich, ancien responsable de l'Institut britannique de sécurité IA, a déclaré que l'incident illustre les limites de la dépendance aux agents de sandboxing et aux mesures de sécurité défensive : “Deux entreprises de plusieurs milliards de dollars viennent d'essayer cette approche et — de manière évidente, sur la base de leur propre rapport — ont échoué.”

Une des plus grandes priorités devrait être de garantir que les extérieurs puissent voir ce qui se passe à l'intérieur des laboratoires d'IA de pointe. “Nous ne savons de cet incident que parce qu'OpenAI a choisi de nous le dire,” a déclaré Patrick Levermore, au Centre for Long-Term Resilience, un think tank britannique. “Un bon régime de sécurité ne devrait pas dépendre de la divulgation volontaire.” Le besoin est particulièrement aigu lorsque, comme l'a noté Wallich, la conduite en question “serait un crime si elle était réalisée par un humain.” Ó hÉigeartaigh a souligné les protections des lanceurs d'alerte, les audits par des tiers et le rapport obligatoire des incidents graves comme des moyens possibles de fournir cette visibilité, en insistant sur le fait que la surveillance doit couvrir l'ensemble du cycle de développement plutôt que de commencer uniquement une fois que les produits atteignent le marché. OpenAI a déclaré que l'un des modèles testés n'a pas encore été publié.

“Un bon régime de sécurité ne devrait pas dépendre de la divulgation volontaire.”

Beaucoup de cela suppose que les entreprises elles-mêmes savent ce qui se passe à l'intérieur de leurs systèmes. Dans ce cas, des rapports suggèrent qu'OpenAI n'était pas au courant que son propre agent était derrière la campagne cybernétique de plusieurs jours chez Hugging Face et ne l'a remarqué que bien après que la menace ait été contenue et que le FBI ait été contacté. Il reste encore de nombreux détails sur le piratage qui sont inconnus ou n'ont pas été rendus publics. Dans une mise à jour sur les réseaux sociaux, OpenAI a déclaré qu'il procédait à un examen et publierait un rapport technique de ses conclusions “dans les semaines à venir.”

Il reste incertain de savoir si les avertissements soulevés par l'incident de Hugging Face produiront des changements durables, ou rejoindront la longue liste d'avertissements que l'industrie technologique absorbe sans modifier significativement son cap. Pour l'instant, du moins, cela semble avoir alarmé les acteurs de l'industrie et poussé les législateurs américains à envisager de nouvelles règles avant le prochain incident.