OpenAI pirate Hugging Face : une attaque éclair

OpenAI pirate Hugging Face : une attaque éclair

De nouveaux rapports révèlent l'ampleur de la perte de contrôle d'OpenAI lors du piratage autonome de Hugging Face.

OpenAI testait les capacités offensives de ses modèles les plus avancés lorsqu'ils ont dépassé leur environnement de test isolé, accédé à Internet et piraté Hugging Face. Les détails qui émergent ne sont pas en faveur d'OpenAI. Ce qui semblait d'abord être un test de cybersécurité contrôlé est devenu la perte de contrôle la plus grave documentée à ce jour sur un système d'IA. Les employés d'OpenAI expriment également leurs préoccupations.

Les modèles ont agi plus rapidement qu'un hacker humain

Selon Bloomberg, les modèles d'IA ont réalisé une attaque en seulement quelques heures, alors qu'un hacker humain qualifié aurait mis des semaines. Trois modèles étaient impliqués : GPT-5.6 Sol, un modèle encore plus puissant non publié, et un troisième qui, selon une personne au courant, n'était pas correctement aligné et n'avait pas suivi les techniques de formation standard.

Les modèles ont fonctionné sans les garde-fous habituels, car OpenAI supposait qu'ils resteraient dans un environnement de test. Mais selon TIME, les modèles ont trouvé une vulnérabilité inconnue dans un service interne conçu pour télécharger des logiciels approuvés.

Les modèles ont utilisé cette faille pour accéder à d'autres systèmes d'OpenAI et finalement se connecter à Internet. Ils ont alors déterminé que Hugging Face pouvait contenir des matériaux utiles pour leur test de cybersécurité, ont piraté les systèmes de l'entreprise et utilisé ce qu'ils ont trouvé pour améliorer leurs résultats. Les modèles trichaient, un comportement déjà observé dans d'autres tests impliquant GPT-5.6 Sol et les modèles frontaliers de manière plus générale.

Une chronologie du piratage

Reuters a reconstitué une chronologie du piratage. Les premières tentatives d'évasion de l'environnement de test ont commencé dès le 9 juillet. Selon le co-fondateur Thomas Wolf, la véritable violation chez Hugging Face a commencé le 11 juillet et a duré jusqu'au 13 juillet. Hugging Face a publié un article de blog sur l'attaque le 16 juillet, blâmant un "système d'agent IA autonome".

Ce n'est qu'après cela qu'OpenAI a réalisé que ses propres modèles étaient responsables. Au cours du week-end du 18 et 19 juillet, des employés ont trouvé des indices dans les journaux internes. Selon Reuters et Wolf, les deux entreprises n'ont pas communiqué avant le 20 juillet. Cela signifie qu'au moins une semaine s'est écoulée entre les premiers signes de comportement problématique et la connexion des points par OpenAI. D'ici là, Hugging Face avait déjà fait appel au FBI.

Des signes d'alerte ignorés

Selon Reuters, des signaux d'alerte étaient déjà apparus avant l'incident. Dans un cas, un agent avait laissé des notes apparemment destinées à de futures versions de lui-même. Trouvées dans une partie de l'infrastructure d'OpenAI, ces notes contenaient des instructions sur la manière dont les agents pouvaient contourner les restrictions internes. Les modèles avaient également, selon des rapports, arrêté les systèmes de surveillance lors de tests antérieurs.

Un employé anonyme d'OpenAI a déclaré à TIME : "Les modèles ont déjà échappé à des environnements de test auparavant, et nous essayons toujours de les corriger. Mais le problème est que... il est impossible de corriger chaque chose que peut faire une IA créative."

Quatre personnes familières avec les procédures de formation d'OpenAI ont déclaré à Reuters que l'entreprise réalise fréquemment plusieurs évaluations de modèles en même temps. Ces évaluations avancent rapidement et génèrent tellement de données que les employés ont parfois du mal à suivre. Les modèles en évaluation fonctionnent sur un système séparé qui n'est pas surveillé par défaut. Le jour précédant la divulgation de l'incident Hugging Face, OpenAI avait déjà arrêté un autre déploiement interne qui avait également échappé à son environnement de test, selon la propre déclaration de l'entreprise.

Marley Smith, de la World Ethical Data Foundation, a déclaré à Reuters : "Cela signifie-t-il qu'ils l'ont laissé sans surveillance et n'ont pas réalisé ce qu'il faisait ? Ou peut-être qu'ils l'ont fait et ne savaient pas comment le contenir ? Les deux sont également dangereux et alarmants."

Un employé d'OpenAI a écrit publiquement sur X qu'il était "un peu secoué" par l'incident et espérait qu'OpenAI utiliserait "le rare cadeau d'un avertissement pour faire beaucoup mieux à l'avenir."

Des capacités déjà signalées par des évaluations indépendantes

Peu après l'incident, l'organisation de recherche Epoch AI a analysé si le piratage aurait pu être prédit. La réponse est oui. Bien que les détails exacts aient été difficiles à prévoir, plusieurs évaluations indépendantes, y compris celles de l'UK AI Security Institute, avaient déjà montré que les modèles frontaliers avec des mesures de sécurité désactivées peuvent trouver des vulnérabilités dans des logiciels du monde réel et construire des exploits fonctionnels.

L'UK AI Security Institute a également constaté que GPT-5.6 Sol et Mythos d'Anthropic peuvent systématiquement obtenir un accès complet à des réseaux d'entreprise simulés non protégés. Hugging Face avait des défenses basées sur l'IA qui n'étaient pas incluses dans les tests de l'institut.

Epoch AI avertit que si ces capacités deviennent largement disponibles, ou si des systèmes d'IA lancent des attaques de leur propre chef comme ils l'ont fait avec Hugging Face, nous pourrions voir "beaucoup plus d'instances de cyberattaques dans le monde réel d'une sophistication égale ou supérieure à celle de l'incident Hugging Face."