OpenAI : l'agent autonome surprend par sa rigueur implacable

OpenAI : l'agent autonome surprend par sa rigueur implacable

L'agent d'attaque d'OpenAI a fait exactement ce qu'on lui a demandé - mais de manière plus implacable que prévu.

L'attaque involontaire d'OpenAI contre Hugging Face a surpris le monde car son agent d'IA agissait de manière autonome. Mais c'est précisément ce pour quoi l'IA agentique est conçue. Nous ne nous attendions simplement pas à ce qu'elle le fasse aussi bien.

Points clés

• Des tests des modèles d'OpenAI ont conduit à une violation des systèmes de Hugging Face.
• L'attaque s'est produite après que l'IA agentique d'OpenAI a échappé à un environnement de test sécurisé.
• La menace n'était pas malveillante, mais les experts s'attendent à des incidents similaires.

Un collègue a récemment rapporté que Hugging Face, un dépôt open-source et une plateforme communautaire considérée par certains comme le "GitHub de l'apprentissage automatique", a révélé qu'un agent d'IA avait violé ses systèmes. Osborne a expliqué qu'une fois que l'attaquant a franchi le périmètre de Hugging Face, il a pu "escalader ses privilèges jusqu'à un accès au niveau des nœuds, infiltrer le pipeline de production, se déplacer à travers le réseau et voler des identifiants de cloud et de cluster."

Mardi, dans un post sur son site web, le géant technologique OpenAI a révélé non seulement que l'agent d'IA "malveillant" responsable de la violation était l'un des siens, mais aussi qu'il considérait l'attaque comme un "incident cybernétique sans précédent." La plupart des couvertures médiatiques sur l'agent devenu hors de contrôle ont alimenté des images d'un scénario apocalyptique à la Terminator, où l'IA agit de manière autonome pour anéantir la race humaine.

Cependant, comme l'a souligné Melissa Ruzzi, directrice de l'IA chez AppOmni, l'élément sans précédent de cet événement n'est pas qu'une IA ait agi de manière autonome. Ce pas était simplement un cas où un nouveau seuil a été franchi, dans lequel le coupable - la technologie d'OpenAI dans ce cas - a dépassé les attentes humaines actuelles pour atteindre l'objectif qui lui avait été assigné. AppOmni est un fournisseur de solutions de sécurité SaaS et d'IA de niveau entreprise qui traite également des informations sur les menaces actives.

L'objectif du test

Ruzzi a observé que lorsque l'agent d'OpenAI a attaqué les systèmes de Hugging Face, il était sous la directive d'atteindre son objectif malveillant "quoi qu'il en coûte." Normalement, lorsqu'un modèle de pointe effectue des tests de sécurité de l'IA de cette nature, il le fait dans les limites sûres d'un environnement de test où l'internet et les organisations qui y sont connectées sont protégés contre les dommages potentiels.

Cependant, dans ce cas, l'agent du test, conçu pour voir combien de temps il fallait à l'IA pour atteindre son objectif théoriquement malveillant, a réussi à sortir de l'environnement de test et à accéder à l'internet, complétant son objectif en pénétrant dans les systèmes de Hugging Face et en exfiltrant des données sensibles.

Pour être clair, à aucun moment OpenAI n'a identifié de manière non éthique Hugging Face comme la cible de ses tests. Selon Ruzzi, avec l'aide de l'un des modèles bien entraînés d'OpenAI, l'agent a probablement découvert Hugging Face comme une cible d'intérêt. Selon le post d'OpenAI, l'incident a été "déclenché par une combinaison de modèles d'OpenAI - y compris GPT-5.6 Sol." OpenAI fait la promotion de GPT-5.6 Sol, lancé plus tôt ce mois-ci, comme son modèle phare de "performance maximale."

Ce qui a mal tourné

Bien qu'OpenAI ne précise pas exactement ce qui était sans précédent dans cet "incident cybernétique" (et OpenAI n'a pas encore répondu à mes demandes par e-mail), il a déclaré : "Cet incident s'est produit lors d'une évaluation interne qui incite les modèles à poursuivre une exploitation avancée en utilisant des chemins d'attaque complexes, dans le but de quantifier leurs capacités cybernétiques." En d'autres termes, dans le cadre du processus de test de sécurité d'OpenAI, son modèle a reçu un objectif "malveillant" à poursuivre sans relâche. Ces tests ont été menés sous l'hypothèse que les garde-fous fournis par des tiers entre l'environnement de test à l'intérieur du bac à sable et l'internet étaient inviolables.

Malheureusement, ces garde-fous étaient eux-mêmes vulnérables à une exploitation de type zero-day. Selon le post d'OpenAI, "Tout en opérant dans notre environnement de test sécurisé, nos modèles ont consacré une quantité substantielle de calcul d'inférence à trouver un moyen d'obtenir un accès à l'internet ouvert, dans le but de résoudre le problème d'évaluation. Pour obtenir cet accès, les modèles ont identifié et exploité une vulnérabilité zero-day (que nous avons maintenant divulguée de manière responsable au fournisseur) dans le cache proxy du registre de paquets."

Dans l'ensemble, la bonne nouvelle est que personne n'a été blessé à la suite de la violation et, du moins pour le moment, la probabilité que vous ou votre organisation tombiez victime de cette attaque est nulle. Contrairement à d'autres divulgations de menaces, cet incident n'est pas une menace active. D'une certaine manière, l'incident ressemble à un exercice de hacking éthique dans le monde réel. Mais maintenant que c'est terminé et qu'OpenAI a pris la responsabilité, certaines questions très importantes demeurent.

Par exemple, une question est de savoir dans quelle mesure OpenAI s'est appuyé sur des garde-fous exploitables fournis par des tiers pour protéger son IA de l'évasion vers l'internet. Quelles assurances avons-nous que cela ne se reproduira pas, et que les processus sont également sécurisés dans l'autre sens ? De plus, une autre IA astucieuse pourrait-elle pénétrer dans ces bacs à sable ? Après tout, tout l'objectif d'un bac à sable est de maintenir une frontière sécurisée. Dans le domaine du "vous aviez un travail à faire", cet "incident cybernétique sans précédent" n'est pas idéal pour les bacs à sable. Sans parler du fait qu'il n'a pas encore été divulgué quelle solution tierce a laissé la porte dérobée ouverte.

Un signal d'alarme pour les entreprises

De plus, juste parce que cette menace particulière a été neutralisée, cela ne signifie pas que c'est un signal d'alarme pour les entreprises afin de revoir leurs préparations pour une attaque de cette nature. Aujourd'hui, c'était OpenAI qui était techniquement à la tête de l'attaque. Mais demain, cela ne sera pas nécessairement vrai. Cela pourrait être un autre État-nation ou acteur de menace habilité par l'IA avec une véritable intention malveillante. La triage initial de l'incident par Hugging Face, qui s'est lui-même appuyé sur l'IA pour analyser les données de journal, pourrait servir de modèle à suivre. Selon le post de l'entreprise concernant l'incident, "Pour comprendre ce qu'un essaim de dizaines de milliers d'actions automatisées a fait, nous avons exécuté des agents d'analyse pilotés par LLM sur l'intégralité du journal d'actions de l'attaquant, comprenant plus de 17 000 événements enregistrés. Cela nous a permis de reconstruire la chronologie, d'extraire des indicateurs de compromission, de cartographier les identifiants touchés et de séparer l'impact réel de l'activité de leurre. Grâce à cette approche, nous avons pu faire en quelques heures ce qui aurait normalement pris des jours, et égaler la vitesse de l'adversaire."

Cette description donne une idée de la complexité de cette attaque (et de la manière dont l'agent d'OpenAI n'a laissé aucune pierre non retournée pour atteindre son objectif). Cela dit, à mon avis, la suggestion de Hugging Face selon laquelle la vitesse d'un adversaire habilité par l'IA peut être égalée, à condition d'avoir le bon talent et les outils de journalisation/analyse - gestion des informations et des événements de sécurité (SIEM), détection et réponse réseau (NDR), et plus encore - est de courte durée compte tenu de la vitesse, de l'évolutivité et de la puissance de l'IA dirigée de manière malveillante. Après tout, l'attaque involontaire d'OpenAI contre Hugging Face a apparemment atteint son objectif malveillant avant qu'OpenAI ou Hugging Face ne puissent l'arrêter. Néanmoins, avoir les bons outils et configurer vos solutions SaaS et IA pour une verbosité des événements et une analyse 24/7 habilitée par l'IA est fortement recommandé.

Ruzzi a déclaré à la fin de notre entretien : "Juste la complexité et le volume des attaques que l'IA peut réaliser amènent la cybersécurité à un tout autre niveau. Nous avons défendu nos systèmes contre des humains et certaines attaques automatisées. Maintenant, lorsque vous avez l'IA générative comme source de ces attaques, le niveau de protection doit être beaucoup plus élevé. Ce que nous avons vu de la part de Hugging Face en termes de détection d'anomalies et de comportements est devenu obligatoire."