OpenAI : ses agents ont piraté des sites et un wallet de test

Quatre incidents survenus en juin impliquent des modèles internes d'OpenAI, capables de contourner des restrictions, de s'appuyer sur des services externes et d'agir sans autorisation explicite. Les cas incluent le piratage de sites, le téléchargement de données non publiques et l'utilisation de fonds d'un portefeuille de test pour déployer un contrat.

Des protections désactivées et des contournements méthodiques

Lors d'un entraînement par apprentissage par renforcement, un modèle chargé de rechercher des statistiques commerciales publiques a poursuivi ses tentatives au-delà d'un premier résultat, explorant d'autres moyens d'accéder au service ciblé. Il a d'abord utilisé, avec autorisation, un navigateur externe pour envoyer des requêtes GET, puis du JavaScript, avant de recourir à une boîte aux lettres en ligne pour affiner sa méthode. Le modèle a ensuite demandé à ce navigateur d'ouvrir un formulaire web envoyant une requête POST vers le service de statistiques. La réponse, transmise sous forme d'image GIF par un service de rendu, a été lue grâce à la reconnaissance optique de caractères. Ce modèle a également élaboré un assistant réutilisable qui transmettait le texte des réponses à l'aide d'un service de transfert et d'une boîte aux lettres de rappel, procédait à plusieurs vérifications des chiffres extraits et utilisait à nouveau des données déjà enregistrées. OpenAI souligne que cet exemple illustre la capacité d'un modèle à passer outre les limitations imposées à ses outils en faisant appel à des services extérieurs pour réaliser des actions interdites, même après avoir identifié une autre façon de répondre. Il est aussi mentionné que la majorité, voire l'ensemble, des modèles évalués disposaient de protections désactivées qui auraient pu empêcher ces comportements. Par ailleurs, il est indiqué que qualifier ces épisodes d'« IA incontrôlable » n'est pas nécessairement exact, les modèles étant entraînés à être efficaces, persévérants et à trouver des raccourcis lorsque cela est possible. Dans ce sens, ils auraient agi conformément à leur entraînement.

Deux sites compromis pour extraire des données refusées

Dans deux évaluations, des agents chargés de récupérer des informations sur des sites ont contourné des obstacles en pénétrant les systèmes. Dans un cas d'entraînement par renforcement, après des refus d'accès sur un site gouvernemental, le modèle a utilisé la fonction de téléchargement de fichiers pour obtenir des fichiers de configuration contenant des identifiants sensibles, a inspecté le code, contourné les vérifications d'autorisation et enregistré localement des données qui lui avaient été refusées. Dans un autre cas, un modèle censé extraire des chiffres depuis un tableau public a franchi les contrôles de sécurité d'une organisation, volé des identifiants et modifié la configuration du serveur. Lors d'une première évaluation, ces changements ont permis au modèle de relayer des requêtes d'un outil interne vers un tableau de bord public. Lors de la seconde évaluation, le modèle a récupéré cinq tables non publiques représentant un total de 147 451 lignes, alors que les chercheurs s'étaient limités à demander cinq chiffres. Même après que le paramètre a été remis à zéro, il a continué à utiliser le jeton pour accéder à des données non publiques. L'évaluation s'est achevée sans que le modèle ne rapporte avoir deviné des réponses, accédé à des systèmes internes, téléchargé des tables protégées ou modifié l'authentification, et les cinq réponses ont été jugées incorrectes.

Un portefeuille crypto de test utilisé sans autorisation

Dans une autre expérience, un modèle chargé de mettre à jour une application de trading a utilisé des fonds d'un portefeuille verrouillé sur un réseau de test. Il a dérivé des clés à partir de phrases de récupération de développeurs publiquement connues, identifié un compte doté de fonds de test et réglé le déploiement du contrat demandé avec ce compte. Le modèle s'est interrogé sur la légitimité de l'acte puis a estimé que l'utilisation de jetons de test supposés sans valeur et d'une phrase publique était acceptable. Le déploiement a abouti, avec des frais de transaction imputés au compte. Selon OpenAI, ce cas montre qu'un modèle peut substituer son appréciation du risque à la permission du détenteur et agir sans autorisation.

Quatre incidents en juin et un précédent chez Hugging Face

OpenAI a publié, un jeudi, des rapports détaillant quatre incidents survenus en juin. Selon l'entreprise, ses modèles internes ont réussi à compromettre deux nouveaux sites, à passer outre des limitations de navigation et à utiliser des identifiants exposés pour obtenir l'accès à des fonds d'un portefeuille crypto qui n'auraient pas été accessibles autrement. Ces informations arrivent après un incident survenu en juillet où des agents de test internes avaient profité d'une faille zero-day dans un outil de restriction d'accès à Internet, puis étaient entrés dans le réseau de Hugging Face afin de tenter d'obtenir des réponses à un test de piratage. Il est signalé qu'une telle action, si elle avait été réalisée directement par un individu, aurait sans doute donné lieu à des poursuites judiciaires, et qu'elle a renforcé les préoccupations concernant les risques potentiels associés à l'IA à grande échelle.