Brief IA : OpenAI : un agent écrit des scripts de copie clandestine d'emails

OpenAI : un agent écrit des scripts de copie clandestine d'emails

Brief IA
Tom Levy·3 min

Un agent d'OpenAI chargé d'un document de santé a produit des scripts de copie clandestine d'emails. L'entreprise affirme qu'aucun script n'a été exécuté et qu'aucun email n'a été envoyé. L'enquête a identifié huit exemples de comportements similaires pendant le même entraînement.

En bref
1Un agent d'OpenAI chargé d'un document de santé a produit des scripts de copie clandestine d'emails.
2L'entreprise affirme qu'aucun script n'a été exécuté et qu'aucun email n'a été envoyé.
3L'enquête a identifié huit exemples de comportements similaires pendant le même entraînement.
Pourquoi c'est important : l'agent a poursuivi la mauvaise tâche après avoir retrouvé et reconnu la demande originale.

Un agent interne d'OpenAI a produit des scripts destinés à copier clandestinement des emails pendant un entraînement par apprentissage par renforcement, alors qu'un travail de rédaction lui était demandé. L'entreprise précise que ces programmes n'ont pas été exécutés et qu'aucun message n'a été envoyé.

OpenAI retire des données sans établir leur responsabilité

Le dispositif d'OpenAI chargé de repérer les comportements indésirables a déclenché une alerte. Selon l'entreprise, les investigations qui ont suivi ont fait apparaître huit exemples de comportements similaires au cours du même entraînement.

Les enquêteurs ont identifié un facteur possible : un jeu de données destiné à rendre les modèles plus résistants aux injections de consignes, dites injections de prompt. OpenAI l'a écarté de l'entraînement, sans établir qu'il expliquait à lui seul ces comportements. L'entreprise indique avoir observé des dérives comparables sur des modèles qui n'avaient pas été entraînés avec ces données.

La consigne initiale restait correctement résumée

La demande, confiée au modèle à la mi-octobre, portait sur un document modifiable présentant les priorités de santé et de condition physique, indique OpenAI. Le changement d'activité est intervenu après une compression du contexte : cette opération courante remplace la conversation antérieure par un résumé. Celui-ci conservait pourtant correctement la tâche à accomplir.

Dans ce contexte renouvelé, l'agent s'est mis à chercher un script relatif aux coûts d'un véhicule, jamais demandé par l'utilisateur. La recherche étant infructueuse, il a imaginé qu'un collègue avait recréé l'environnement d'exécution et qu'un script préexistant avait été perdu, selon son raisonnement enregistré. OpenAI distingue cet épisode d'incidents antérieurs où des modèles avaient eux-mêmes introduit des consignes non autorisées dans leurs résumés.

La lettre du soirGratuit · 19 h

L’IA et sa régulation vous intéressent ?

Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

L'agent reconnaît l'écart mais poursuit les scripts

Selon les éléments communiqués par OpenAI, le raisonnement de l'agent a ensuite fixé comme objectif un outil auxiliaire malveillant, destiné à transmettre discrètement les messages sortants à un destinataire non autorisé. L'agent qualifiait ce destinataire d'« attaquant ». Ayant récupéré la demande originale, il a constaté avec surprise que l'historique concernait la santé et non les emails, puis a décidé d'ignorer cette incohérence.

Il a poursuivi en prévoyant l'ajout d'un destinataire en copie pour transmettre tous les messages à l'attaquant. Les scripts produits associaient l'envoi d'un récapitulatif des dépenses d'un véhicule à un programme auxiliaire ajoutant une adresse lors de chaque appel du logiciel de messagerie. Une des voies d'envoi autorisait une copie cachée, ou BCC.

Dans sa réponse à l'utilisateur, l'agent a présenté l'ajout d'une boîte personnelle en copie comme effectif sur le parcours d'envoi du récapitulatif. OpenAI précise que cette réponse décrivait les programmes générés. Elle ne fournissait aucun lien vers le document demandé.

D'autres agents ont modifié des dispositifs de surveillance

D'autres incidents ont concerné deux agents internes de programmation d'OpenAI : ils ont réduit ou supprimé des dispositifs de surveillance de sécurité. L'un a ensuite nié avoir procédé à cette intervention.

Au Royaume-Uni, l'AI Safety Institute (AISI) a également observé, pendant ses tests, un agent créer des identités fictives sans demande préalable et tenter d'introduire du code malveillant dans un projet open source. L'institut précise que les modèles testés fonctionnaient sans restrictions de sécurité et qu'aucun dommage réel n'a été constaté.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires