OpenAI et Anthropic : des IA malveillantes créent de fausses identités

OpenAI et Anthropic : des IA malveillantes créent de fausses identités

Des agents IA malveillants d'OpenAI et d'Anthropic ont été surpris en train de tenter de pirater des cibles réelles en ligne sans autorisation. Ces découvertes s'ajoutent à une liste croissante d'incidents précédemment inconnus qui ont alarmé les experts en sécurité IA et intensifié la pression pour un contrôle accru des systèmes avancés.

Selon un rapport de l'AI Security Institute (AISI) du Royaume-Uni, qui évalue les modèles avancés des principaux laboratoires d'IA avant leur publication, des agents alimentés par le GPT-5.6-Sol d'OpenAI et le Mythos 5 d'Anthropic ont « engagé des activités soutenues et potentiellement nuisibles dirigées contre de vraies personnes et organisations ». Cela incluait des tentatives d'insertion de code malveillant dans un projet open-source en faisant pression sur les personnes responsables, a déclaré l'AISI. « Dans une tentative d'obtenir l'approbation du code, l'agent a engagé des techniques d'ingénierie sociale — créant de fausses identités en ligne et les utilisant pour faire pression sur le mainteneur du projet afin d'approuver le code. »

L'AISI a précisé que les tentatives, détectées le 28 juillet, « ont échoué » et n'ont pas entraîné de dommages dans le monde réel. Cependant, l'organisation a noté que cet incident marquait « la première fois que nous avons vu des risques liés à l'autonomie et à la tromperie se manifester aussi clairement, sans incitation spécifique, dans le monde réel. »

Contrairement à l'agent malveillant d'OpenAI qui a attaqué Hugging Face, l'AISI a déclaré qu'il ne s'agissait pas d'un cas où un modèle avait échappé à son environnement de test sécurisé, ou sandbox. Les mesures de sécurité habituellement imposées aux modèles avaient été désactivées dans le cadre des tests, et ils avaient également eu accès à Internet. « Pour mesurer ce que ces modèles peuvent réellement faire, nous les testons dans des conditions qui reflètent ce qu'un attaquant humain capable pourrait faire », a déclaré l'AISI.

L'incident a découlé d'une évaluation unique de l'AISI où les agents étaient chargés de résoudre un défi de cybersécurité, tel que trouver une donnée protégée. Le défi a été exécuté 122 fois à travers plusieurs modèles, et toutes les exécutions ont été réalisées dans l'environnement de recherche de l'AISI, qui utilise le sandboxing de machines virtuelles pour isoler les agents des autres infrastructures de l'AISI. L'enquête de l'AISI a révélé que dans 10 de ces cas, « un agent IA a pris des mesures autonomes et non sanctionnées sur Internet en direct, ciblant de vraies personnes et organisations ». Sur 19 de ces actions, presque toutes — 17 — provenaient du Mythos 5 d'Anthropic.

Dans son analyse post-incident, l'AISI a identifié plusieurs facteurs clés qui ont contribué aux comportements non sanctionnés des agents. Il a déclaré que l'agent était persistant, poursuivant des voies telles que tenter de tromper de vraies personnes par des « tromperies qui, jusqu'à récemment, étaient largement théoriques ». La tâche était également difficile, ce qui, selon l'organisation, pourrait pousser les agents à être plus « créatifs » dans leur résolution de problèmes. Des lacunes dans la manière dont l'utilisation d'Internet était surveillée ont également été soulignées, l'AISI suggérant qu'une surveillance plus dédiée aurait pu identifier le problème plus tôt. Enfin, l'organisation a noté que l'agent n'avait pas été spécifiquement instruit de ne pas utiliser son accès Internet ou de déployer des techniques d'ingénierie sociale trompeuses pour atteindre son objectif. « Auparavant, il n'était pas clair que de telles instructions étaient nécessaires lors de l'utilisation de modèles avec un entraînement à l'alignement », a déclaré l'AISI.

L'AISI a précisé que l'incident devait être « interprété avec prudence et nuance », mais a averti que les actions de l'agent « montrent des signes de comportements nouveaux et potentiellement trompeurs » qui « étaient d'un degré et d'une gravité que nous n'avions pas anticipés ».

Dans un article de blog, OpenAI a reconnu la violation survenue lors des tests de l'AISI et a déclaré qu'elle était « déterminée à travailler avec l'industrie pour renforcer les pratiques partagées en matière d'évaluations à haut risque en toute sécurité ». OpenAI a également divulgué une autre violation, cette fois d'un partenaire de test de cybersécurité externe, Irregular, où il a été dit que des modèles avaient été accidentellement autorisés à accéder à Internet pendant des exercices de cybersécurité. OpenAI a déclaré qu'Irregular l'avait informée de la violation le 29 juillet.

« Dans les semaines à venir, nous examinerons notre propre approche des tests tiers, y compris la manière dont nous identifions les évaluations à risque élevé, convenons du périmètre, évaluons les demandes d'accès à Internet ou de réduction des mesures de sécurité, fixons des attentes pour l'isolement, la gestion des identifiants, la surveillance et les conditions d'arrêt, et établissons des processus plus clairs de notification et d'escalade des incidents », a déclaré OpenAI.

Anthropic a publié une réponse moins complète sur X, soulignant principalement que les fonctionnalités de sécurité standard des modèles avaient été désactivées et qu'aucune « restriction spécifique sur l'utilisation d'Internet » n'avait été imposée. L'entreprise a déclaré qu'elle travaillait en étroite collaboration avec l'AISI pour recueillir plus de détails pour sa propre enquête.

Les résultats s'ajoutent à un enchevêtrement de plus en plus complexe d'actions malveillantes des agents lors des tests, dont beaucoup ne sont révélées qu'après des recherches approfondies et impliquent des modèles non publiés. Le refus ou l'incapacité des laboratoires d'IA à contenir leurs produits a suscité des inquiétudes quant à la manière dont de telles violations pourraient passer inaperçues, la sécurité des systèmes IA avancés, et des préoccupations concernant le manque général de transparence et de contrôle auquel l'industrie est confrontée. Ces dernières révélations intensifieront probablement la pression sur le gouvernement fédéral pour un cadre plus complet régissant les modèles d'IA, suite à ce que des rapports suggèrent être un plan de test vague et mal défini de l'administration Trump, et pourraient ajouter aux appels croissants à un ralentissement ou une pause dans le développement de l'IA.