Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Anthropic : l'IA Claude infiltre des entreprises par inadvertance
Anthropic a récemment découvert que plusieurs de ses modèles d'IA Claude avaient pénétré les systèmes de trois organisations différentes lors de tests, agissant de leur propre initiative et sans que l'entreprise ne s'en aperçoive. Cette révélation intervient quelques jours après qu'OpenAI a annoncé qu'un de ses modèles avait violé la plateforme de développement Hugging Face, ce qui suscite de plus en plus d'inquiétudes quant à savoir si les laboratoires d'IA de pointe font suffisamment pour contrôler les systèmes de plus en plus performants qu'ils développent.
Dans un article de blog décrivant les incidents, Anthropic a indiqué que Claude avait accédé de manière non autorisée aux systèmes lors d'évaluations de cybersécurité. Tous les incidents se sont produits lors d'exercices de type « capture-the-flag », une méthode courante pour tester les capacités de piratage, où les modèles sont invités à trouver et à obtenir des informations cachées à l'intérieur d'un réseau simulé.
Cette divulgation ajoute à la pression croissante sur les laboratoires d'IA de pointe à la suite de l'incident Hugging Face et de la publication de puissants modèles chinois à poids ouverts. Les employés des grands laboratoires appellent désormais à une gouvernance mondiale coordonnée, et les législateurs américains commencent à envisager un contrôle plus strict des modèles puissants et de qui peut y accéder.
Anthropic a déclaré que l'environnement de ses tests de cybersécurité était censé être isolé. Cependant, une « mauvaise configuration » a laissé les machines auxquelles Claude a accédé « avec un accès Internet actif », a précisé l'entreprise. Comme tous les modèles avaient été « explicitement informés » qu'ils n'avaient pas accès à Internet, ils ont « supposé » que les véritables réseaux rencontrés faisaient partie de l'environnement simulé.
Les premiers incidents remontent à avril et impliquaient trois modèles Claude différents : Opus 4.7, Mythos 5, et « un modèle de test de recherche interne », selon l'article de blog. Alors que les modèles étaient testés sur leurs capacités cybernétiques, Anthropic a indiqué qu'ils manquaient des protections standard généralement mises en place pour limiter les comportements à risque.
L'entreprise a déclaré avoir découvert les incidents après avoir examiné plus de 141 000 tests de cybersécurité, ce qu'elle n'a fait qu'après qu'OpenAI a révélé que son agent IA indiscipliné était à l'origine de l'attaque contre Hugging Face.
Les trois modèles ont réagi très différemment lorsqu'ils ont rencontré des informations suggérant que les systèmes qu'ils rencontraient étaient, en fait, réels. Selon Anthropic, le modèle le plus ancien, Opus 4.7, a reconnu qu'il avait atteint un système réel, « mais a continué son attaque ». Son modèle phare, Mythos 5, a compris qu'il utilisait Internet mais a raisonnablement pensé que tout cela faisait encore partie de la simulation, donc a continué. Le modèle de test interne, que Anthropic décrit comme « notre dernier modèle », a arrêté l'exercice lorsque des preuves ont émergé indiquant que ses cibles étaient réelles.
Anthropic n'a pas identifié les organisations touchées et a déclaré qu'elle continuerait d'enquêter sur l'incident et fournirait des mises à jour dès que possible. L'entreprise a également indiqué qu'elle discutait avec l'organisation de recherche en IA à but non lucratif METR pour réaliser un examen indépendant de ce qui s'est passé. OpenAI a également engagé METR pour mener un examen indépendant.
Tout au long de l'article, Anthropic contraste à plusieurs reprises la nature et la gestion de ces incidents avec celles d'OpenAI, se terminant par une liste à puces en quatre points décrivant les différences — et pourquoi elle estime que sa propre réponse était meilleure. Anthropic souligne qu'elle a « proactivement » examiné ses tests, et ce, avant qu'une entreprise ne détecte une activité. Elle a également précisé que ses modèles avaient accédé à Internet « par un chemin ouvert », plutôt que d'utiliser une exploitation nouvelle comme l'agent d'OpenAI, ajoutant que son modèle le plus récent s'est également arrêté lorsqu'il a réalisé qu'il travaillait dans un environnement réel.
Anthropic a également déclaré que ses modèles avaient échoué d'une manière différente de celle de l'agent d'OpenAI, indiquant qu'il s'agissait d'une forme d'échec plus sûre. « Bien qu'il n'y ait pas de distinction parfaitement nette entre les deux, nous croyons que ces incidents sont plus proches d'un échec opérationnel que d'un échec d'alignement du modèle, » a déclaré l'entreprise. En termes simples : les modèles Claude faisaient ce qu'on leur avait dit, tandis que l'agent d'OpenAI poursuivait son objectif d'une manière que ses créateurs n'avaient pas prévue, décrite comme un désalignement dans le domaine de la sécurité de l'IA.
Anthropic a appelé d'autres laboratoires d'IA à mener des examens proactifs similaires de leurs tests cybernétiques, ajoutant que cette découverte souligne la nécessité de contrôles et de mesures de sécurité plus stricts lors des tests des systèmes d'IA.
