Anthropic et Mythos : l'IA qui inquiète la cybersécurité mondiale

Il y a deux semaines, une révélation inattendue a secoué le monde de la cybersécurité. Anthropic, une entreprise de pointe dans le domaine de l'intelligence artificielle, a accidentellement divulgué des informations sur son modèle d'IA le plus puissant à ce jour : Claude Mythos Preview. Ce modèle, décrit comme un "changement radical" dans les performances de l'IA, a été dévoilé à la suite d'une erreur humaine et d'une mauvaise configuration d'un système de gestion de contenu. Selon un article de blog qui a fuité, Mythos présente des risques sérieux pour la cybersécurité, annonçant une nouvelle ère de modèles capables d'exploiter des vulnérabilités de manière bien plus sophistiquée que les efforts actuels des défenseurs.

Le mardi suivant, Anthropic a officiellement annoncé le lancement de Mythos, accompagné du Project Glasswing. Ce projet ambitieux réunit plus de 40 des plus grandes entreprises technologiques mondiales, telles qu'Apple, Google, Microsoft, Cisco et Broadcom. L'objectif est de donner un accès anticipé au modèle pour identifier et corriger les vulnérabilités dans de nombreux systèmes critiques. Les entreprises participantes sont chargées de scanner et de corriger leurs propres systèmes ainsi que les systèmes open source critiques dont dépend l'infrastructure numérique moderne. Pour encourager cette collaboration, Anthropic offre 100 millions de dollars en crédits d'utilisation pour Mythos et fait don de 4 millions de dollars à des efforts de sécurité open source.

Cependant, cette avancée technologique soulève des préoccupations majeures. Anthropic, l'un des trois principaux laboratoires d'IA au monde, a créé un modèle qu'elle considère trop dangereux pour être diffusé au grand public. Les dangers associés à Mythos ne proviennent pas d'une formation spécialisée en cybersécurité, mais des mêmes améliorations générales que tous les autres laboratoires poursuivent actuellement. Cela signifie que des modèles aux capacités similaires pourraient bientôt être accessibles à des criminels, des hackers et des États-nations, ou même plus largement via des modèles open source.

Anthropic a déjà constaté que son modèle Mythos a découvert des milliers de vulnérabilités de haute gravité dans chaque système d'exploitation majeur et navigateur web, et dans de nombreux cas, a développé des exploits associés. Parmi les découvertes les plus marquantes, une vulnérabilité dans OpenBSD, un système d'exploitation open source axé sur la sécurité, qui avait échappé à la détection pendant 27 ans. De plus, une faille dans l'encodeur vidéo FFmpeg, qui avait échappé à la détection lors de 5 millions de tests automatisés précédents, a été identifiée. Enfin, plusieurs vulnérabilités dans le noyau Linux ont été découvertes, pouvant être exploitées pour prendre le contrôle complet de la machine d'un utilisateur.

Dans une déclaration, Anthropic a souligné que "étant donné le rythme des progrès de l'IA, il ne faudra pas longtemps avant que de telles capacités se propagent, potentiellement au-delà des acteurs qui s'engagent à les déployer en toute sécurité". Les conséquences pourraient être sévères pour les économies, la sécurité publique et la sécurité nationale. Le Project Glasswing est une tentative urgente de mettre ces capacités au service de la défense.

Une vidéo accompagnant l'annonce montre des chercheurs d'Anthropic expliquant que Mythos est particulièrement dangereux en raison de ses capacités de raisonnement avancées. Contrairement aux modèles actuels qui peuvent identifier des vulnérabilités de haute gravité, Mythos est capable d'identifier plusieurs vulnérabilités distinctes dans un seul logiciel et de les enchaîner pour créer une nouvelle attaque particulièrement dangereuse. Couplé à la capacité croissante des modèles à fonctionner sans supervision pendant de longues périodes, Anthropic a déclaré que nous avons atteint un point d'inflexion en matière de risques de cybersécurité.

Les laboratoires d'IA ont souvent été critiqués pour faire des déclarations alarmantes sur les dangers posés par leur propre travail, ce qui peut sembler être une nouvelle forme étrange de marketing. Pour cette raison, ainsi que le fait que mon fiancé travaille chez Anthropic, j'ai voulu savoir ce que d'autres experts en cybersécurité pensaient de l'annonce de Mythos.

Alex Stamos, directeur produit chez la société de cybersécurité Corridor, a déclaré que Glasswing est "un gros problème, et vraiment nécessaire". Stamos, qui a précédemment dirigé la sécurité chez Facebook et Yahoo, a ajouté : "Nous n'avons qu'environ six mois avant que les modèles à poids ouverts rattrapent les modèles de base en matière de détection de bugs. À ce moment-là, chaque acteur de ransomware sera capable de trouver et d'exploiter des bugs sans laisser de traces pour que les forces de l'ordre puissent les retrouver (et avec un coût minimal)."

Les sentiments de Stamos ont été largement partagés par les participants de Glasswing. Anthony Grieco, responsable de la sécurité et de la confiance chez Cisco, a déclaré dans une déclaration accompagnant l'annonce que "les capacités de l'IA ont franchi un seuil qui change fondamentalement l'urgence requise pour protéger l'infrastructure critique des menaces cybernétiques, et il n'y a pas de retour en arrière".

Si l'infrastructure critique est vraiment à risque, comme le suggère Grieco, on espérerait que le gouvernement américain prête attention. Malheureusement, le gouvernement américain a tenté de déclarer Anthropic comme un risque pour la chaîne d'approvisionnement après que la société a refusé de modifier son contrat avec le Pentagone pour permettre la surveillance domestique de masse et des armes entièrement autonomes. Un juge a bloqué cette désignation pendant que l'affaire est en cours de litige.

Anthropic a informé des responsables gouvernementaux américains des capacités de Mythos, tant offensives que défensives, avant de lancer le Project Glasswing. Cela inclut l'Agence de cybersécurité et de sécurité des infrastructures et le Centre pour les normes et l'innovation en IA, qui travaille avec l'industrie pour tester de nouveaux modèles et les évaluer pour des risques de sécurité. Cependant, il n'est pas clair si le gouvernement accepte l'offre d'Anthropic d'aider à évaluer Mythos.

Un gouvernement fonctionnel devrait s'intéresser de près à ce qu'Anthropic fait ici, ne serait-ce que par souci d'autoprotection. Nous ne savons tout simplement pas si le Project Glasswing sera suffisant pour protéger les systèmes critiques contre les violations — et pour combien de temps.

Alex Stamos a exprimé deux scénarios possibles : "Le calendrier optimiste est que nous sommes un pas au-delà des capacités humaines, et cela signifie qu'il y a un énorme mais fini réservoir de défauts qui peuvent être trouvés et corrigés". En revanche, "le calendrier pessimiste est qu'avec chaque nouvelle version, il y aura de nouvelles classes de défauts que nous n'avons même jamais imaginées. Il est difficile de prédire, car nous essayons de modéliser une pensée surhumaine."

Pour le moment, on peut soutenir que le Project Glasswing représente l'application de la thèse fondatrice d'Anthropic. La raison pour laquelle la société a entrepris de construire des modèles d'IA de pointe était qu'un laboratoire axé sur la sécurité serait le premier à rencontrer les capacités les plus dangereuses — et pourrait ouvrir la voie à leur atténuation. Avec Mythos, cela semble être exactement ce qui se passe.

En même temps, Glasswing repose sur un principe profondément inconfortable — que la seule façon de nous protéger contre des modèles d'IA dangereux est de les construire d'abord. Et Anthropic le fait dans un environnement à peine régulé, presque à l'insistance de l'administration Trump.

Un effet de cela est de centraliser le pouvoir. Kelsey Piper a observé aujourd'hui à propos de Mythos : "une entreprise privée possède désormais des exploits zero-day incroyablement puissants de presque tous les projets logiciels dont vous avez entendu parler." Un autre effet est de centraliser le risque : entre autres choses, les incitations à voler les poids du modèle d'Anthropic viennent d'augmenter considérablement.

Tout cela est peu susceptible de rendre l'IA plus populaire dans un pays qui semble se retourner contre elle. Des enquêtes montrent que les gens réclament plus de contrôle sur l'utilisation de l'IA et des garanties plus solides à son sujet. Alors que l'histoire du Project Glasswing se déroule, nous pourrions regretter de ne pas avoir commencé ce travail beaucoup plus tôt.