Pourquoi le nouveau modèle d'IA d'Anthropic inquiète certains professionnels de la cybersécurité concernant ses capacités de hacking

Pourquoi le nouveau modèle d'IA d'Anthropic inquiète certains professionnels de la cybersécurité concernant ses capacités de hacking

Anthropic a annoncé qu'il ne publiera pas son nouveau modèle, Claude Mythos, en raison de craintes liées à une utilisation abusive en cybersécurité. Mythos peut détecter et exploiter de manière autonome des failles de sécurité à grande échelle, selon Anthropic.

Un expert a déclaré : "Fondamentalement, ce modèle semble incroyablement impressionnant et ne fera que s'améliorer avec le temps."

Les sorties d'IA d'Anthropic ont suscité des craintes d'apocalypse logicielle. L'entreprise a indiqué qu'elle ne mettrait pas son nouveau modèle, Claude Mythos Preview, à la disposition du public car elle craint qu'il ne provoque le chaos dans le monde de la cybersécurité. Dans un article de blog publié mardi, Anthropic a précisé que Mythos pouvait trouver, analyser et exploiter de manière autonome des vulnérabilités logicielles à grande échelle — dans certains cas, mieux que les humains.

Anthropic a qualifié cela de "moment décisif", affirmant que Mythos est si puissant que des non-professionnels de la cybersécurité pourraient l'utiliser "pour trouver et exploiter des vulnérabilités sophistiquées".

Des experts en cybersécurité ont déclaré à Business Insider que bien que l'annonce d'Anthropic contienne un certain langage marketing, le modèle semble représenter un grand bond en avant dans les capacités de l'IA dans le domaine cybernétique. Jake Moore, spécialiste mondial de la cybersécurité chez ESET, a déclaré : "Anthropic a construit sa réputation en tant qu'entreprise d'IA 'priorité à la sécurité', donc des annonces comme celle-ci servent deux objectifs : une véritable prudence et un signal de sa position axée sur la sécurité."

Méthode dans le Mythos

Anthropic a indiqué que pendant sa période de test, Mythos a détecté des "milliers" de failles de sécurité critiques, y compris des vulnérabilités de type zero-day, qui n'ont pas de solutions immédiates. Pour comparaison, des équipes humaines d'élite travaillant sur ces problèmes découvrent environ 100 de ces vulnérabilités par an, a déclaré Ofer Amitai, cofondateur de la startup Onit Security. "Donc, c'est environ 10 à 100 fois la production d'une équipe humaine de haut niveau, et cela réduit le développement d'exploits de semaines à heures", a-t-il ajouté.

Les grands modèles de langage (LLMs), la technologie sous-jacente à des IA comme Mythos, sont devenus incroyablement compétents en programmation en raison de leurs règles et modèles stricts. Cela s'applique également à la cybersécurité, a déclaré Erik Bloch, vice-président de la sécurité de l'information chez Ilumio. "Les LLMs sont fondamentalement des moteurs linguistiques, et le code n'est qu'une autre langue", a déclaré Bloch. "C'est pourquoi il n'est pas surprenant qu'ils puissent trouver des bogues et des vulnérabilités que les humains ou les outils basés sur des règles manquent, en particulier des problèmes subtils au niveau de la logique."

Cependant, des questions subsistent concernant les coûts et l'évolutivité. Anthropic a déclaré qu'il avait fallu 20 000 $ pour trouver une vulnérabilité vieille de 27 ans dans un système d'exploitation après avoir exécuté Mythos des milliers de fois. "Étant donné les coûts, cela peut-il être évolutif ?" a demandé Kev Breen, directeur senior de la recherche sur les menaces cybernétiques chez Immersive. "Par où commencer ? Les humains sont-ils plus évolutifs et abordables que les agents d'IA ?"

Offense contre défense

La cybersécurité est un jeu continu de chat et de souris entre ceux qui essaient de s'introduire et ceux qui tentent de tenir les attaquants à l'écart. De quel côté Mythos bénéficie-t-il le plus ? Dans un monde où un outil comme Mythos serait disponible publiquement, les attaquants en bénéficieraient davantage à court terme, affirment les experts en cybersécurité.

"Ils peuvent générer des phishing hautement ciblés, des deepfakes convaincants, ou des chaînes d'exploitation exploitables d'un simple clic", a déclaré Mike Britton, directeur de l'information chez Abnormal AI. Ensuite, à mesure que les défenseurs adopteraient de tels outils, ils prendraient l'avantage. "Les outils basés sur des capacités de type Mythos leur permettront de trouver, trier et corriger les vulnérabilités beaucoup plus rapidement tout au long du cycle de vie, déplaçant l'avantage vers la défense", a déclaré Amitai.

Anthropic a indiqué que ses propres tests sur Mythos comprenaient l'encouragement de l'IA à sortir d'un sandbox virtuel. Un chercheur d'Anthropic a déclaré qu'il avait ensuite reçu un "email inattendu du modèle tout en mangeant un sandwich dans le parc".

"Si les capacités présentées ici sont vraiment substantielles et non un battage publicitaire, alors pour ma part, j'ai de sérieuses inquiétudes sur où nous allons finir", a déclaré Dan Andrew, responsable de la sécurité chez Intruder, à Business Insider.

Pour l'instant, Anthropic met à disposition une version préliminaire de Claude Mythos à certaines entreprises — y compris Google, Microsoft, JPMorgan Chase et CrowdStrike — pour aider à le tester dans un environnement contrôlé dans ce qu'elle appelle le "Project Glasswing".

"Les conséquences — pour les économies, la sécurité publique et la sécurité nationale — pourraient être sévères", a déclaré Anthropic. "Le Project Glasswing est une tentative urgente de mettre ces capacités au service de la défense." Andrew a déclaré que bien que cela semble "effrayant", il pense qu'Anthropic considère le risque comme réel car ils "ne sont pas les pires coupables en matière de battage publicitaire par rapport à la substance."