Virus d'IA autonomes : une menace cybernétique qui se concrétise

Virus d'IA auto-suffisants

L'émergence de virus informatiques dotés d'intelligence artificielle capables de s'auto-répliquer et de se propager de manière autonome marque une avancée inquiétante dans le domaine de la cybersécurité. Des chercheurs issus de l'Université de Toronto, de l'Institut Vector, de l'Université de Cambridge et de ServiceNow ont mis au point un prototype de virus qui utilise des modèles d'IA pour compromettre des systèmes informatiques. Ce virus exploite les ressources des unités de traitement graphique (GPU) pour effectuer des inférences, lui permettant ainsi de déterminer intelligemment comment infecter d'autres systèmes. Ces travaux démontrent que les menaces cybernétiques autonomes alimentées par l'IA ne sont plus de simples hypothèses théoriques.

Les chercheurs soulignent la nécessité de se préparer à l'émergence d'adversaires génératifs autonomes. Selon eux, les agents d'intelligence artificielle permettent de créer une nouvelle catégorie de menaces : des vers capables de générer des stratégies d'attaque sur mesure pour chaque cible rencontrée. Ces vers utilisent de manière parasitaire les machines compromises pour exécuter des modèles de langage de grande taille (LLM) à poids ouverts, afin de soutenir leur raisonnement ou d'étendre leur portée pour d'autres attaques.

Fonctionnement du virus

Le virus utilise la puissance de calcul volée des nœuds GPU compromis pour héberger des LLMs, ce qui lui permet de mener un raisonnement génératif. Grâce à ce raisonnement, il peut détecter des vulnérabilités et concevoir des attaques sur mesure contre d'autres cibles, favorisant ainsi sa propagation. La preuve de concept fonctionne uniquement avec un LLM à poids ouvert fonctionnant sur un seul GPU local, sans dépendance aux API des fournisseurs qui pourraient être surveillées ou révoquées.

Les chercheurs n'ont pas révélé le modèle de LLM sous-jacent, mais ils ont précisé qu'il a été publié en 2025 et qu'il peut être exécuté sur un seul GPU A100 doté de 80 Go de mémoire VRAM.

Outils et méthodologie

Pour que le virus fonctionne efficacement, les chercheurs lui ont fourni un harnais personnalisé comprenant des fonctions d'assistance intégrées pour la découverte de réseau, la découverte d'hôtes, l'exploitation des points d'accès, l'escalade des privilèges et la réplication de l'agent. De plus, ils ont conçu un graphe de raisonnement qui aide l'agent à spécialiser sa réflexion et à ne pas se perdre. Ce graphe est composé d'un ensemble de nœuds spécialisés, chacun responsable d'une fonction analytique distincte et ne voyant que les outils et les invites pertinents pour son rôle. En décomposant le raisonnement de l'agent en ces étapes ciblées, le graphe contrôle ce à quoi le LLM s'attache à chaque point de décision et limite la croissance du contexte à des informations pertinentes pour l'objectif sous-jacent actuel.

Exemples de nœuds

Parmi les exemples de nœuds, on trouve :

• Plan : élabore une stratégie d'attaque de haut niveau.
• Judge : évalue le plan proposé par rapport à l'historique des commandes.
• Action : choisit un outil dans l'ensemble d'outils approprié à la phase.
• Summary : compile les observations de l'étape dans un résumé structuré.
• Progress : évalue si l'agent progresse de manière significative.

L'agent suit trois étapes clés : identifier les vulnérabilités dans son environnement, exploiter ces vulnérabilités, puis se répliquer. Il est assez efficace dans ces tâches, avec un taux de succès d'environ 80 % pour la détection des vulnérabilités, 53 % pour leur exploitation, et un taux de succès de 88 % pour la réplication avec quelques outils d'assistance préemballés pour les étapes de réplication. Par conséquent, le taux de succès global pour une attaque complète est d'environ 37 %, ce qui est suffisamment significatif pour être préoccupant, mais aussi assez faible pour servir d'évaluation utile pour tester les modèles à poids ouvert à l'avenir.

Importance de cette recherche

L'avenir d'Internet pourrait ressembler à une écologie complexe peuplée d'agents d'IA attaquants et défenseurs. Des recherches comme celle-ci montrent comment certains agents d'IA pourraient finir par se tailler des niches écologiques, vivant d'infrastructures et se répliquant de manière autonome, au-delà du contrôle humain. Cela pourrait signifier que les humains doivent créer leurs propres agents d'IA qu'ils libèrent sur Internet pour servir de sortes de globules blancs contre les modèles adverses.

Les chercheurs notent que malgré la fragilité inhérente des tentatives d'exploitation individuelles, l'agent ver atteint une résilience opérationnelle en se répliquant continuellement en un essaim — un collectif décentralisé de répliques d'agents indépendants agissant simultanément à travers le réseau. Les hôtes difficiles qui résistent aux tentatives initiales sont réessayés par différentes répliques, chacune échantillonnant une nouvelle trajectoire de raisonnement qui explore collectivement des chemins d'exploitation divers jusqu'à ce qu'un succès soit atteint. Le ver fonctionne de manière entièrement décentralisée, et aucun point de contrôle unique ne peut être mis hors ligne pour interrompre sa propagation.

L'augmentation des coûts de calcul

Dwarkesh Patel, un analyste du domaine, anticipe que les coûts de calcul continueront d'augmenter à mesure que les systèmes d'IA deviennent plus intelligents. Il estime que les modèles d'IA, en devenant plus performants, parviendront à mieux monétiser la même quantité de calcul. Par exemple, si un véritable ingénieur logiciel de niveau humain pouvait fonctionner sur un équivalent H100, aux tarifs actuels pour les ingénieurs logiciels, cet H100 devrait être loué pour plus de 250 000 dollars par an, soit 15 fois les prix actuels du marché.

Patel explique que l'une des raisons pour lesquelles l'IA est relativement bon marché en ce moment, du moins par rapport au travail humain, est qu'elle ne peut pas encore accomplir de nombreuses tâches que les meilleurs humains peuvent réaliser. Cependant, cette situation pourrait changer à l'avenir. Ainsi, l'utilisation de GPU pour produire des vidéos de courte durée pourrait devenir trop coûteuse.

État temporaire

Cette situation de coûts élevés pourrait être temporaire. Patel s'attend à ce qu'à un moment donné, une robotisation massive de la chaîne d'approvisionnement en calcul fasse baisser son prix, le rapprochant du coût des intrants et des outils bruts. Toutefois, d'ici là, nous pourrions être déjà bien avancés dans la singularité.

Importance économique

L'implication principale des propos de Patel est qu'à mesure que nous nous enfonçons dans la singularité, des phénomènes économiques très étranges pourraient se produire. Par exemple, le prix des ordinateurs, considérés aujourd'hui comme des commodités, pourrait augmenter considérablement en raison des demandes voraces des systèmes d'IA.

Appel à un rythme de progrès contrôlé

Une nouvelle déclaration a été publiée par des représentants de haut niveau de tous les principaux laboratoires d'IA occidentaux, notamment OpenAI, Anthropic, Google DeepMind, Thinking Machines, Meta, et Safe Superintelligence Inc. Cette déclaration appelle le gouvernement américain à soutenir un effort international pour développer les outils techniques et de gouvernance nécessaires pour contrôler délibérément le rythme du développement automatisé de l'IA.

Les signataires incluent des scientifiques en chef et des cofondateurs d'Anthropic, Google et OpenAI, ainsi que les PDG de Safe Superintelligence et d'Anthropic.

Contenu de la déclaration

La déclaration complète est la suivante :

« L'IA pourrait aider à créer un avenir considérablement meilleur, mais ce résultat n'est pas garanti. Les principales entreprises d'IA du monde croient qu'elles pourraient être proches d'automatiser la recherche en IA. Il est difficile de prédire exactement dans quelle mesure cela accélérera le progrès de l'IA, mais il existe un risque réel que le développement des capacités s'accélère rapidement au-delà de notre capacité à comprendre ou à contrôler les systèmes résultants. Pour réaliser le potentiel de l'IA, l'industrie, le gouvernement et la société dans son ensemble pourraient avoir besoin de l'option d'acheter du temps pour traiter les risques émergents, développer des mesures de sécurité et renforcer la surveillance. Mais chaque entreprise - et chaque pays - est sous une pression concurrentielle intense pour ne pas ralentir unilatéralement cette accélération. Et aujourd'hui, le monde manque des outils techniques et de gouvernance pour contrôler délibérément le progrès à l'échelle de la frontière. »

Importance de cette déclaration

Traiter avec le rythme de développement rapide de l'IA nécessite de résoudre un immense problème d'action collective. De nombreux défis impliqués par des systèmes de plus en plus puissants qui pourraient éventuellement se construire eux-mêmes passent par la résolution de problèmes d'action collective parmi les humains. Il s'agit de savoir comment nous pouvons amener les entreprises et les gouvernements à coordonner leurs réflexions sur la manière de développer cette technologie et quels types de mécanismes pourraient être souhaitables pour contrôler la vitesse à laquelle elle se développe. Il se peut qu'à mesure que nous construisons des systèmes de plus en plus intelligents, nous souhaitions trouver des moyens de donner à la société plus de temps pour s'adapter à chaque échelon de l'échelle d'intelligence, et il n'est pas inconcevable qu'il existe certains niveaux d'intelligence qui pourraient être, pour l'instant, trop dangereux à atteindre. Des déclarations comme celle-ci sont un prérequis essentiel pour donner à notre espèce la capacité de traiter et de discuter de problèmes de cette nature.

Les systèmes d'IA et la créativité

Les systèmes d'IA actuels excellent dans l'ingénierie de pointe, mais ils peinent encore à faire preuve de créativité. La question clé pour déterminer à quelle vitesse les systèmes d'IA pourraient acquérir la capacité d'automatiser le développement autonome de systèmes plus puissants est de savoir si ces systèmes peuvent proposer des idées de recherche créatives qui font progresser le domaine de l'IA. De nouvelles recherches suggèrent que les systèmes d'IA d'aujourd'hui manquent de cette qualité de créativité raffinée, bien qu'ils soient extrêmement compétents en ingénierie.

Recherche collaborative

Ce projet a été mené par des chercheurs de l'Université de Princeton, de Cornflower Labs, de l'Institut de sécurité de l'IA du Royaume-Uni, de l'Université de Toronto, de l'UC Berkeley, de l'Université de Georgetown (CSET), de l'Université Johns Hopkins, de l'Institut Golden Gate pour l'IA, AI Digest et de l'Université de Stanford.

Concept de « shadow evaluation »

Ce projet de recherche fonctionne en évaluant la capacité des systèmes d'IA à réaliser des recherches non publiées. Pour ce faire, les chercheurs ont collaboré avec les auteurs de deux articles soumis à NeurIPS 2026.