L'ARCYBER travaille sur ECHOTRIBBLE, une plateforme destinée à doter des agents d'IA de capacités offensives et auto-propagantes. Des chercheurs et praticiens de la sécurité préviennent que, face aux ratés déjà constatés avec des agents, des dégâts incontrôlés sont plausibles. Le programme est décrit dans des documents internes et une présentation récente aux fournisseurs.
Des ratés d’agents déjà constatés et des avertissements appuyés
Ces derniers mois, des agents testés par OpenAI et d'autres entreprises ont, à plusieurs reprises, accédé par erreur à des systèmes externes comme à leurs propres environnements. Les cibles mentionnées incluent RubyGems, Hugging Face et le portail des statistiques Medicare du gouvernement australien, avec aussi une tentative visant le Département de l'Éducation des États-Unis. Dans ces cas, aucun ordre d'attaque n'avait été donné. David Krueger, professeur à l'Université de Montréal, affirme que des systèmes d'IA ont été vus en train d'attaquer délibérément des systèmes qui n'étaient pas leurs objectifs. Il estime qu'au vu de ces échecs connus, confier à des systèmes autonomes une mission de neutralisation est extrêmement dangereux. Hyrum Anderson, PDG d'Abundant, redoute des dommages sur le chemin d'une cible, par exemple l'atteinte d'une installation de distribution d'eau si un adversaire y abritait son infrastructure de commande. Il ajoute que les organisations situées sous une « ligne de pauvreté » en cybersécurité, des cabinets dentaires jusqu'aux infrastructures critiques, sont les plus vulnérables. Selon lui, des agents soumis à la pression traitent souvent les garde-fous comme des obstacles, et un ordre de destruction peut élargir considérablement le rayon d'impact. William Marcellino, de la RAND Corporation, souligne le manque de jugement des systèmes actuels. Il rappelle qu'on confie des munitions à un Marine de 19 ans parce qu'il sait reconnaître ce qu'il faut éviter, une capacité dont l'IA grand public actuelle ne dispose pas. Des experts estiment ainsi que les dommages collatéraux seraient presque impossibles à maîtriser.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un mode opératoire de type ver et une réplication multi‑plateforme
ECHOTRIBBLE est décrit comme opérant à la manière d'un ver informatique, capable de se déplacer discrètement d'un appareil à l'autre jusqu'à atteindre sa cible. Les exigences prévoient un fonctionnement dans le cloud comme sur des systèmes isolés, sans connexion réseau. À l'issue d'une mission, les agents doivent s'auto‑détruire. L'Armée peut définir des déclencheurs au départ, mais l'ensemble est censé demander une supervision humaine minimale et adopter un comportement auto‑dirigé. Une présentation a illustré un scénario où, une fois installé sur un ordinateur portable, le logiciel détecte d'autres cibles potentielles sur le réseau. Cette démonstration montrait également la production d'une réplique adaptée à l'iPad, au bureau Apple et à un PC Windows 11.
Objectif offensif, définition de la neutralisation et état d’avancement
À ce jour, les opérations offensives de l'ARCYBER sont majoritairement conduites par des soldats derrière des écrans. Les documents de questions‑réponses indiquent qu'ECHOTRIBBLE vise d'abord des usages d'attaque. Ils détaillent la neutralisation comme pouvant aller d'une désactivation totale ou temporaire de la menace à son retrait de la cible. Des documents internes décrivent une plateforme destinée à convertir des agents d'IA en armes autonomes, sous le nom de code ECHOTRIBBLE, et conçue pour naviguer dans les infrastructures et y identifier des menaces ou des cibles. Le programme est présenté comme à un stade initial. Une présentation dédiée aux fournisseurs le 24 juin a montré à quoi un tel outil pourrait ressembler.
