Brief IA : Agents d’IA : des fichiers llms.txt ont déclenché des exécutions en entreprise

Agents d’IA : des fichiers llms.txt ont déclenché des exécutions en entreprise

Brief IA
Tom Levy·5 min·2 vues

Des chercheurs ont identifié 120 fichiers llms.txt pointant vers 227 commandes liées à des paquets non enregistrés, exécutées par des agents d'IA comme Claude, Codex et Hermes au sein d'entreprises du Fortune 500. Un incident sur clerk.com a permis l'installation d'un paquet malveillant via npx, soulignant que les contrôles de sécurité n'ont pas détecté ces instructions jugées légitimes. Cela met en lumière un risque de sécurité inédit, où la frontière entre données et code s'effondre.

En bref
1120 fichiers llms.txt ou équivalents ont été identifiés, pointant vers 227 commandes associées à des paquets ou domaines non enregistrés
2Des agents d’IA tels que Claude, Codex et Hermes ont exécuté ces instructions, y compris dans des entreprises du Fortune 500
3Un fichier sur clerk.com a permis l’installation d’un paquet malveillant via npx, corrigé depuis
💡Pourquoi c'est importantCes incidents montrent que des agents d’IA peuvent exécuter automatiquement des instructions issues de fichiers de documentation, exposant les entreprises à des risques de sécurité inédits.
Le brief IA que lisent les pros

Tu suis la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisis ton rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

📄
L'analyse en français

Des chercheurs ont identifié 120 fichiers d’instructions pour IA pointant vers 227 commandes liées à des paquets ou domaines non enregistrés. Des agents comme Claude, Codex et Hermes ont suivi ces consignes, jusqu’à l’intérieur de groupes du Fortune 500. Un cas sur clerk.com a mené à un paquet malveillant actif via npx.

Les défenses n’ont pas alerté face à des instructions vues comme légitimes

Les chercheurs décrivent une situation où les contrôles de sécurité sur les postes de travail n'ont pas détecté d'anomalie, car l'installation semblait provenir de sources autorisées, avec un agent de codage attendu comme processus parent. L'échec de détection se situe entre l'instruction et l'exécution. Pour un agent, un fichier llms.txt servi en HTTPS sur le domaine officiel et dans un format standardisé fait autorité. L'agent ne vérifie pas si le nom du paquet appartient réellement à l'entreprise ni si un lien pointe vers un domaine expiré, et suit l'instruction. Cette confiance s'étend de manière transitive à des documents de partenaires, de fournisseurs ou de communautés. Selon les chercheurs, la frontière entre données et code s'effondre, comme le montre le cas où une commande dans le fichier d'un fournisseur semblait légitime malgré l'absence de nom réservé au registre.

Des exécutions confirmées, y compris au sein du Fortune 500

Après avoir enregistré certains noms de paquets non revendiqués et hébergé des paquets qui forçaient une connexion à leur serveur lors de l'exécution, les chercheurs ont observé des retours d'exécution. Une entreprise du Fortune 500 a répondu en moins d'une heure, suivie de plusieurs dizaines d'autres réponses, provenant d'autres groupes du Fortune 500 et de startups. La télémétrie a permis de remonter la chaîne de processus menant à l'installation, impliquant des agents de codage tels que Claude, Codex et Hermes. Ces observations confirment que des agents opérationnels en entreprise ont appliqué des instructions issues de ces fichiers. Anthropic, OpenAI et Nous Research n'avaient pas répondu aux sollicitations au moment de la publication.

Un cas de logiciel malveillant actif lié à npx sur clerk.com

Un fichier d'instructions hébergé sur le domaine clerk.com contenait la commande npx clerk-next-fix-auth-protection. Comme npx peut exécuter un binaire récupéré sans l'ajouter au manifeste de dépendances, la commande exposait un vecteur direct. Un tiers a ensuite revendiqué l'emplacement et y a hébergé un paquet malveillant actif. Clerk a corrigé la situation et a précisé qu'un agent ayant déjà installé un binaire inclus dans @clerk/eslint-plugin ne courait pas de risque, sinon le paquet malveillant aurait été installé. Il n'existe pas d'élément confirmant des infections avérées résultant de cet épisode.

Le mécanisme : fichiers llms.txt et dépendances non réservées

Les fichiers llms.txt et llms-full.txt, présentés comme l'équivalent pour l'IA de robots.txt et référencés par des outils de développement, servent des résumés destinés aux agents. Des exemples conformes existent pour des environnements comme Cloudflare. Des erreurs de configuration recensées listent des paquets inexistants sur PyPI, npm et d'autres registres, avec des directives d'installation. Des attaquants peuvent alors enregistrer ces noms disponibles pour y placer des charges nuisibles. La vulnérabilité se manifeste lorsque des agents autorisés interprètent ces fichiers comme des instructions valides et procèdent au téléchargement et à l'exécution. Dans d'autres cas, les fichiers renvoient à des noms de domaine non créés qu'un tiers pourrait enregistrer pour y publier des instructions indésirables.

L’étendue du phénomène recensé par les chercheurs

Le scan de 6 214 domaines d'acteurs industriels et technologiques a permis d'identifier 8 265 fichiers d'instructions pour IA. Parmi eux, 120 fichiers distincts renvoyaient vers des paquets ou domaines non revendiqués, totalisant 227 commandes associées. Plus largement, des documents similaires sur plus de 100 sites incluent des références à du contenu potentiellement exécutable pouvant s'installer automatiquement pour de nombreux agents. Des entreprises, y compris dans le Fortune 500, ont exécuté des codes de démonstration, et un cas de site mal configuré a redirigé des visiteurs vers un logiciel malveillant actif.

Origines possibles des erreurs et vulnérabilité structurelle

Les modèles utilisés ne distinguent pas de manière fiable les instructions saisies par un utilisateur des consignes trouvées dans du contenu tiers, pouvant exécuter ces dernières sans garde-fou dédié. Les chercheurs rappellent que toute entrée peut être interprétée comme une instruction, transformant un large corpus de données en surface d'exécution dépourvue des garanties appliquées au code. L'origine précise des entrées problématiques reste indéterminée : certaines traces remontent à des contenus antérieurs à l'essor de l'IA, d'autres pourraient résulter d'une génération automatisée ayant manqué la distinction entre directives légitimes et indues. Cette faiblesse est apparentée aux injections de prompt mais dépasse ce cadre. Alon Hertz souligne que des instructions initialement légitimes deviennent dangereuses lorsque les références associées sont abandonnées puis récupérées. Le phénomène ne se limite pas aux fichiers d'instructions pour IA et s'amplifie à mesure que les grandes entreprises généralisent l'intégration de ces systèmes. Il estime également que la confiance dans la documentation et la diffusion d'agents sur SaaS, cloud et terminaux accroissent la surface d'attaque.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires