Brief IA : SusVibes : 11,8 % des solutions générées par IA sont sécurisées

SusVibes : 11,8 % des solutions générées par IA sont sécurisées

Brief IA
Tom Levy·6 min

Dans SusVibes, 11,8 % des solutions étaient sécurisées lorsque les agents ne recevaient pas de consignes de sécurité. Chez Mimecast, selon Leslie Nielson, une personne identifiée répond de chaque modification livrée avec l'aide de l'IA. Darren Meyer, chez Endor Labs, observe une adoption importante chez les analystes, les équipes marketing et les chercheurs.

En bref
1Dans SusVibes, 11,8 % des solutions étaient sécurisées lorsque les agents ne recevaient pas de consignes de sécurité.
2Chez Mimecast, selon Leslie Nielson, une personne identifiée répond de chaque modification livrée avec l'aide de l'IA.
3Darren Meyer, chez Endor Labs, observe une adoption importante chez les analystes, les équipes marketing et les chercheurs.
Pourquoi c'est important : un code généré peut fonctionner tout en conservant des vulnérabilités.

Dans l'évaluation SusVibes, les agents de programmation privés de consignes de sécurité ont produit des solutions sécurisées dans seulement 11,8 % des cas. Leurs réponses pouvaient pourtant être fonctionnelles jusqu'à 57 % du temps. Pour les organisations, les contrôles concernent aussi bien les composants importés que les responsabilités humaines et les applications créées hors des équipes informatiques.

Les budgets suivent mal le développement logiciel

Les budgets de sécurité augmentent généralement moins vite que le développement logiciel, estime Darren Meyer, ingénieur de recherche chez Endor Labs. Selon lui, l'adoption de l'IA creuse cet écart. La sécurité applicative est souvent insuffisamment financée, alors que la programmation assistée accélère le développement. Certains décideurs peuvent encore considérer la protection des systèmes d'IA comme facultative.

Darren Meyer juge nécessaires à la fois des outils de qualité et des spécialistes de la sécurité applicative et des produits. Ces derniers doivent pouvoir collaborer avec des développeurs de profils variés et comprendre les aspects techniques, de conformité et de sécurité de l'IA. Le volume à examiner peut dépasser les capacités d'une vérification entièrement manuelle. Leslie Nielson, responsable de la sécurité des systèmes d'information chez Mimecast, fournisseur de sécurité de l'information, avertit qu'un réviseur saturé de modifications peu risquées finit par valider sans véritable examen.

Darren Meyer décrit aussi des organisations partagées entre une adhésion très forte à l'IA et un refus marqué. Ces divisions peuvent compliquer la tâche des responsables de la sécurité, y compris dans les métiers. Des restrictions insuffisamment expliquées risquent de passer pour une entrave à l'innovation. Thomas Segura, rédacteur technique senior chez GitGuardian, préconise une stratégie qui associe productivité et exigences de sécurité.

Les composants importés peuvent échapper aux contrôles

Une dépendance absente du manifeste, dite « fantôme », peut ne pas être repérée par un scanner et contenir une vulnérabilité. Les bibliothèques tierces constituent également un point de vigilance. L'analyse de composition logicielle et les outils consacrés à la chaîne d'approvisionnement peuvent aider à retrouver les composants employés, leurs failles et les difficultés juridiques ou de conformité associées.

Alex Ștefănescu, expert en sécurité et activiste technologique, alerte sur les paquets inventés par les agents ou les fonctions de complétion, notamment dans GitHub Copilot. Une suite statistiquement plausible après une instruction d'importation ne garantit pas qu'un paquet existe sur PyPI, explique cette personne. D'après Alex Ștefănescu, des attaquants enregistrent sur npm ou PyPI les noms suggérés et ajoutent des fonctions donnant aux paquets une apparence crédible. Leur importation dans une application peut causer des dommages.

Les modèles d'apprentissage automatique et les jeux de données téléchargés sur Hugging Face ou d'autres plateformes présentent aussi des risques, indépendamment de la génération de code. Selon Alex Ștefănescu, une porte dérobée peut subsister malgré les vérifications aux deux extrémités, s'activer lors de l'intégration du modèle et provoquer une fuite d'informations de l'entreprise. L'emploi d'assistants de programmation peut également entraîner l'insertion involontaire de données sensibles dans les bases de code.

Les responsables de la sécurité peuvent définir des procédures pour télécharger et intégrer ces ressources externes, puis les inscrire, lorsque c'est pertinent, dans les consignes des agents. Ces procédures peuvent prévoir une recherche automatique de programmes malveillants ou de portes dérobées. Elles peuvent aussi limiter les modèles autorisés à ceux d'éditeurs vérifiés ou imposer des essais internes en environnement isolé.

Mimecast réserve l'approbation aux personnes

Chez Mimecast, chaque modification livrée avec l'assistance d'une IA relève d'une personne identifiée dans la demande d'intégration, affirme Leslie Nielson. La validation appartient exclusivement aux humains. Il recommande de combiner contrôles automatiques et appréciation humaine : son entreprise automatise les vérifications répétitives sur les dépendances, les secrets et les schémas de vulnérabilité connus. Les accès, l'authentification et les données sensibles passent néanmoins systématiquement devant un spécialiste, même en l'absence d'alerte automatique.

La lettre du soirGratuit · 19 h

L’IA appliquée, concrètement ?

Les cas d’usage qui marchent vraiment, décryptés chaque soir en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Bianca Lankford, vice-présidente de l'ingénierie chez Datadog, recommande de ne pas accorder de confiance préalable au code généré. Les équipes de sécurité rapprochent déjà l'analyse statique, la recherche de secrets et les contrôles de dépendances de chaque demande d'intégration, voire de l'éditeur du développeur. Selon elle, des entreprises définissent les assistants autorisés, restreignent leurs accès et apprennent aux réviseurs à repérer composants obsolètes, entrées mal validées et réglages trop permissifs.

Pour Bianca Lankford, le recours à un spécialiste doit dépendre du risque, non de l'origine du code. Elle cite l'authentification, la cryptographie, les paiements, les données personnelles et l'infrastructure, avec une orientation automatique possible par les règles de responsabilité sur le code. L'ampleur des modifications, l'ajout de dépendances et les changements de permissions ou d'exposition réseau constituent d'autres signaux.

Alex Ștefănescu distingue, pour sa part, production de logiciel et compréhension de son fonctionnement. Selon cet expert, une documentation entretenue, des tests robustes et la conservation écrite des décisions d'architecture importantes peuvent faire gagner du temps lors d'un incident de sécurité ou d'un diagnostic complexe. Ces ressources devraient être produites et maintenues par des humains à destination d'autres humains, plutôt que confiées à la génération automatique.

Les équipes métiers développent leurs propres applications

Les directions informatiques font de plus en plus appel aux utilisateurs métiers pour réaliser leurs applications, tandis que Claude Code, Cursor, GitHub Copilot et Amazon Q Developer figurent parmi les principaux assistants employés par les développeurs. Darren Meyer observe une adoption importante chez les analystes de données, les équipes marketing et les chercheurs. Ces équipes, traditionnellement peu familières du développement de leurs propres logiciels, fabriquent davantage de petits outils intégrant bibliothèques et modèles d'IA, sans toujours connaître les risques.

Un responsable informatique relate sur Reddit sa découverte du travail d'un jeune diplômé pratiquant le « vibe coding », plusieurs mois après le recrutement de ce dernier. Selon son témoignage, le jeune diplômé avait conçu, sous un domaine dont il avait le contrôle, une application web exploitant des données clients et des contrats privés. L'offre gratuite de Supabase servait au stockage des informations, tandis que son dépôt GitHub alimentait directement le déploiement sur l'infrastructure sans serveur de Cloudflare.

Le responsable affirme que le salarié travaillait directement en production, avec des serveurs distribués à travers le monde, alors que l'entreprise se trouvait dans l'Union européenne. Interrogé sur l'examen du code et les précautions prises, le salarié aurait seulement invoqué le caractère privé du dépôt GitHub. Le PDG aurait ensuite écarté les inquiétudes du responsable informatique.

Darren Meyer estime que ce développement hors des circuits habituels, associé à une connaissance limitée de la sécurité applicative, favorise les risques. Les responsables de la sécurité peuvent prendre contact tôt avec les équipes concernées et envisager des formations adaptées aux analystes, aux professionnels du marketing et aux chercheurs sur les dangers des outils et bibliothèques d'IA.

SusVibes teste la sécurité du code fonctionnel

SusVibes repose sur 186 demandes réelles de fonctionnalités provenant de projets à code ouvert. Danqing Wang, de l'Institut des technologies linguistiques de l'université Carnegie Mellon, qui a participé à cette évaluation, explique que les défaillances observées ne relevaient pas de simples négligences. Les déceler exigeait de considérer les possibilités d'un attaquant, au-delà du fonctionnement attendu.

Katie Paxton-Fear, spécialiste de la sécurité chez Semgrep, estime que l'amélioration des assistants dans la production de programmes fonctionnels incite les développeurs à leur accorder davantage de confiance et à réduire leur vigilance. Le volume de code produit contribue aux préoccupations des responsables de la sécurité. L'IA sait rechercher des défauts dans les logiciels, mais elle introduit aussi ses propres erreurs lorsqu'elle écrit du code.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires