Microsoft renforce la sécurité des agents IA avec un outil open-source

Microsoft a récemment dévoilé un nouvel outil open-source destiné à renforcer la sécurité des agents d'intelligence artificielle (IA) en entreprise. Cet outil vise à instaurer une gouvernance stricte en temps réel, une nécessité face à l'évolution rapide des modèles de langage autonomes qui exécutent du code et accèdent aux réseaux d'entreprise plus vite que les contrôles traditionnels ne peuvent le faire.

Initialement, l'intégration de l'IA se limitait à des interfaces conversationnelles et des copilotes de conseil, avec un accès en lecture seule à des ensembles de données spécifiques. Désormais, les entreprises déploient des cadres d'agents capables d'actions indépendantes, connectant directement ces modèles aux interfaces de programmation d'applications internes, aux dépôts de stockage cloud et aux pipelines d'intégration continue.

Lorsqu'un agent autonome peut, par exemple, lire un e-mail, décider de rédiger un script et l'envoyer à un serveur, une gouvernance plus stricte devient cruciale. Les méthodes traditionnelles comme l'analyse de code statique et le scan de vulnérabilités avant déploiement ne suffisent plus à gérer la nature imprévisible des grands modèles de langage. Une simple attaque par injection de prompt ou une hallucination pourrait conduire un agent à endommager une base de données ou à extraire des informations sensibles.

Surveillance et blocage en temps réel

Le nouvel outil de Microsoft se concentre sur la sécurité en temps réel, permettant de surveiller, évaluer et bloquer les actions au moment où le modèle tente de les exécuter. Cela va au-delà de la simple dépendance à l'entraînement préalable ou aux vérifications de paramètres statiques.

Lorsqu'un agent IA doit sortir de son réseau neuronal pour accomplir une tâche comme interroger un système d'inventaire, il génère une commande pour accéder à un outil externe. Le cadre de Microsoft insère un moteur d'application des politiques entre le modèle de langage et le réseau d'entreprise. Chaque tentative de déclenchement d'une fonction externe est interceptée et vérifiée par rapport à un ensemble de règles de gouvernance. Si l'action enfreint la politique, l'appel API est bloqué et l'événement est enregistré pour examen.

Les équipes de sécurité bénéficient ainsi d'une piste vérifiable et auditable de chaque décision autonome. Les développeurs peuvent construire des systèmes multi-agents complexes sans intégrer des protocoles de sécurité dans chaque prompt de modèle. Les politiques de sécurité sont gérées au niveau de l'infrastructure, indépendamment de la logique d'application principale.

Gestion des coûts et conformité

La gouvernance d'entreprise ne se limite pas à la sécurité, elle inclut également la supervision financière et opérationnelle. Les agents autonomes, fonctionnant dans une boucle continue de raisonnement et d'exécution, consomment des jetons API à chaque étape. Les entreprises constatent une augmentation des coûts de jetons avec le déploiement de ces systèmes d'agents.

Sans gouvernance en temps réel, un agent pourrait accéder de manière excessive à des bases de données coûteuses, entraînant des factures massives de cloud computing. L'outil de gouvernance en temps réel permet d'imposer des limites strictes sur la consommation de jetons et la fréquence des appels API, facilitant ainsi la prévision des coûts informatiques et évitant la consommation excessive de ressources.

Cette couche de gouvernance en temps réel fournit les métriques et mécanismes de contrôle nécessaires pour répondre aux exigences de conformité. La sécurité du système repose désormais sur l'infrastructure qui exécute les décisions des modèles, plutôt que sur la confiance envers les fournisseurs de modèles pour filtrer les mauvaises sorties.

Mettre en place un programme de gouvernance mature nécessitera une collaboration entre les opérations de développement, les équipes juridiques et de sécurité. Les modèles de langage continuent de s'améliorer, et seules les organisations qui adoptent des contrôles stricts en temps réel aujourd'hui seront prêtes à gérer les flux de travail autonomes de demain.