Microsoft lance un outil open-source pour sécuriser les agents IA en temps réel

Microsoft lance un outil open-source pour sécuriser les agents IA en temps réel

Un nouvel outil open-source de Microsoft se concentre sur la sécurité en temps réel pour imposer une gouvernance stricte aux agents IA d'entreprise. Cette publication répond à une inquiétude croissante : les modèles de langage autonomes exécutent désormais du code et accèdent aux réseaux d'entreprise beaucoup plus rapidement que les contrôles de politique traditionnels ne peuvent suivre.

L'intégration de l'IA signifiait auparavant des interfaces conversationnelles et des copilotes de conseil. Ces systèmes avaient un accès en lecture seule à des ensembles de données spécifiques, maintenant ainsi les humains strictement dans la boucle d'exécution. Actuellement, les organisations déploient des cadres d'agents qui prennent des actions indépendantes, reliant ces modèles directement aux interfaces de programmation d'applications internes, aux dépôts de stockage cloud et aux pipelines d'intégration continue.

Lorsque qu'un agent autonome peut lire un e-mail, décider d'écrire un script et envoyer ce script à un serveur, une gouvernance plus stricte est essentielle. L'analyse de code statique et le scan de vulnérabilités avant déploiement ne peuvent tout simplement pas gérer la nature non déterministe des grands modèles de langage. Une attaque par injection de prompt (ou même une hallucination basique) pourrait amener un agent à écraser une base de données ou à extraire des dossiers clients.

Le nouvel outil de Microsoft se concentre sur la sécurité en temps réel, offrant un moyen de surveiller, d'évaluer et de bloquer les actions au moment où le modèle essaie de les exécuter. Cela dépasse la dépendance à l'entraînement préalable ou aux vérifications de paramètres statiques.

Intercepter la couche d'appel d'outils en temps réel

Examiner la mécanique de l'appel d'outils par les agents montre comment cela fonctionne. Lorsqu'un agent IA d'entreprise doit sortir de son réseau neuronal principal pour effectuer une tâche comme interroger un système d'inventaire, il génère une commande pour accéder à un outil externe.

Le cadre de Microsoft insère un moteur d'application des politiques juste entre le modèle de langage et le réseau d'entreprise plus large. Chaque fois que l'agent tente de déclencher une fonction externe, l'outil saisit la demande et vérifie l'action prévue par rapport à un ensemble central de règles de gouvernance. Si l'action enfreint la politique (par exemple, un agent autorisé uniquement à lire les données d'inventaire essaie de passer une commande d'achat), l'outil bloque l'appel API et enregistre l'événement pour qu'un humain puisse l'examiner.

Les équipes de sécurité obtiennent une piste vérifiable et auditable de chaque décision autonome. Les développeurs en bénéficient également ; ils peuvent construire des systèmes multi-agents complexes sans avoir à coder des protocoles de sécurité dans chaque prompt de modèle individuel. Les politiques de sécurité sont complètement découplées de la logique d'application principale et sont gérées au niveau de l'infrastructure.

La plupart des systèmes hérités n'ont jamais été conçus pour communiquer avec des logiciels non déterministes. Une ancienne base de données mainframe ou une suite de planification des ressources d'entreprise personnalisée n'a pas de défenses natives contre un modèle d'apprentissage automatique envoyant des requêtes malformées. L'outil de Microsoft intervient comme une couche de traduction protectrice. Même si un modèle de langage sous-jacent est compromis par des entrées externes, le périmètre du système reste intact.

La prochaine phase de la gouvernance IA en entreprise

La gouvernance d'entreprise ne s'arrête pas à la sécurité ; elle touche également à la supervision financière et opérationnelle. Les agents autonomes fonctionnent dans une boucle continue de raisonnement et d'exécution, consommant des jetons API à chaque étape. Les startups et les entreprises constatent déjà une explosion des coûts de jetons lorsqu'elles déploient des systèmes d'agents.

Sans gouvernance en temps réel, un agent chargé de rechercher une tendance du marché pourrait décider d'accéder à une base de données propriétaire coûteuse des milliers de fois avant de terminer. Laisser un agent mal configuré pris dans une boucle récursive peut entraîner des factures massives de cloud computing en quelques heures.

L'outil de gouvernance en temps réel offre aux équipes un moyen d'imposer des limites strictes sur la consommation de jetons et la fréquence des appels API. En définissant des limites sur le nombre exact d'actions qu'un agent peut effectuer dans un délai spécifique, la prévision des coûts informatiques devient beaucoup plus facile. Cela empêche également les processus incontrôlés de consommer des ressources système.

Une couche de gouvernance en temps réel fournit les métriques quantitatives et les mécanismes de contrôle nécessaires pour répondre aux exigences de conformité. Les jours où l'on faisait simplement confiance aux fournisseurs de modèles pour filtrer les mauvaises sorties sont révolus. La sécurité du système repose désormais sur l'infrastructure qui exécute réellement les décisions des modèles.

Mettre en place un programme de gouvernance mature nécessitera une collaboration étroite entre les opérations de développement, les équipes juridiques et de sécurité. Les modèles de langage continuent de s'améliorer en capacité, et les organisations qui mettent en place des contrôles stricts en temps réel aujourd'hui seront les seules à être prêtes à gérer les flux de travail autonomes de demain.