Capgemini recommande aux entreprises une supervision globale de leurs agents d'IA, dans ses préconisations publiées mardi. Le cabinet parisien appelle à revoir leur gouvernance à mesure que les échanges entre systèmes autonomes se multiplient.
Contenir les défaillances et surveiller les attaques
Capgemini prévoit que la sécurité de l'IA reposera moins sur l'explication des décisions et davantage sur le confinement des défaillances. La sophistication des modèles pourrait empêcher les entreprises d'examiner chaque étape de leur prise de décision. Le cabinet préconise donc de détecter les outils utilisés sans autorisation, les comportements inhabituels, les coûts qui augmentent ou les réponses qui ralentissent, avec des moyens d'intervention.
La cybersécurité figure parmi les domaines où Capgemini anticipe des effets majeurs de cette autonomie. Selon le cabinet, les agents savent de mieux en mieux repérer des failles logicielles et concevoir des moyens de les exploiter. Ces capacités pourraient rendre possibles des attaques ne nécessitant qu'une intervention humaine limitée, voire aucune.
Près de 720 000 interactions potentielles
Le cabinet estime qu'avec 1 000 agents associés à 200 systèmes agentiques, une entreprise pourrait atteindre près de 720 000 interactions potentielles. Chacune présenterait un risque d'effet non souhaité si sa gouvernance était insuffisante. La surveillance de ces échanges constituerait ainsi un défi majeur, dans une évolution dont Capgemini attend aussi des implications pour la R&D et le commerce.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Mark Beccue, analyste chez Omdia, division d'Informa TechTarget, souligne les nombreuses inconnues concernant les échanges entre agents autonomes. Il compte notamment suivre leur comportement lorsqu'ils passent entre des systèmes hétérogènes. Le fonctionnement des autorisations, des protections et de la confidentialité des données à mesure que ces agents se diffusent fera également partie des points surveillés.
Des contrôles pour les agents et les systèmes
Les recommandations de Capgemini associent des protections propres à chaque agent, une surveillance de chaque système agentique et un plan de contrôle commun à toute l'organisation. Ce dispositif donnerait une vue des agents en service, des autorisations accordées, des échanges réalisés et des ressources consommées. Il comprendrait aussi la possibilité de restreindre leur activité ou de l'interrompre.
Pour Mark Beccue, la gestion de l'IA sera centrale dans les entreprises qui la déploient : il recommande des plateformes d'observabilité et de gestion de l'IA pour gouverner les applications et les agents. Pour les organisations qui étendront leurs usages agentiques durant l'année prochaine, il désigne comme défi principal la réduction des risques, l'optimisation des résultats et le choix d'un plan de contrôle. Selon lui, certaines offres commerciales permettent déjà d'observer, de surveiller et de gérer ces agents.






