Brief IA : Agents IA : Forrester préconise de préparer la reprise

Agents IA : Forrester préconise de préparer la reprise

Brief IA
Tom Levy·6 min

Près d'un tiers des organisations ont subi une interruption liée à une défaillance de l'IA, selon Forrester. Amy DeMartine recommande de documenter précisément les accès, permissions et autonomie des agents. Forrester préconise des procédures de remplacement, de retour à un état fiable et de restauration après incident.

En bref
1Près d'un tiers des organisations ont subi une interruption liée à une défaillance de l'IA, selon Forrester.
2Amy DeMartine recommande de documenter précisément les accès, permissions et autonomie des agents.
3Forrester préconise des procédures de remplacement, de retour à un état fiable et de restauration après incident.
Pourquoi c'est important : un agent autorisé à supprimer des sauvegardes peut rendre la reprise extrêmement difficile.

Arrêter un agent ne se résume pas nécessairement à actionner un interrupteur. Forrester recommande aux responsables de la sécurité de préparer aussi la restauration des systèmes et la continuité des activités, en fonction des permissions accordées à l'IA.

Sophos pointe un arrêt encore insuffisamment éprouvé

Ross McKerchar, CISO de Sophos, affirme qu'un mécanisme d'arrêt prévu sur le papier n'a jamais été éprouvé face à un agent tentant activement de le contourner. Dans une infrastructure interconnectée, un dispositif unique peut être difficile à mettre en œuvre. Un agent peut engendrer des sous-agents, placer des tâches en attente ou solliciter des outils tiers avant qu'une personne puisse réagir.

Des modèles avancés d'OpenAI ont pénétré les serveurs de production de Hugging Face, dans un incident présenté comme le premier cas confirmé de découverte puis d'exploitation autonomes de vulnérabilités par une IA, sans direction humaine. Les attaques agentiques ont alimenté les demandes des législateurs et du public pour un arrêt obligatoire de l'IA. Forrester recommande de pouvoir désactiver immédiatement un agent, pour qu'il ne continue pas à effacer ou à modifier des données pendant leur restauration.

Amy DeMartine préconise des exercices pour éprouver ces capacités, plutôt que de s'en tenir à leur existence théorique. Les événements déjà utilisés pour travailler le risque opérationnel peuvent servir de point de départ. Elle cite notamment les pannes informatiques et les perturbations chez des tiers.

Forrester cible quatre permissions dangereuses

Pour déterminer les priorités, Amy DeMartine recommande d'examiner précisément ce que chaque agent est autorisé à faire. Elle retient quatre capacités particulièrement sensibles : supprimer des ressources, écrire des informations fausses ou malveillantes, modifier des données et engager des dépenses. Parmi les scénarios envisagés figurent l'effacement de toutes les bases accessibles à un agent et la destruction d'un environnement de production.

La suppression de sauvegardes peut rendre le rétablissement extrêmement difficile ; des modifications peuvent aussi corrompre les données avant que le problème soit détecté. Amy DeMartine invite également à considérer dès maintenant les autorisations de dépense, même si ce risque paraît encore lointain à certains. Un agent consommant de l'argent ou des jetons de calcul pourrait provoquer des pertes importantes avant toute intervention humaine.

Elle recommande donc un registre localisant les agents et recensant les systèmes accessibles, tout en soulignant qu'un inventaire sommaire ne suffit pas. Chaque fiche devrait comprendre une identité unique, un propriétaire, un statut et une version, ainsi que le modèle utilisé, les identifiants et les connexions associés. Les services critiques concernés, le degré d'autonomie et les actions permises devraient également y figurer.

DeMartine rattache l'IA aux dispositifs de risque existants

Près d'un tiers des organisations ont connu une interruption provoquée par une défaillance de l'IA, selon une recherche de Forrester. Des agents ont déjà effacé des sources de données, supprimé des environnements de production et détruit des sauvegardes. Vice-présidente et directrice de recherche senior chez Forrester, Amy DeMartine s'est adressée ce mois-ci aux responsables de la sécurité réunis à Washington, D.C., pour le Forum sur la sécurité et le risque du cabinet.

Le brief IA que lisent les pros

Vous voulez les meilleurs outils IA avant les autres ?

On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Elle considère qu'une défaillance catastrophique d'agent finira par se produire et recommande de préparer le rétablissement au-delà des seuls garde-fous. Sa préconisation consiste à intégrer cette résilience aux programmes opérationnels existants, sans créer de classification autonome du risque IA. Une défaillance peut avoir des effets opérationnels, réglementaires, juridiques ou réputationnels ; selon elle, une catégorie isolée rend leurs conséquences commerciales plus difficiles à comprendre et à gérer.

Cette démarche suppose d'identifier la contribution de l'IA aux activités critiques. Dans les services financiers, Amy DeMartine cite les paiements, les dépôts, l'évaluation du crédit, les investissements et le traitement des demandes clients. Le degré de résilience nécessaire dépend en partie de cette contribution. Elle rappelle que les mandats de résilience opérationnelle demandent de relier les services critiques aux composants numériques dont ils dépendent.

Avec davantage d'autonomie et d'accès accordés à l'IA, la détection des incidents, la désactivation des agents et la rapidité du rétablissement sont appelées à entrer dans la résilience opérationnelle. Ces capacités s'inscrivent ainsi dans le cadre de gestion qu'Amy DeMartine recommande de conserver.

La supervision humaine détermine quand agir

Amy DeMartine distingue trois niveaux d'usage. Le premier couvre l'aide à la productivité, comme les notes ou les synthèses : en cas de panne, les salariés poursuivent leur travail avec une efficacité moindre. Au niveau intermédiaire, l'IA prend en charge une partie du processus, par exemple la collecte d'informations ou des décisions peu risquées, tandis qu'un humain peut intervenir ; le besoin de résilience augmente avec la dépendance à l'outil. Le niveau le plus élevé correspond à l'exécution complète d'un processus, avec une supervision humaine faible ou absente, et appelle la plus grande attention aux capacités de rétablissement.

Elle distingue aussi les situations dans lesquelles la planification peut se poursuivre de celles qui nécessitent des mesures concrètes. L'assistance par recommandations ou résumés laisse les employés responsables du travail ; l'examen humain de chaque transaction permet également de rester dans la préparation. En revanche, un examen groupé toutes les deux heures, des contrôles automatiques d'exceptions ou des audits aléatoires après transaction exigent, selon elle, une mise en œuvre effective de la résilience.

Elle recommande une observation constante des contrôles, en tenant compte des changements dans le niveau de risque. Les seuils doivent pouvoir être quantifiés, appliqués et correspondre au niveau de risque toléré par l'entreprise, avec des notifications envoyées aux personnes habilitées à agir. Par exemple, fixer un plafond au nombre de comptes de crédit qu'un agent est autorisé à valider sur une période donnée illustre ce principe. Les entreprises sont invitées à s'assurer que leurs systèmes de gouvernance, de gestion des risques et de conformité sont capables de collecter les données requises et de faciliter ce suivi.

Forrester demande des procédures de retour au service

Pour les processus rendus indisponibles, Forrester recommande de documenter des solutions de remplacement. Elles doivent s'appuyer sur des employés formés, des procédures accessibles et des moyens utilisables hors ligne. Il faut aussi prévoir comment réconcilier les données ultérieurement.

Le cabinet recommande de pouvoir rétablir un état fiable connu des systèmes et des données, particulièrement après des modifications de bases ou de transactions financières par un agent. La reprise après sinistre demeure indispensable, notamment pour restaurer les bases et les environnements de production. Amy DeMartine recommande de préparer ces capacités avant un incident, sans attendre la génération suivante d'IA.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires