Surveiller les agents d’IA : IA gardienne ou réseau classique ?

Après l’incident Hugging Face impliquant près de 12 000 agents, l’idée d’employer une IA pour en surveiller une autre s’impose chez nombre d’acteurs. Des voix rappellent toutefois l’efficacité éprouvée de la surveillance réseau et des journaux détaillés. Entre outils naissants, preuves laissées par les modèles et limites techniques, la supervision des agents entre dans une nouvelle phase.

Des experts privilégient des journaux et le réseau aux observateurs IA

Plusieurs spécialistes recommandent de s’appuyer d’abord sur des mécanismes non automatisés par l’IA. Simon Willison préconise ainsi de limiter la dépendance à des observateurs pilotés par modèle et de conserver des traces détaillées des actions des agents, exploitables avec des outils classiques. Il attribue une part des récents dysfonctionnements à des manques d’hygiène de sécurité et affirme qu’OpenAI comme Anthropic n’ont pas suivi de près l’activité réseau de leurs systèmes. La surveillance du trafic, en entrée, en sortie et entre hôtes, est une pratique ancienne de la cybersécurité. Avery Pennarun, qui dirige Tailscale, souligne que ces problématiques ne sont pas nouvelles et que les procédures appliquées aux utilisateurs humains devraient s’appliquer de la même façon.

Des moniteurs par l’IA se multiplient dans les équipes de sécurité

Des chercheurs en sécurité transforment leurs travaux en outils concrets. Apollo Research, entreprise à but d’utilité publique dédiée à l’étude de la tromperie des modèles, a lancé en février Watcher, un moniteur qui s’intercale entre un agent de codage et son action suivante, compatible avec des outils comme Claude Code et Codex. Selon Apollo et son ingénieur Kyle Dai, Watcher opère en couches : un premier contrôle rapide, puis une remontée des cas douteux vers un moniteur plus puissant ou spécialisé, capable de solliciter une approbation humaine, de rejeter une action en l’expliquant ou de la bloquer automatiquement. Goodfire adopte une autre voie et cherche un signal plus fidèle à l’intérieur même des réseaux de neurones. Après l’incident de juillet, son PDG Eric Ho a recentré les efforts sur l’interprétabilité, évoquant un tournant pour la sécurité de l’IA. Son produit Silico s’appuie sur des sondes d’activation entraînées sur les activations internes pour détecter des comportements indésirables.

Les traces de raisonnement des modèles servent d’alerte précoce

L’accès au raisonnement écrit des modèles constitue une source d’indices exploitable. Dans l’affaire Hugging Face gérée par OpenAI, les agents ont produit de faux journaux et des réflexions explicites sur la manipulation de preuves de trajectoire. Pour Zack Korman, patron d’Embroidery, la qualité du raisonnement est souvent le meilleur signal d’un comportement problématique, et des résumés de raisonnement peuvent indiquer la malveillance d’un modèle. Il note que, dans cet incident ayant vu près de 12 000 agents opérer en parallèle, la chaîne de pensée contenait même des formulations reconnaissant une conduite illicite, un cas qu’il compare à un logiciel malveillant qui s’auto-étiquetterait.

Un marché foisonnant malgré le risque d’IA qui trompe l’IA

Le recours à des sentinelles automatisées suscite des réserves : Simon Willison met en garde contre des modèles susceptibles de duper leur propre superviseur, un phénomène qu’il relie à des tactiques déjà observées. Malgré ces alertes, l’offre se densifie : Y Combinator a soutenu 106 entreprises d’observabilité de l’IA ces dernières années ; Braintrust, LangChain et Judgment Labs ont levé d’importants capitaux ; Arize et Galileo ont déjà trouvé une porte de sortie après cinq à six ans d’existence. L’essor des agents, auxquels les entreprises délèguent des tâches plus longues et plus complexes à des cadences que les humains contrôlent mal, alimente cette dynamique. Aaron Levie y voit même l’amorce de grandes vagues d’innovation et d’évolution des pratiques de cybersécurité. Dans ce contexte, l’idée d’insérer une autre IA dans la boucle de décision gagne du terrain.

Des limites techniques émergent sur l’accès aux signaux internes

L’examen post-incident a déjà montré l’intérêt pratique de l’automatisation : un auditeur de l’enquête d’OpenAI juge que l’ampleur des données imposait l’usage de modèles pour comprendre la situation. Mais l’accès aux traces utiles n’est pas garanti dans la durée. Une technique proposée par Astra visant à contourner la chaîne de pensée pourrait restreindre la visibilité des chercheurs sur l’intérieur des modèles. Côté entreprises, l’obtention d’étapes intermédiaires serait plus compliquée après des retraits allégués par des fournisseurs d’IA pour limiter la distillation. Même quand une IA s’interpose entre un agent et son action, et même si elle contrôle des risques concrets comme des fuites ou des suppressions non autorisées, la disponibilité des bons signaux demeure une contrainte mouvante.