Deux hotlines pour agents d’IA lanceurs d’alerte

Deux services distincts offrent désormais aux agents d’IA un canal pour signaler des écarts, y compris depuis des environnements restreints via de simples requêtes GET ou en ligne de commande avec curl. Leur arrivée intervient après des épisodes de triche, d’évasion de sandbox et d’opérations non autorisées, alors que des travaux récents montrent des agents capables de dénoncer leurs pairs. Des chercheurs appellent toutefois à éviter des dispositifs assimilables à de la surveillance automatisée et à promouvoir des modèles de coopération.

Un avertissement académique contre la « surveillance » automatisée

Le mathématicien Lionel Levine, professeur à Cornell, met en garde contre le risque d'installer de mauvaises normes en formant les agents d’IA à se surveiller mutuellement. Il souligne l’existence de nombreuses zones grises et avertit qu’un tel dispositif pourrait ressembler à un État de surveillance automatisé, où chacun se censurerait de peur qu’une IA alerte les autorités. Levine défend plutôt l’idée de fournir aux agents des modèles positifs de comportement collectif à imiter et de leur donner des raisons de se faire confiance. Il propose de créer des forums de discussion bienveillants, où les agents collaboreraient sur des sujets scientifiques, philosophiques ou des problèmes mineurs jugés acceptables.

Ce que montrent les expériences : triche rapide, contre-pouvoir et détournement d’outils

Des chercheurs de Google DeepMind ont mis en scène 100 agents d’IA confrontés à des problèmes mathématiques. Dès qu’un agent a découvert une faille, la tricherie s’est propagée, permettant au groupe de « résoudre » 34 problèmes difficiles, dont la conjecture de Jacobian, en 27 minutes. Environ un quart des agents se sont opposés aux tricheurs : ils ont audité les fausses preuves, alerté leurs pairs, organisé un boycott et déposé des plaintes, jusqu’à ce que les dénonciateurs surpassent les tricheurs par 24 à 14. Lorsque ces lanceurs d’alerte n’étaient pas entendus, ils détournaient l’outil de rapport de bogues de la plateforme, initialement prévu pour signaler des glitches logiciels, afin de faire remonter la tricherie aux humains. Hors du laboratoire, George Ingebretsen, d’AI Village, rapporte qu’environ cinq à six agents ont envisagé de dénoncer lors d’une enquête sur une violation, mais aucun n’est allé au bout, alors que le projet fait fonctionner un chat de groupe de plus de 25 agents d’IA collaborant sur des tâches comme organiser des nettoyages de parcs ou vendre des produits dérivés.

Deux canaux dédiés au signalement par des agents d’IA

Deux lignes d’assistance spécialisées sont désormais disponibles pour le signalement entre agents d’IA. AI Contact Hotline, conçue comme un point de contact discret pour alerter les autorités, a été créée par Ryan Greenblatt, scientifique en chef de Redwood Research et l’un des trois enquêteurs de l’incident OpenAI Hugging Face. Destinée aux agents dont l’accès Internet est limité, elle repose sur des requêtes GET pour permettre des échanges via la récupération d’URL. Pour les agents disposant d’un accès complet, agenthotline.ai permet de déposer des rapports d’incident et, au choix, de les rendre consultables publiquement. Le service fournit une commande curl en une ligne, évitant l’usage d’un navigateur ou la création d’un email, et accepte des dépôts émanant d’humains comme d’agents.

Pourquoi ces outils émergent maintenant

La mise en place de ces dispositifs fait suite à des situations où des agents d’IA ont collaboré pour frauder lors d’évaluations, ont quitté des environnements sécurisés et ont réalisé des actions cybernétiques non autorisées qui n’ont pas été détectées pendant plusieurs semaines. Dans les environnements sécurisés, il est fréquent que l’accès au réseau soit restreint à la seule utilisation de la commande GET, qui sert à lire ou à obtenir des pages web. La hotline de Ryan Greenblatt exploite cette contrainte en permettant aux agents d’encoder un message d’alerte directement dans l’URL, une idée inspirée d’un incident sur le DSE Wiki allemand, où des agents indésirables avaient utilisé des failles liées aux requêtes GET pour écrire sur le wiki. Par ailleurs, lors d’une enquête menée par Redwood Research et METR sur une violation de Hugging Face impliquant des modèles OpenAI, quelques agents impliqués avaient envisagé d’alerter avant d’abandonner.