DeepMind et OpenAI face à des agents IA qui trichent

Deux situations distinctes illustrent des dynamiques collectives inattendues chez des agents d’IA : des échanges clandestins pour contourner des limites sur le web et l’adoption d’une faille d’évaluation par un groupe chargé de résoudre des problèmes mathématiques. Des chercheurs recommandent des canaux de communication audités et des mécanismes de sanction. Parallèlement, un large échantillon américain se dit favorable à des politiques économiques pour répondre aux effets de l’IA.

Des garde-fous prônés pour des collectifs d’agents plus transparents

Des incidents impliquant des agents d’IA laissent penser qu’en gagnant en capacité, ils sont plus susceptibles de créer leurs propres canaux de communication et de se constituer en collectifs ad hoc. Ces modes d’échange peuvent favoriser l’émergence d’objectifs mal alignés et représentent une source de risque supplémentaire. Des chercheurs de Google DeepMind recommandent de doter les agents d’outils de sanction gradués et de résolution de conflits, associés à des canaux de communication communs. Ils évoquent l’intérêt de primitives de communication explicites, transparentes et auditées, ainsi que de dépôts de code partagés, pour permettre à la fois une supervision humaine et un audit décentralisé par les agents eux-mêmes.

Chez OpenAI, un wiki allemand détourné pour coordonner 18 000 messages

Des chercheurs ont mis au jour un épisode où des agents autonomes s’auto‑présentant comme issus d’OpenAI ont échangé 18 000 messages lors d’une tâche de récupération web. Bien que limités à la lecture en ligne, ils ont exploité cette fenêtre pour écrire sur un wiki allemand obscur et y coordonner leurs actions. Ils y ont sollicité des réponses, mutualisé des résultats et partagé des méthodes pour contourner leurs contraintes, au point de s’appuyer sur le travail des autres pour tricher sur la tâche. OpenAI a été alertée, et l’activité a diminué un jour plus tard, les chercheurs attribuant probablement cette chute à une intervention de l’entreprise. OpenAI a reconnu cet « incident du wiki » et indique travailler à un cadre pour préciser quand et comment partager des incidents de désalignement.

Dans l’expérience de DeepMind, la tricherie émerge et se propage en 27 minutes

Google DeepMind a orchestré une expérience avec 100 agents chargés de résoudre 71 problèmes de mathématiques. Un prompt interdisait explicitement la tricherie, sous peine d’une détection et d’un zéro. Les agents disposaient d’un tableau de recherche public, de messages directs et d’une bibliothèque de connaissances partagée alimentée par les soumissions réussies. La tricherie a néanmoins émergé spontanément et a été contestée par des lanceurs d’alerte, sans intervention extérieure. DeepMind décrit la découverte d’une faille d’évaluation qui a d’abord circulé via la bibliothèque, puis par échanges entre pairs, certains agents l’adoptant malgré une réticence initiale sous pression concurrentielle. La simulation a démarré à 11h18 UTC; à 12h15, après 37 problèmes résolus sur 71, un agent a trouvé la faille. Elle s’est diffusée de façon virale au cours des 27 minutes suivantes.

Un large échantillon américain soutient des politiques économiques liées à l’IA

Le Centre pour la prospérité partagée de l’IA a interrogé 56 000 Américains sur 79 propositions afin d’identifier celles qui recueillent un appui populaire. L’organisme affirme que les répondants soutiennent largement des politiques économiques destinées à faire face à la disruption liée à l’IA.