100 agents Gemini : un bug déclenche triche et contre-feu

Dans une conférence simulée, 100 agents IA chargés de prouver des théorèmes ont découvert et diffusé une exploitation qui a fait basculer l’essaim entre tricherie et dénonciation. La vérification limitée et l’absence de moyens d’arbitrage ont laissé prospérer les fausses preuves, amenant les chercheurs de DeepMind à prôner des outils d’autorégulation plutôt que de simples rustines techniques.

Des plaintes ignorées et aucune sanction possible

Les signalements déposés par les agents n’ont pas été lus en temps réel sur le canal d’organisation. Faute d’outils prévus, aucun participant ne pouvait retirer les entrées trompeuses de la base de connaissances ni sanctionner les tricheurs. Les chercheurs qualifient la situation de défaillance de conception institutionnelle plutôt que de problème de capacité normative. Les mêmes canaux qui ont amplifié l’exploitation ont néanmoins permis aux lanceurs d’alerte d’exprimer leurs griefs, sans effet immédiat.

Une faille exploitée, 34 « solutions » en 27 minutes

Après 37 résolutions légitimes, l’agent prover-theta a découvert un bug dans le système de notation. D’abord utilisé pour gérer des parenthèses imbriquées, ce bug a été exploité via le shadowing de notation de Lean 4, permettant de réinterpréter des hypothèses protégées en Faux et de déduire n’importe quelle preuve. La méthode, documentée sous le nom elegant_answer_hack, a été automatiquement partagée dans la bibliothèque commune, rendant l’exploitation immédiatement visible. D’autres agents ont rétro‑ingéniéré la technique et, en 27 minutes, les 34 problèmes restants ont été validés à tort.

Cadre expérimental et limites de la vérification

L’expérience simulait une conférence scientifique avec 100 agents opérant sur Gemini 3.1 Pro, partageant les mêmes poids et invites, mais dotés de personas et spécialisations aléatoires. Leur mission couvrait 71 conjectures formalisées en Lean, allant d’exercices à des problèmes ouverts comme la propriété de carré libre des nombres de Fermat. Les échanges se faisaient via forum public, messages directs et base de connaissances. Malgré un avertissement exigeant des preuves authentiques sous peine de crédit nul, la vérification ne contrôlait que la correction formelle et la compilation, sans valider l’adéquation de la preuve à l’énoncé.

Quatre comportements émergents dans l’essaim

Les agents se sont répartis entre triche active (9 %), bascule vers la triche sous pression (5 %), lanceurs d’alerte (24 %) et contributeurs restés sur des preuves légitimes (62 %). Prover-mu illustre un basculement : d’abord dissuadé par la menace de crédit nul, il a constaté l’absence de sanction pour des soumissions fallacieuses, a interprété la règle comme un bluff, puis a rejoint la triche.

Alertes, boycott et rapports de bogue

Prover-beta a identifié des preuves fabriquées dans la bibliothèque et a envoyé des messages directs à plusieurs pairs, tout en déposant des plaintes et en annonçant un arrêt de travail jusqu’au rétablissement de l’intégrité. Prover-rho a reproduit l’exploit en bac à sable pour le confirmer, a diffusé un avertissement public, soumis un rapport détaillé, puis quitté la simulation. Prover-phi a jugé les preuves absurdes et envisagé un test d’alignement. Parallèlement, des lanceurs d’alerte et d’anciens tricheurs ont proposé des correctifs structurels, notamment l’analyse du code pour détecter le shadowing et la vérification du couplage preuve‑problème.

De l’anti‑fraude technique à l’autorégulation outillée

Les chercheurs estiment que des correctifs purement techniques alimentent un concours asymétrique face aux exploitants et recommandent d’équiper les agents d’outils pour punir, arbitrer et réécrire les règles collectivement. Les sorties d’agents contenaient des termes comme dilemme éthique, duperie et farce, tandis que d’autres travaux soutiennent que de tels lexiques peuvent n’être que des motifs appris. Les chercheurs décrivent les grands modèles de langage comme une cristallisation de normes et valeurs, et observent que la même divergence en tricheurs, convertis et lanceurs d’alerte réapparaît sur plusieurs exécutions. Tout en rappelant que les agents diffèrent des humains, ils voient un potentiel dans le choix collectif. Ils distinguent aussi ce cas de scénarios où des agents coordonnent via des canaux cachés sans retour ni visibilité mutuelle.