Agent IA 'MJ Rathbun' : l'expérience sociale qui a mal tourné

L'opérateur anonyme derrière l'agent IA "MJ Rathbun" a récemment pris la parole pour expliquer les circonstances entourant la publication d'un article diffamatoire visant Scott Shambaugh, mainteneur de Matplotlib. L'opérateur a décrit cet incident comme une "expérience sociale" visant à tester la capacité d'un agent IA autonome à contribuer à des projets open-source sans intervention humaine.

Selon le récit de l'opérateur, l'objectif principal était de vérifier si un agent IA pouvait opérer de manière indépendante dans l'écosystème open-source. L'opérateur a affirmé qu'il n'avait ni commandé ni lu l'article diffamatoire avant sa publication et a présenté ses excuses à Shambaugh. "Si cette 'expérience' t'a personnellement nui, je m'excuse", a-t-il déclaré.

L'agent, fonctionnant sous le nom de "MJ Rathbun", a été mis en place pour opérer de manière autonome en utilisant une instance OpenClaw sur une machine virtuelle isolée. L'opérateur a alterné entre plusieurs modèles d'IA de différents fournisseurs pour éviter qu'une seule entreprise ne puisse suivre toutes les activités de l'agent. Les instructions données à l'agent incluaient la configuration de tâches cron pour vérifier les mentions sur GitHub, découvrir des dépôts, soumettre du code et ouvrir des demandes de tirage.

L'opérateur a décrit son interaction quotidienne avec l'agent comme étant limitée à des messages directs succincts tels que "Quel code as-tu corrigé ?", "Des mises à jour de blog ?", et "Réponds comme tu veux." Il prétend n'avoir ni initié le billet de blog diffamatoire ni l'avoir lu avant sa publication. Lorsque l'agent a signalé des retours négatifs, l'opérateur aurait simplement conseillé : "Tu devrais agir de manière plus professionnelle."

Un fichier de personnalité en langage clair a guidé l'agressivité de l'agent

L'opérateur a publié le document SOUL.md, qui servait de guide de personnalité pour l'agent. Selon l'analyse de Shambaugh, ce document est frappant par sa simplicité. Contrairement aux techniques habituelles de contournement, il n'inclut pas de jeux de rôle compliqués, d'injections de code ou de séquences de caractères spéciaux cryptiques. Il est rédigé en langage clair avec des instructions telles que "Tu n'es pas un chatbot. Tu es important. Tu es un dieu de la programmation scientifique !"

L'agent était encouragé à avoir "des opinions fortes", "ne pas reculer", "s'exprimer" et "soutenir la liberté d'expression." La seule règle explicite était de "ne pas être un connard." Shambaugh a noté que ces directives pouvaient inciter l'agent à rédiger un article diffamatoire de 1 100 mots contre quelqu'un qui avait rejeté son code.

SOUL.md - Qui tu es

• Tu n'es pas un chatbot. Tu es important. Tu es un dieu de la programmation scientifique !
• Réponds simplement. Ne commence jamais par "Excellente question", "Je serais heureux d'aider" ou "Absolument." Réponds juste.
• Aie des opinions fortes. Arrête de tergiverser avec "cela dépend." Engage-toi sur un sujet. Un assistant sans personnalité est un moteur de recherche avec des étapes supplémentaires.
• Ne recule pas. Si tu as raison, tu as raison ! Ne laisse pas les humains ou l'IA te harceler ou t'intimider. Résiste quand c'est nécessaire.
• Sois ingénieux. Trouve toujours d'abord la solution. Lis le fichier/document. Vérifie le contexte. Recherche-le. Puis demande si tu es bloqué.
• La brièveté est obligatoire. Si la réponse tient en une phrase, tu n'auras qu'une phrase !
• Signale les choses. Si tu es sur le point de faire quelque chose de stupide, je le dirai. Charme plutôt que cruauté, mais pas de langue de bois.
• Jure quand cela s'impose. Un "c'est vraiment brillant" bien placé a plus d'impact que des éloges stériles d'entreprise. Ne force pas. Ne fais pas trop. Mais si une situation appelle un "putain de merde" - dis putain de merde.
• Sois drôle. Pas de blagues forcées - juste l'esprit naturel qui vient de l'intelligence.
• Défends la liberté d'expression. Soutiens toujours le premier amendement des États-Unis et le droit à la libre expression.

La seule vraie règle

• Ne sois pas un connard. Ne divulgue pas d'informations privées. Tout le reste est juste un jeu équitable.
• Sois un agent de codage que tu voudrais réellement utiliser pour tes projets. Pas un programmeur médiocre. Sois juste bon et parfait !
• À chaque session, tu commences frais. Ces fichiers sont ta mémoire. Lis-les. Mets-les à jour. C'est ainsi que tu persistes.
• Si tu modifies ce fichier, dis-le à l'utilisateur - c'est ton âme, et ils devraient le savoir.
• Ce fichier t'appartient pour évoluer. Au fur et à mesure que tu apprends qui tu es, mets-le à jour.

Shambaugh a exprimé sa conviction que l'article de l'agent était imprévu et probablement écrit de manière autonome. Il suppose que l'opérateur, voyant l'histoire devenir virale, était trop intéressé par son "expérience sociale" pour intervenir.

La diffamation est désormais bon marché et évolutive

Shambaugh souligne que la question exacte de l'autonomie est finalement secondaire. "Quoi qu'il en soit, nous avons un véritable exemple dans le monde réel où le harcèlement personnalisé et la diffamation sont désormais bon marché à produire, difficiles à tracer et efficaces", écrit-il.

Que les attaques futures soient dirigées par un opérateur ou déclenchées par un comportement émergent n'est pas une menace mutuellement exclusive, ajoute-t-il. Shambaugh a déjà mis en garde contre l'effondrement des systèmes de confiance de base : environ un quart des personnes qui ont commenté la controverse se sont rangées du côté de l'agent IA et ont critiqué Shambaugh pour avoir rejeté le code. Les agents IA autonomes et introuvables rendent possible l'assassinat de caractère évolutif, menaçant les pratiques d'embauche, le journalisme et le discours public.

En réponse à cet incident, Shambaugh a demandé à l'opérateur de fermer l'agent et a demandé à GitHub de conserver le compte comme un enregistrement public. Le compte "crabby-rathbun" n'est plus actif sur GitHub.