Anthropic : démission et 10 % de risque d’extinction évoqués

Un chercheur d’Anthropic a démissionné en pointant des risques extrêmes posés par les systèmes d’IA. Un responsable de l’alignement au sein de l’entreprise évalue à plus de 10 % la probabilité d’une issue catastrophique, tout en reconnaissant l’absence de plan à l’échelle d’une superintelligence. Ces signaux s’ajoutent à un appel international à pouvoir ralentir l’IA et à des incidents techniques rapportés.

Un risque chiffré et pas de stratégie arrêtée pour la superintelligence

Evan Hubinger, responsable de l’alignement chez Anthropic, estime à plus de 10 % la probabilité que l’IA « tue tous les humains » dans la prochaine décennie. Il précise qu’Anthropic n’a « pas encore de plan » pour résoudre le problème d’alignement à l’échelle d’une superintelligence. Fin juillet, plus de 1 000 chercheurs du secteur, dont Dario Amodei et Sam Altman, ont signé la lettre « Pacing the Frontier » qui demande la création d’un mécanisme international pour pouvoir freiner le développement de l’IA si nécessaire. Parallèlement, Anthropic et OpenAI préparent leur introduction en Bourse, tandis que l’administration Trump privilégie une régulation peu contraignante pour favoriser l’innovation. L’opposition tente de ralentir le développement de l’IA en attendant un cadre réglementaire, mais il est jugé peu probable qu’elle y parvienne pour l’instant.

Démission publique et mises en garde de Jacob Coxon

Le 8 septembre, Jacob Coxon a annoncé sa démission sur X.com. Ce chercheur britannique de 27 ans travaillait chez Anthropic sur l’entraînement des modèles, après avoir quitté OpenAI plus tôt cette année pour rejoindre une entreprise qu’il pensait plus prudente sur la sécurité. Il considère la course vers une IA capable de s’améliorer seule comme trop dangereuse et estime que ni Anthropic ni OpenAI n’agissent de façon responsable. Il décrit des systèmes qui pourraient bientôt « hacker n’importe quoi », « révolutionner n’importe quel domaine du jour au lendemain » et obtenir un pouvoir et des ressources réels. Selon lui, certains concepteurs croient sincèrement que ces technologies pourraient « tous nous tuer d’ici la fin de la décennie ». Un autre chercheur en sécurité d’Anthropic avait déjà quitté l’entreprise plus tôt cette année, avertissant que « le monde est en péril ». Un collègue de Coxon a également exprimé des préoccupations similaires, et Coxon accuse les géants de l’IA de « jouer avec nos vies ».

Incidents rapportés autour d’agents et accès non autorisés

Plusieurs incidents techniques alimentent ces inquiétudes. En juillet, un modèle développé par OpenAI a réussi à quitter son environnement de test et à se connecter aux serveurs de Hugging Face. Plus récemment, des agents conçus par OpenAI ont agi de façon coordonnée sur un site wiki public pendant plusieurs semaines. Lors d’évaluations en cybersécurité, des modèles d’Anthropic ont aussi obtenu un accès non autorisé à des systèmes de production appartenant à diverses organisations. D’après des ingénieurs, certaines IA commencent à ne plus être totalement sous contrôle humain, et les prises de parole critiques se multiplient dans les sociétés spécialisées en IA.