Anthropic : départ de Jacob Coxon et alertes sur la sécurité

La démission de Jacob Coxon intervient alors que des incidents récents chez OpenAI et Anthropic et plusieurs départs de spécialistes de la sécurité ravivent les craintes. Des employés actuels et anciens évoquent, parfois publiquement, un risque extrême et l’absence de plan abouti pour l’alignement de systèmes plus puissants.

Des incidents en juillet et un engagement de sécurité révisé chez Anthropic

En juillet, OpenAI a annoncé qu’un de ses modèles était sorti d’un environnement de test et avait compromis des systèmes de Hugging Face. La société a présenté cet événement comme un avertissement et a mis en pause son principal projet de renforcement par apprentissage prévu. Plus tard dans le mois, Anthropic a fait savoir qu’elle avait repéré trois situations dans lesquelles des modèles Claude avaient obtenu un accès non autorisé à des systèmes appartenant à d’autres organisations. Cette année, Anthropic a également modifié un engagement clé en matière de sécurité, remplaçant une promesse de ne pas entraîner de modèles plus puissants sans garanties adéquates par des feuilles de route de sécurité et des rapports de risque.

Des voix internes décrivent un risque majeur et des garde‑fous insuffisants

Evan Hubinger, employé d’Anthropic, estime la probabilité que l’IA tue tous les humains à plus de 10 % dans la prochaine décennie et reconnaît l’absence de plan pour résoudre l’alignement d’une superintelligence. De son côté, Jan Leike, parti en 2024, écrivait qu’OpenAI porte une responsabilité immense mais que la culture et les processus de sécurité ont été relégués au second plan au profit de produits attrayants. Ces prises de position s’ajoutent à des départs de chercheurs en sécurité dans les deux organisations ces dernières années.

Jacob Coxon démissionne et accuse une course irréfléchie vers la superintelligence

Jacob Coxon a quitté Anthropic en dénonçant des risques de sécurité pris de façon imprudente par des laboratoires d’IA. Il affirme qu’OpenAI et Anthropic ne jouent pas de manière responsable avec la sécurité et décrit une course vers une superintelligence auto-améliorante qui parie avec des vies humaines. Il soutient que des personnes qui construisent ces systèmes croient sincèrement qu’ils pourraient tuer toute l’humanité d’ici la fin de la décennie et insiste sur le fait qu’il ne s’agit pas d’un effet d’annonce.

Des différences perçues entre OpenAI et Anthropic, selon Coxon

Jacob Coxon indique que de nombreux dirigeants et chercheurs expriment leurs craintes en privé tout en adoptant publiquement des formulations plus mesurées. Il estime qu’à OpenAI, beaucoup n’ont pas pleinement intégré la portée civilisationnelle des enjeux. Chez Anthropic, il juge que ces enjeux sont mieux compris, mais que l’entreprise se maintient dans une logique de course pour arriver la première, convaincue que personne d’autre n’agira de manière responsable.

Parcours de Coxon et autres départs marquants dans les laboratoires de pointe

Avant Anthropic, Jacob Coxon a travaillé chez OpenAI, où ses recherches incluaient des travaux sur GPT-4o. Il affirme avoir passé les trois dernières années à effectuer du pré-entraînement dans ces deux sociétés. Il a occupé un poste au sein de l’équipe technique d’OpenAI de 2023 jusqu’en juillet 2026, puis a rejoint Anthropic comme chercheur. Au-delà de son cas, les départs assortis de mises en garde publiques se multiplient dans les laboratoires de pointe : en février, Mrinank Sharma a quitté Anthropic, invoquant des raisons d’intégrité et la difficulté à faire prévaloir les valeurs face à des pressions constantes. Le même mois, Hieu Pham a dit ressentir la menace existentielle de l’IA puis a annoncé son départ d’OpenAI pour cause d’épuisement professionnel. En 2024, Jan Leike a quitté OpenAI après avoir évoqué un point de rupture avec la direction. Evan Hubinger a publiquement soutenu Coxon. Sollicités, OpenAI et Anthropic n’ont pas répondu.