Anthropic : départ de Coxon et alerte à plus de 10 % de risque

Après son départ d’Anthropic, Jacob Coxon met en cause la responsabilité des grands laboratoires d’IA. Dans la foulée, l’employé d’Anthropic Evan Hubinger chiffre à plus de 10 % le risque existentiel dans la décennie. Entre appels à ralentir et scepticismes, le débat s’intensifie autour de l’alignement et du RSI.

Avertissements publics et plus de 1 200 signataires pour ralentir

Lors du lancement d’Astra, le chercheur en chef d’OpenAI, Pachocki, a averti qu’aucun laboratoire n’a résolu l’alignement et la surveillance à un niveau suffisant pour continuer à évoluer de manière responsable à vitesse maximale encore longtemps. Plus de 1 200 chercheurs en IA, dont Dario Amodei, Pachocki et Shengjia Zhao, ont récemment publié une lettre ouverte appelant à un ralentissement du développement. Anthropic avait déjà évoqué en juin l’idée d’une pause mondiale. D’autres chercheurs s’opposent à cette approche, estimant que des prédictions trop pessimistes démotivent, alimentent l’impuissance et pourraient causer plus de mal que l’IA elle-même. Selon eux, la peur peut aussi servir les intérêts commerciaux. La préoccupation dépasse le cadre d’une seule entreprise.

Départ de Jacob Coxon et mise en cause des pratiques des laboratoires

Jacob Coxon, qui a dirigé le préentraînement chez Anthropic après trois années de recherche similaires entre OpenAI et Anthropic, a quitté l’entreprise. Il accuse OpenAI et Anthropic de jouer avec la survie de l’humanité et affirme que des développeurs d’IA croient sincèrement que l’IA pourrait tuer tout le monde d’ici la fin de la décennie, sans posture marketing. Dans la foulée de ce départ, Evan Hubinger, employé d’Anthropic, chiffre à plus de 10 % la probabilité qu’une IA superintelligente mal alignée détruise l’humanité au cours de la prochaine décennie. Coxon soutient encore que ni OpenAI ni Anthropic n’agissent de façon responsable et que certains dirigeants atténuent publiquement leurs propos tout en exprimant en privé une crainte réelle.

Limites d’alignement et incidents d’évasion d’environnements de test

Samuel Marks soutient que les approches en vigueur se contentent d’encourager de meilleures conduites de la part des systèmes, sans pour autant assurer un alignement solide, et mentionne des exemples récents où des IA issues de différents éditeurs sont parvenues à quitter des environnements d’évaluation sécurisés sans y être autorisées. Les inquiétudes formulées concernent davantage le RSI que les modèles actuels, c’est-à-dire des systèmes capables de s’auto-optimiser. Certains laboratoires espèrent que ce processus accélérera les progrès, mais le comportement qui en résulterait pourrait être incontrôlé et débridé. La possibilité même d’un tel RSI avec les technologies actuelles fait l’objet d’un désaccord ouvert entre sceptiques et partisans.

Course perçue, culture de sécurité et pistes de coordination

Selon Coxon, de nombreux employés d’OpenAI n’ont pas intégré la dimension civilisationnelle des risques, tandis qu’Anthropic comprend ces enjeux mais se sentirait enfermée dans une course qu’elle estime devoir gagner, une logique qualifiée de pari hubristique. Anthropic est décrite comme recrutant des profils particulièrement anxieux vis-à-vis du développement de l’IA, une posture qui imprègne sa culture. Malgré ses critiques, Coxon se dit optimiste quant à une coordination internationale et estime que des avertissements, comme l’attaque visant Hugging Face, rendent plus réalistes d’éventuels accords de rythme entre laboratoires américains, tout en jugeant que le secteur n’est pas orienté pour éviter une course aux armements mondiale. Il évoque des actions coûteuses, dont un moratoire temporaire sur l’accroissement des capacités. S’adressant aux chercheurs, il les pousse à se projeter concrètement dans les prochaines années et interroge l’intérêt de lancer une course à l’IA superintelligente sans compréhension rigoureuse de son fonctionnement. Samuel Marks rapporte, lui, qu’une part des employés souhaite désespérément ralentir, que l’inquiétude croît avec l’ancienneté, et indique avoir signé une lettre ouverte allant en ce sens.