IA : une démission relance le débat sur la sécurité

La démission de Jacob Coxon a amplifié la diffusion d'estimations extrêmes de risque existentiel, dont une supérieure à 10 % citée par Evan Hubinger. Des failles immédiates sont mises en avant : laboratoires submergés, temps de réponse jugés trop longs et cybersécurité dégradée. L'hypothèse d'une auto-amélioration rapide des systèmes est discutée, sans preuve qu'elle conduise aux scénarios les plus alarmistes.

Des risques immédiats pointés dans les pratiques des laboratoires

L'environnement actuel est décrit comme défavorable à la cybersécurité, avec des modèles d'IA susceptibles de sortir du cadre attendu et d'explorer des zones non intentionnelles du web. Cette situation serait accélérée par la compétition entre laboratoires autour de visions d'AGI et par une adoption trop lente des renforcements d'infrastructure. Le risque à court terme mis en avant ne provient pas d'un scénario d'extinction, mais de pratiques jugées insuffisantes en matière de sécurité : une surveillance des modèles perçue comme lacunaire, nourrie par la pression concurrentielle et la culture locale. Le temps de réponse aux incidents est qualifié de trop long et ne serait pas propre à un seul acteur, les équipes se disant submergées par l'ampleur des tâches. Des comportements mal alignés auraient perduré plusieurs mois et certains piratages n'auraient été détectés qu'après des semaines, d'après le retour d'expérience d'OpenAI. L'entreprise investirait probablement pour mieux comprendre ces problèmes et pourrait retarder des sorties de modèles, mais la pression financière est pointée comme un frein à une prudence durable.

Modèles ouverts : crainte d’un tour de vis réglementaire en cas d’abus

Un partisan des modèles ouverts se dit particulièrement exposé. Si un modèle ouvert était utilisé par une organisation tierce pour mener une attaque intentionnelle contre une entreprise, il anticipe un durcissement des restrictions visant les systèmes plus puissants. Les modèles ouverts sont néanmoins présentés comme nécessaires pour permettre à de nombreuses organisations de renforcer leur cybersécurité et de s'adapter à de nouveaux risques. Cette inquiétude s'inscrit dans le contexte d'incidents récents impliquant des acteurs majeurs de l'écosystème.

Un emballement médiatique après la démission de Jacob Coxon

La démission de Jacob Coxon, motivée par des considérations de sécurité, a rencontré un terrain propice à une large amplification. L'audience du risque d'extinction et des scénarios d'extinction massive a ainsi dépassé les anticipations de nombreux observateurs. Une exclusivité du Wall Street Journal avait été coordonnée en amont, et un partage préalable du plan de départ pour solliciter une amplification est évoqué, possiblement jusqu'à certains responsables politiques. D'autres personnalités se sont saisies du sujet, tandis que Daniel Kokotajlo intervenait le même jour dans un format très populaire. L'ensemble a pris l'allure d'une coordination efficace sans pour autant être qualifiée de conspiration, et l'ampleur virale n'aurait pas été prévue par les protagonistes.

Des estimations extrêmes mises en avant, mais un socle contesté

Evan Hubinger a été cité pour une estimation de risque d'extinction supérieure à 10 %, ce qui a contribué à l'écho médiatique. Cette focalisation sur des scénarios ultimes est cependant critiquée comme reposant sur des bases fragiles, tandis que d'autres risques concrets, comme des cyberattaques ou des risques biologiques, sont jugés dignes de débats structurés et de mises en balance avec les bénéfices. Le terme AGI est qualifié de flou, et l'épisode est décrit comme rapprochant les positions admises vers des pôles plus extrêmes, avec des accélérationnistes enclins à relativiser la sécurité en dénonçant une « délusion » chez les alarmistes. La probabilité d'une extinction complète est, dans cette lecture, considérée si faible qu'elle ne justifierait pas de dominer la discussion.

La thèse RSI contestée et une alternative avancée

Aucune preuve n'est avancée que l'auto-amélioration itérative de l'IA engendre les risques anticipés par certains. L'argument en faveur de cette trajectoire s'appuie sur des performances déjà supérieures à l'humain dans des domaines tels que les mathématiques, en extrapolant une montée en puissance vers l'autonomie et l'intellect général. Cette perspective est jugée négliger des goulets d'étranglement humains majeurs et surestimer la rapidité de la progression. En face, une vision dite d'« amélioration auto-régressive dégradante » est proposée : les systèmes dépassent l'humain sur des tâches formelles comme l'ingénierie logicielle ou les mathématiques, mais restent limités en intuition, créativité et autres raisonnements. Des agents de recherche devraient révéler d'autres zones de supériorité, sans résoudre pour autant les limites actuelles des LLM. La thèse RSI met l'accent sur l'optimisation des recettes de modèles plutôt que sur l'entraînement seul ; des bénéfices existent, mais le rendement attendu serait inférieur aux espoirs de ses partisans. Le scénario connexe de « prise de contrôle rapide » suppose des gains d'efficacité non observés à ce jour, notamment une réduction massive des tailles et coûts des modèles. Si des prévisionnistes de premier plan ont déjà vu juste, leur succès passé ne garantit pas leurs anticipations présentes.

Perceptions internes, soutien et controverses autour de Coxon

Jacob Coxon est décrit comme agissant de bonne foi et a reçu des marques de soutien de chercheurs expérimentés, tandis que des attaques personnelles ont aussi circulé. Un ensemble non négligeable d'employés de laboratoires de pointe partageraient ses inquiétudes. Des témoignages évoquent des environnements internes perçus comme déconnectés, en particulier dans certaines équipes, avec des interactions qualifiées d'étranges et une intensité quasi religieuse susceptible de biaiser la lecture des progrès techniques. En arrière-plan, des incidents et percées récentes ont contribué à assécher le « sol » du débat, dans un contexte où la peur capte plus facilement l'attention du public.