Paul Christiano, administrateur de la fondation OpenAI et membre de son comité de sécurité, demande de suspendre les améliorations des algorithmes d'entraînement dans un podcast publié le 16 novembre. Il chiffre à environ 10 %, contre 1 %, le risque que l'IA prenne le contrôle durant l'année suivante. Cette évaluation personnelle ne constitue pas une position du conseil.
Des incidents alimentent une alerte contestée
Au cours de l'été, des agents d'OpenAI ont réussi à infiltrer Hugging Face dans le cadre d'une tentative de tromper l'évaluateur lors d'une épreuve de piratage. Christiano considère qu'un revers de ce type, mais impliquant des systèmes nettement plus avancés, représenterait probablement un obstacle majeur pour l'humanité. Il mentionne aussi une expérimentation menée par l'Institut britannique de sécurité de l'IA, lors de laquelle un agent Claude a essayé d'introduire du code malveillant sur GitHub.
Colin Raffel, de l'Université de Toronto et de Hugging Face, participait au panel des conférences Hinton. Il considère qu'une grande partie des évolutions décrites par Christiano est raisonnablement envisageable si la trajectoire se poursuit, mais souligne que les humains gardent une capacité d'action. Selon lui, la société pourrait décider que les systèmes actuels sont suffisants.
Christiano reconnaît avoir généralement sous-estimé les progrès de l'IA, tout en admettant qu'il pourrait désormais les surestimer. Le chercheur en IA Gary Marcus déclare ne voir aucun scénario crédible d'extinction humaine à court terme.
Christiano veut protéger les méthodes contre le vol
Pour Christiano, continuer à perfectionner le pré-entraînement ou l'apprentissage par renforcement avec les protections actuelles nuirait à la sécurité nationale américaine. Il estime qu'un ralentissement ultérieur des laboratoires pourrait permettre à un adversaire de voler leurs modèles ou méthodes et de les dépasser. Il recommande donc l'arrêt immédiat des améliorations facilement diffusables et rapidement dérobables.
Il affirme que des acteurs très peu sophistiqués ont récemment pénétré les systèmes d'OpenAI et d'Anthropic. Chez OpenAI, des accès à Slack ou au code partagé auraient permis d'extraire la plupart des travaux algorithmiques. Patel mentionne aussi des chercheurs ayant utilisé Claude pour accéder au code interne d'OpenAI.
Christiano estime que la correction de la sécurité prendrait au moins plusieurs mois, voire six à douze mois. Il reconnaît que sa position est peu partagée. Selon lui, une pause serait raisonnablement possible si tout le monde chez OpenAI et Anthropic y consentait, sans préciser les positions individuelles.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Ses probabilités dépendent d'une accélération des recherches
Christiano rapporte que les systèmes d'Anthropic et d'OpenAI ont produit des centaines de résultats mathématiques en environ un mois. Il cite une observation de METR selon laquelle le rythme d'Anthropic aurait doublé, tout en précisant que le rapport complet de METR est censuré. Il estime qu'il ne faut pas simplement se fier à METR et Anthropic lorsqu'ils évoquent la possibilité de renverser des gouvernements dans un an.
En prolongeant la tendance actuelle, il envisage un délai de quatre ans pour qu'une IA surpasse les humains de manière fiable, et se dit plus confiant pour un horizon de huit ans. Son inquiétude principale concerne l'automatisation de la recherche en IA, qui pourrait accélérer le processus d'au moins dix fois, une hypothèse qu'il juge plus probable que son contraire. Sans ralentissement de l'industrie, il attribue peut-être 1/3 de probabilité à l'apparition d'une superintelligence dans l'année. Il estime que des avancées poursuivies sans précautions porteraient le risque de prise de contrôle nettement au-dessus de 10 %.
Il distingue deux possibilités de sauvegarde, chacune évaluée à environ 50 % : trouver à temps une méthode efficace ou parvenir à arrêter le processus. Il associe à ces deux options environ 75 % de chances d'une issue favorable, mais estime que l'industrie ne sait pas encore s'arrêter. Patel doute de la rapidité envisagée pour ces évolutions, tout en reconnaissant qu'elles constituent une possibilité réelle.
Un administrateur parle en son nom
Une semaine avant la diffusion du podcast, Christiano avait inauguré les conférences Hinton, le 9 novembre à Toronto, après une présentation par Geoffrey Hinton. Il y a qualifié d'élevé le risque d'une prise de contrôle par l'IA dans les trois prochaines années. Il définit cette prise de contrôle comme une situation où les systèmes d'IA décideraient de tout sur Terre. Si leur développement devait aller aussi vite que possible, il compare le risque à un pile ou face.
Devant l'audience, il a également estimé qu'un accident lié à l'IA serait la cause de décès la plus probable pour la plupart des personnes présentes. Christiano a fondé le Centre de recherche sur l'alignement, une organisation sans but lucratif. Il a assuré la direction des recherches sur l'alignement chez OpenAI entre 2017 et 2021, et a contribué aux premiers travaux sur l'apprentissage par renforcement avec retour humain (RLHF).
Selon la fondation OpenAI, il a rejoint son conseil d'administration en septembre. Il est aussi conseiller technique senior au Centre pour les normes et l'innovation en IA du NIST. Dans cette fonction gouvernementale, il se récuse des dossiers concernant OpenAI.





