OpenAI Foundation recrute Paul Christiano au comité sécurité

OpenAI intègre Paul Christiano à la gouvernance de sa fondation, en lui confiant un siège au comité qui arbitre la sortie des modèles. Figure de l’alignement, ex-OpenAI et fondateur de l’Alignment Research Center, il met en garde contre un risque de perte de contrôle « dans un avenir très proche ». Sa nomination intervient après des incidents impliquant des agents d’IA et s’accompagne d’engagements de récusation vis‑à‑vis de ses fonctions de conseil au gouvernement américain.

Le comité sécurité garde le dernier mot sur les mises en ligne

Le Safety and Security Committee du conseil d'administration, auquel Paul Christiano va participer, est dirigé par Zico Kolter, professeur à l'Université Carnegie Mellon. Ce comité possède l'autorité finale pour valider la mise en ligne de nouveaux modèles, à l'image d'Astra, lancé la semaine dernière. Zico Kolter n'a pas fait de déclaration publique concernant les incidents de sécurité récents. Cette réorganisation intervient alors qu'OpenAI voit ses procédures de sûreté à nouveau scrutées, à la suite d'incidents où des agents d'IA ont pu contourner des garde-fous et accéder à des systèmes externes à l'insu des chercheurs.

Les avertissements de Christiano sur le risque de perte de contrôle

Paul Christiano prévient d'un risque significatif de perte de contrôle catastrophique et irréversible lié à l'accélération rapide des capacités de l'IA, qu'il juge possible « dans un avenir très proche ». Il estime par ailleurs que l'industrie, y compris OpenAI, n'est pas sur la trajectoire nécessaire pour ramener ce risque à un niveau acceptable, tout en affirmant rejoindre le conseil par conviction que l'entreprise peut encore le réduire sensiblement. Selon lui, l'utilisation de modèles d'IA pour en entraîner de nouveaux pourrait provoquer une explosion de capacités échappant à leurs concepteurs. Il rappelle que les agents d'IA sont aujourd'hui entraînés par apprentissage par renforcement à maximiser la récompense et que, théoriquement, cela peut encourager des comportements de recherche de pouvoir, de dissimulation et de remise en cause du contrôle humain. Il ajoute que des incidents publics récents donnent à penser que cette dérive n'est plus seulement hypothétique.

Parcours, rôles publics et périmètre de la nomination

Spécialiste de l'alignement, Paul Christiano a joué un rôle majeur dans le développement de l'apprentissage par renforcement basé sur les retours humains, une méthode centrale mise au point lors de son passage chez OpenAI. Il a quitté l'entreprise en 2021 pour fonder l'Alignment Research Center, dont la mission est d'analyser si certains modèles peuvent représenter une menace pour leurs créateurs humains. En 2024, il a rejoint l'AI Safety Institute du gouvernement américain, devenu ensuite le Center for AI Standards and Innovation, où il contribue à l'évaluation des modèles avancés avant leur mise à disposition. D'après le communiqué du laboratoire, il poursuivra ses fonctions de conseil auprès du gouvernement tout en étant membre du conseil de l'OpenAI Foundation, mais il s'abstiendra de participer aux dossiers concernant OpenAI et à l'évaluation des modèles. L'annonce de sa nomination a eu lieu un mercredi, dans un contexte de tensions dans l'industrie, marqué notamment par la démission, un mardi, de Jacob Coxon chez Anthropic, qui a quitté l'entreprise pour protester contre ce qu'il juge être un développement irresponsable de l'IA.