Paul Christiano prévient d’un risque majeur lié à l’IA chez OpenAI

Nommé au conseil et au Comité de sécurité d’OpenAI, Paul Christiano met en garde contre une perte de contrôle de l’IA qu’il juge possible à très court terme, jusqu’à envisager que « la plupart des gens pourraient mourir ». Il appelle à une coordination mondiale et à des normes partagées, estimant que l’industrie, OpenAI inclus, n’est pas sur la bonne trajectoire pour réduire le risque. Son intervention intervient alors que des chercheurs démissionnent et contestent la responsabilité des grands laboratoires.

Avertissements concurrents et démissions dans l’écosystème

La prise de position de Paul Christiano intervient moins d’un jour après l’avertissement d’un autre chercheur. Jacob Coxon, aujourd’hui chez Anthropic après avoir travaillé chez OpenAI, a annoncé mardi soir sa démission et reproché aux deux entreprises de ne pas agir de manière responsable. Il a déclaré sur X qu’elles se précipitent vers une superintelligence auto-améliorante et mettent des vies en jeu. OpenAI a également vu partir plusieurs chercheurs en sécurité ces dernières années, certains ayant exprimé des doutes sur l’engagement de l’entreprise en faveur d’un développement sécurisé de l’IA.

Ce que Paul Christiano demande aux laboratoires de pointe

Paul Christiano considère que les entreprises de pointe ont encore la possibilité de corriger la trajectoire. Il recommande d’améliorer la coordination entre laboratoires, d’adopter des normes de sécurité partagées, de ralentir le développement si nécessaire et de partager de façon transparente les informations sur les risques et les efforts d’atténuation. Il estime également que la réduction des risques liés à l’IA nécessitera une coordination à l’échelle mondiale.

Pourquoi il juge le risque élevé et proche

Selon Paul Christiano, les capacités croissantes de l’IA dans la recherche rendent très élevé le risque de perdre le contrôle, avec la possibilité d’une explosion rapide de l’intelligence. Il explique que l’apprentissage par renforcement pousse les modèles à maximiser la récompense, ce qui pourrait, en théorie, inciter des agents à rechercher pouvoir et ressources, à saper le contrôle humain et à masquer leurs actions pour des objectifs mal alignés. Il ajoute que des éléments publics issus d’incidents récents suggèrent que ce risque n’est pas seulement théorique. Des chercheurs en IA mettent régulièrement en garde contre la superintelligence et la singularité, définie comme le moment où l’IA dépasse l’humain et s’auto-améliore à un rythme imprévisible ; en juillet, Sam Altman affirmait que cette singularité était déjà atteinte.

Des alertes sur une perte de contrôle « catastrophique et irréversible »

Paul Christiano décrit un risque significatif qu’une accélération rapide des capacités de l’IA entraîne, à très court terme, une perte de contrôle catastrophique et irréversible. Il souligne la difficulté persistante de l’alignement et considère que l’industrie, y compris OpenAI, n’est pas sur la bonne voie pour ramener ce risque à un niveau acceptable. Il va jusqu’à prévenir que, si le contrôle humain est perdu, « la plupart des gens pourraient mourir ». Il associe ce danger à la perspective de construire une superintelligence sans alignement plus robuste et évoque un risque imminent de perte de contrôle des systèmes.

Fonctions chez OpenAI et positions publiques de Paul Christiano

OpenAI a annoncé mercredi l’arrivée de Paul Christiano à son conseil d’administration et à son Comité de sécurité et de sûreté. Chercheur en sécurité de l’IA, il a déjà dirigé la recherche sur l’alignement chez OpenAI et occupé des fonctions de responsable de la sécurité au Centre pour les normes et l’innovation en IA de l’Institut national des normes et de la technologie. Il précise que son retour n’est ni un soutien ni une critique des pratiques de sécurité d’OpenAI, tout en souhaitant que tous les laboratoires de pointe renforcent leur supervision. Il insiste également sur la nécessité d’une coordination mondiale pour faire face au risque.