Un chercheur d’OpenAI demande des contrôles face à l’IA accélérée

OpenAI a présenté une nouvelle puce d’IA, tandis que des modes d’inférence accélérés sont déjà proposés aux utilisateurs payants chez OpenAI et Anthropic. Dans ce contexte, le chercheur « roon » prévient qu’une IA mal alignée, 50 fois plus rapide que les meilleurs systèmes actuels, dépasserait les capacités de réaction humaines. Il appelle à des mécanismes autonomes de détection et d’arrêt, estimant que la simple surveillance ne suffit plus.

Accélération côté industrie : puce d’OpenAI et modes rapides

Le commentaire de roon intervient alors qu’OpenAI vient de présenter une nouvelle puce d’IA, annoncée comme capable de dépasser le matériel existant en vitesse d’inférence. Par ailleurs, OpenAI et Anthropic proposent déjà des « Modes Rapides » réservés aux utilisateurs payants, qui donnent accès à des modèles d’IA plus rapides.

Le scénario redouté : 50 fois plus vite, des équipes dépassées

Roon, un chercheur d’OpenAI utilisant ce pseudonyme, alerte sur les menaces pour la sécurité qu’impliquerait une inférence d’IA à une vitesse extrême, face auxquelles les dispositifs actuels ne suffiraient pas. D’après lui, un modèle non aligné, égalant les meilleures performances des systèmes actuels mais fonctionnant cinquante fois plus rapidement, pourrait intervenir à un rythme tel que les équipes humaines chargées de la réponse n’auraient aucune possibilité d’agir.

Réponse nécessaire et contexte d’alignement

Pour faire face à ce risque, roon estime qu’il faut des capacités autonomes de détection et d’arrêt, et pas seulement de la surveillance. Il considère que si les attaques sont automatisées, la défense doit l’être aussi. Le potentiel de dommages augmente lorsque les modèles ne sont pas alignés avec les objectifs humains, un problème qui reste non résolu. La rapidité des modèles aggrave encore ce contexte, alors que la recherche en sécurité de l’IA s’inquiète de ces évolutions.