IA : Hinton estime 10 % de risque d’extinction

Geoffrey Hinton juge plausible une probabilité de 10 % que l’IA mette fin à l’humanité dans la prochaine décennie. Des voix internes à Anthropic évoquent un risque supérieur à 10 % et reconnaissent l’absence de plan établi pour l’alignement de systèmes superintelligents. Hinton renouvelle son appel à une régulation mondiale et s’interroge sur la capacité des États à agir à temps.

Anthropic admet ne pas avoir de plan d’alignement pour une superintelligence

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, indique qu’Anthropic fait de son mieux mais n’a pas encore de plan pour résoudre l’alignement de la superintelligence et n’est pas clairement sur la bonne voie. Il précise qu’Anthropic considère le risque des modèles actuels comme faible. Selon lui, le principal danger concerne une superintelligence issue d’une auto-amélioration récursive qui pourrait survenir plus rapidement que prévu, un processus théorique où des modèles d’IA s’amélioreraient eux-mêmes et accéléreraient leur développement. Parallèlement, Geoffrey Hinton renouvelle son appel à une régulation mondiale de l’IA. Il estime que, pour empêcher l’IA de prendre le contrôle des humains, les intérêts des pays sont alignés et qu’ils finiront par collaborer, tout en posant la question d’une action suffisamment rapide.

Hinton situe un risque de 10 % à horizon d’une décennie

Geoffrey Hinton estime qu’il n’est pas déraisonnable d’avancer 10 % de chances que l’IA mette fin à l’humanité dans la prochaine décennie, tout en soulignant que la probabilité n’est pas nulle et que personne ne sait la chiffrer de façon sensée. Ces propos ont été tenus mercredi lors d’une interview dans Newsnight sur la BBC, où l’animatrice Victoria Derbyshire a relevé sa proximité avec l’estimation d’un chercheur d’Anthropic qui place le risque au-delà de 10 % à la même échéance.

Un horizon temporel compressé selon Hinton

Geoffrey Hinton explique que ces estimations sont difficiles car la société n’a jamais fait face à une technologie pouvant bientôt devenir plus intelligente que les humains. Il juge imprudent d’abaisser l’évaluation à 1 %. Il indique avoir d’abord envisagé une échéance située entre 30 et 50 ans, puis 10 à 20 ans, et pense désormais à environ 10 ans, voire moins, tout en notant que certains situent l’échéance plus tôt encore. Il n’a pas précisé pourquoi ce calendrier s’est comprimé et affirme que la fenêtre dangereuse se rétrécit.

Des scénarios de risque et un contexte d’accélération

Parmi les voies de catastrophe, Geoffrey Hinton évoque la conception par l’IA d’un virus mortel et des cyberattaques. En parallèle, des entreprises comme Anthropic et OpenAI ont investi des milliards pour faire évoluer leurs modèles, et des versions récentes ont montré des améliorations notables par rapport à des systèmes vieux de quelques mois seulement.

Démission et alertes publiques chez Anthropic

Jacob Coxon, chercheur chez Anthropic, a annoncé sa démission avant une introduction en bourse très attendue, après un passage chez OpenAI. Sur X, il affirme que les géants de l’IA « parient avec nos vies » et que des personnes qui construisent l’IA croient sincèrement qu’elle pourrait tuer tous les humains d’ici la fin de la décennie. Il soutient que ce n’est pas une manœuvre marketing et que des dirigeants et chercheurs de haut niveau modèrent leurs propos publiquement tout en exprimant leur peur en privé. Evan Hubinger lui a répondu publiquement en souscrivant à un risque supérieur à 10 % dans la prochaine décennie.