Brief IA : Anthropic : Jared Kaplan alerte sur le risque de l’IA auto-entraînée

Anthropic : Jared Kaplan alerte sur le risque de l’IA auto-entraînée

Brief IA
Tom Levy·5 min·1 vues

Jared Kaplan, cofondateur d’Anthropic, a mis en avant le risque d’une IA capable de s’entraîner seule, qu’il considère comme le « risque ultime ». Son avertissement est repris par des ingénieurs, des élus et dans l’opinion publique, alors que Dario Amodei appelle à réguler le développement de l’IA. Kaplan, physicien devenu chercheur en IA, dirige la recherche et la sécurité chez Anthropic, qui prépare une introduction en bourse.

En bref
1Jared Kaplan, cofondateur d’Anthropic, a mis en avant le risque d’une IA capable de s’entraîner seule, qu’il considère comme le « risque ultime ».
2Son avertissement est repris par des ingénieurs, des élus et dans l’opinion publique, alors que Dario Amodei appelle à réguler le développement de l’IA.
3Kaplan, physicien devenu chercheur en IA, dirige la recherche et la sécurité chez Anthropic, qui prépare une introduction en bourse.
💡Pourquoi c'est importantLe débat sur l’auto-amélioration de l’IA gagne en ampleur alors que les capacités des modèles progressent rapidement.
Le brief IA que lisent les pros

L’IA et sa régulation t’intéressent ?

Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisis ton rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

📄
L'analyse en français

Cofondateur d’Anthropic, Jared Kaplan a popularisé l’idée qu’autoriser une IA à s’entraîner seule pourrait constituer le risque ultime. Ses mises en garde gagnent des relais chez les ingénieurs, dans l’opinion et auprès de législateurs, alors qu’Anthropic capitalise sur les lois d’échelle et vise une introduction en bourse.

Amodei appelle à réguler une IA qui conçoit la suivante

Dario Amodei estime que les laboratoires en tête devraient réguler le développement des systèmes d’IA les plus avancés. Il écrit que depuis environ cet été, les progrès ont été rapides, notamment grâce à la capacité croissante des modèles à contribuer à la création de la génération suivante d’IA. Il ajoute que, sans contrôle, cette dynamique pourrait dépasser la capacité humaine à comprendre et à maîtriser ces systèmes, et qu’elle doit donc être poursuivie avec une grande prudence, voire pas du tout. Anthropic bénéficie en parallèle des avancées permises par les lois d’échelle et prépare une introduction en bourse. Jared Kaplan a estimé qu’un tournant pour l’entraînement autonome pourrait survenir entre 2027 et 2030, alors qu’en 2026, des systèmes de pointe assistent déjà des chercheurs chez Anthropic et OpenAI. Pour David Duvenaud, le fait que les dirigeants évoquent un interrupteur d’arrêt montre qu’ils prennent au sérieux le risque d’un dérapage. Il se dit inquiet de l’auto-amélioration de l’IA et considère que ce pari reste risqué, même sous la direction de personnes très sensées.

Des ingénieurs et des élus reprennent l’avertissement

Jacob Coxon, qui a quitté Anthropic plus tôt ce mois-ci, a affirmé sur X que laisser l’IA s’entraîner elle-même revient à jouer avec nos vies, visant à la fois OpenAI et Anthropic. À Washington, des élus élaborent de nouvelles propositions et prêtent une attention accrue aux questions de sécurité. Jeffrey Ladish, ancien ingénieur d’Anthropic et fondateur de Palisade Research, indique avoir cité auprès de législateurs l’idée avancée par Jared Kaplan selon laquelle une IA s’auto‑entraînant pourrait devenir incontrôlable. Il se réjouit que davantage d’ingénieurs et de chercheurs s’expriment sur ces sujets. Dans l’opinion, environ deux tiers des Américains estiment qu’il existe un risque que l’IA puisse détruire l’humanité, selon un sondage récent.

Le rôle actuel de Kaplan chez Anthropic et sa discrétion

Jared Kaplan dirige la recherche, la sécurité de l’IA et la politique d’échelle responsable chez Anthropic. Devenu milliardaire, il garde un profil public discret, l’entreprise n’ayant pas souhaité le rendre disponible pour une interview. Des chercheurs ayant travaillé avec lui le décrivent comme perspicace et sensé, et considèrent que ses préoccupations sur les risques sont fondées.

Une alerte précoce sur l’entraînement autonome

À la fin de l’année dernière, Jared Kaplan a mis en garde contre la possibilité qu’une IA puisse s’entraîner entièrement seule, soulignant l’imprévisibilité d’un tel scénario. Il estime qu’un tel processus pourrait conduire à une explosion d’intelligence, tout en le qualifiant de risque ultime et de chose la plus effrayante à entreprendre.

Des jalons fondateurs : lois d’échelle et GPT-3

En 2020, Jared Kaplan a dirigé un article établissant des lois d’échelle pour les modèles de langage neuronaux, montrant que l’agrandissement des modèles améliorait les performances. Il a expliqué en 2025 qu’il avait abordé ce travail avec l’approche d’un physicien posant une question simple. Sören Mindermann se souvient avoir présenté cet article avec enthousiasme malgré le scepticisme initial. La même année, Kaplan et d’autres d’OpenAI ont introduit GPT‑3, qui a servi de base à ChatGPT. Depuis, la tendance des lois d’échelle s’est confirmée, avec des capacités accrues grâce à davantage de données et de puissance de calcul.

Du laboratoire de physique à la création d’Anthropic

Physicien de formation, Jared Kaplan a rencontré Dario Amodei lors de leurs études supérieures, respectivement à Harvard et Princeton, et ils se sont rapprochés autour de GiveWell. Kaplan a coécrit un article influent sur la théorie du champ efficace de l’inflation, travaillé au Département de l’Énergie à Menlo Park puis à Stanford, avant de rejoindre Johns Hopkins en 2012. Son conseiller Nima Arkani‑Hamed évoque un scepticisme initial autour de l’article d’inflation, puis souligne la capacité de Kaplan à suivre des idées conceptuelles majeures. En 2017, Kaplan décrivait sa méthode comme le fait de poser les questions de la bonne manière. À la fin des années 2010, il s’est entouré d’autres physiciens pour aborder l’IA et a commencé à contribuer à OpenAI comme consultant. Tom Brown rapporte que les futurs cofondateurs prenaient très au sérieux les lois d’échelle et envisageaient un moment où le contrôle serait remis à une IA transformative. Avec Amodei et d’autres, Kaplan a cofondé Anthropic en 2021. Cinq ans plus tôt, selon Arkani‑Hamed, Kaplan disait se soucier d’abord de prévenir les nuisances sociales liées à l’IA. Au sein d’Anthropic en 2023 et 2024, David Duvenaud a travaillé deux niveaux en dessous de Kaplan, à qui il attribue des qualités de disponibilité, de motivation et de sens pratique, tout en notant la confrontation d’Anthropic à la montée en puissance de ses propres systèmes.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires