Brief IA : Kevin Roose chiffre le risque de l’IA et propose des inspections

Kevin Roose chiffre le risque de l’IA et propose des inspections

Brief IA
Tom Levy·4 min·0 vues

Kevin Roose estime à 10 % la probabilité d'une catastrophe liée à l'IA, tout en rapportant des évaluations dans la Silicon Valley pouvant atteindre jusqu'à 99,9 %. Il propose un contrôle strict des modèles d'IA, incluant des inspections de type ONU et des évaluateurs intégrés chez OpenAI et Anthropic, afin de réguler cette technologie face à la dynamique concurrentielle.

⚡
En bref
1Kevin Roose chiffre à 10 % sa propre estimation du risque de catastrophe liée à l’IA, tout en rapportant des évaluations bien plus élevées dans la Silicon Valley
2Il propose un contrôle strict des modèles, incluant des inspections de type ONU et des évaluateurs intégrés chez OpenAI et Anthropic
3Il décrit la dynamique concurrentielle qui pousse les leaders de l’IA à accélérer malgré leurs inquiétudes, et souligne le risque de contournement international
💡Pourquoi c'est important — Les débats sur la régulation de l’IA s’intensifient alors que les risques perçus et la compétition mondiale rendent difficile un ralentissement coordonné.
⚡Le brief IA que lisent les pros

Tu suis la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisis ton rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Le journaliste Kevin Roose défend l’idée d’un contrôle rigoureux des modèles d’IA, allant jusqu’à des inspections de type ONU. Il chiffre sa propre probabilité de catastrophe à 10 %, tout en rapportant des estimations beaucoup plus élevées dans la Silicon Valley. Il voit une fenêtre d’action pour ralentir et réguler, malgré la course mondiale et les divergences politiques.

Des estimations de risque de 10 % à 99,9 % selon les interlocuteurs

Kevin Roose estime à 10 % la probabilité d'une catastrophe liée à l'IA. Il indique connaître des personnes qui avancent des chiffres bien supérieurs, jusqu'à 50 %, 60 % et 99,9 %. Selon lui, il n'est pas rare d'entendre à San Francisco des évaluations d'au moins 50 %. Il affirme être davantage optimiste qu'il ne l'était il y a quelques mois, puisque la question des risques de l'IA fait désormais l'objet de discussions publiques. Selon lui, il demeure envisageable d'intervenir, de freiner, de mettre en place des lois et de coordonner les efforts pour garder le contrôle sur cette technologie.

Inspections de laboratoires et évaluateurs intégrés pour encadrer les modèles

Kevin Roose compare la situation actuelle à celle du contrôle des armes nucléaires, tout en rappelant que ces dernières nécessitaient des ressources que seuls quelques pays possédaient. Il estime qu'un régime d'inspection pourrait être nécessaire, avec un organisme de type ONU chargé de vérifier que les modèles d'IA ne présentent pas de dangers. Des propositions existent pour que des évaluateurs intégrés travaillent à l'intérieur d'OpenAI et d'Anthropic, avec accès aux systèmes sans être employés par ces entreprises. Roose affirme qu'il n'existe pratiquement aucune réglementation sur ces entreprises et juge cette situation inacceptable. Il mentionne également les probabilités de risques spécifiques liées à l'IA, telles que P(doom), P(disempowerment), P(pandemic) et P(perte d'emplois).

Course à l’IA, rivalités et hypothèse du « plus grand, plus intelligent »

Kevin Roose décrit un paradoxe où les dirigeants qui s'inquiètent le plus du pouvoir de l'IA sont aussi ceux qui la développent le plus rapidement, citant Dario Amodei d'Anthropic et Sam Altman d'OpenAI. Il rapporte que ces leaders observent une progression rapide de la technologie. Dario Amodei, dans son essai The Big Blob of Compute Hypothesis, avance que rendre les systèmes plus intelligents consiste à les rendre plus grands. Roose ajoute que la découverte d'une recette simple combinant puissance de calcul et données pourrait déclencher une course, rendant la technologie stratégiquement incontournable. Il rappelle que le conflit a toujours fait partie du domaine de l'IA, tandis que certains critiques accusent les leaders d'exagérer les scénarios apocalyptiques pour promouvoir leurs entreprises.

Contexte politique mouvant et risque de contournement international

Kevin Roose observe que l'opinion publique sur l'IA évolue rapidement, avec une inquiétude croissante parmi les électeurs. Il affirme que certains conseillers de Donald Trump s'opposent à toute réglementation, tandis que d'autres, issus de la communauté de la sécurité nationale, se montrent plus vigilants face aux risques de l'IA. Roose évoque la possibilité d'un pacte industriel pour ralentir la recherche sur les modèles les plus avancés et estime que les entreprises leaders pourraient agir de leur propre chef en l'absence de réglementation gouvernementale, malgré leurs rivalités. Il met en garde : même si les grandes entreprises américaines ralentissent, d'autres acteurs, notamment en Chine, continueront d'avancer. Il indique que les modèles chinois s'inspirent des modèles existants et que la technologie se banalise rapidement.

Parcours récent de Roose et objet de son dernier livre

Kevin Roose a quitté The New York Times pour coanimer un podcast pour NPR. Il a publié "The AGI Chronicles: The Inside Story of the Race to Create an Artificial Superintelligence", un ouvrage qui rassemble des récits et des biographies de technologues ayant marqué l'histoire récente de l'IA.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires