Brief IA : Sécurité de l’IA : le « triage » de Miles Brundage face aux contrepoints

Sécurité de l’IA : le « triage » de Miles Brundage face aux contrepoints

Brief IA
Tom Levy·5 min

Miles Brundage propose une approche de « triage » pour la sécurité de l'IA, visant à atténuer 80 % des risques avec une fraction des efforts. Cependant, des chercheurs comme Toby Ord et Eliezer Yudkowsky contestent cette méthode, plaidant pour des estimations plus larges sur les délais d'arrivée de l'IA avancée et critiquant la simplification du problème en un ratio 80/20.

En bref
1Miles Brundage défend une approche de « triage » pour la sécurité de l’IA, visant à atténuer 80 % des risques avec une fraction des efforts.
2Des chercheurs comme Toby Ord et Eliezer Yudkowsky contestent la pertinence d’un 80/20 et recommandent de garder des estimations larges sur les délais d’arrivée de l’IA avancée.
3OpenAI revendique des avancées majeures en mathématiques, tandis que des débats persistent sur la portée réelle de ces progrès et sur la rapidité des évolutions.
4Certains experts proposent d’investir massivement dans la préparation à une IA transformatrice, malgré l’incertitude sur le calendrier.
Pourquoi c'est important : Ce débat structure les choix de gouvernance et d’allocation des ressources face à l’incertitude sur les risques et le rythme du progrès de l’IA.

Miles Brundage défend une approche de « triage » en sécurité de l’IA : traiter 80 % des risques avec une fraction des efforts disponibles, sans prétendre éviter tous les scénarios graves. Cette position s’appuie sur des signaux d’accélération des capacités, tandis que d’autres voix soulignent l’incertitude sur les délais, contestent l’idée d’un 80/20 et proposent des stratégies différentes d’allocation des ressources.

Des timelines contestées et des options « radicales » face à l’incertitude

Plusieurs chercheurs estiment que les délais de l’IA ne se prêtent pas à une estimation unique. Toby Ord préconise de conserver une distribution large des horizons temporels, jugeant réducteur de la condenser en un seul chiffre. Il indique maintenir cette position, y compris récemment. Eliezer Yudkowsky se dit peu enclin à annoncer des dates précises et souligne la rareté historique des prédictions datées correctes, critiquant par ailleurs les intitulés comme « IA 2027 » ou les chiffres inventés de p(doom). Dans ce contexte d’incertitude, Christoph Winter et Charlie Bullock défendent une « option radicale » pour répondre à la possibilité d’une IA transformatrice dans les 10 prochaines années : investir des quantités extraordinaires de ressources, à rebours d’approches plus modérées.

Le « 80/20 » de Miles Brundage et les scénarios difficiles à écarter

Miles Brundage avance qu’en pratique il faudra accepter une logique de « triage » : atténuer 80 % des risques avec une fraction des efforts qu’aurait permis un monde de progrès plus lents et d’une gouvernance amorcée plus tôt. Il considère qu’il sera probablement impossible d’écarter totalement des scénarios très mauvais, tels qu’une transition économique injuste impliquant souffrances et suicides, une addiction et des troubles liés à l’IA, une refonte précipitée de l’éducation, des attaques terroristes facilitées par l’IA causant des milliers ou des millions de morts, ou encore un totalitarisme durable facilité par l’IA dans certains pays. Ancien conseiller principal pour la préparation à l’AGI chez OpenAI, il a quitté ce rôle, estimant notamment pouvoir être moins biaisé hors de l’industrie.

Urgence perçue : des capacités en hausse et des paris qui basculent

Pour étayer l’urgence, Miles Brundage renvoie à son texte de décembre 2024, Time’s Up for AI Policy, où il juge presque certaine dans les prochaines années l’arrivée d’IA surpassant l’humain dans la plupart des domaines cognitifs. Il voit dans l’annonce d’o3 un indice que le codage et les mathématiques surhumains arrivent plus tôt que ne l’anticipaient beaucoup, et il estime que les implications n’ont guère été explorées. Son positionnement s’inscrit aussi dans un paysage où les anticipations évoluent : le pari qui l’oppose à Gary Marcus a vu, selon Metaculus, la probabilité de victoire de Marcus passer de 90 % en juillet à 30 % plus récemment.

Le brief IA que lisent les pros

La recherche en IA vous passionne ?

Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Preuves algébriques et débats : des résultats revendiqués en mathématiques

OpenAI a déclaré avoir résolu le problème du prix du Millennium de Navier–Stokes. Si cette affirmation était confirmée, elle représenterait une avancée très au-dessus de la tendance ; un débat existe toutefois sur l’éventuelle intégration du travail d’une autre personne dans les données d’entraînement. Des observateurs rapportent que la communauté mathématique voit des signes de progrès, tout en divergeant sur l’automatisation d’autres composantes du métier que la production de preuves et sur les délais associés. OpenAI indique par ailleurs avoir publié 372 autres résultats en ligne, puis quelques supplémentaires il y a quelques jours.

Contre-lectures : limites des modèles et effets de l’échelle

Des voix appellent à la prudence dans la focalisation sur des scénarios à court terme. Richard Ngo craint une dynamique de rareté contre-productive et compare cette posture à celle de premiers intervenants, un rôle auquel beaucoup ne sont pas adaptés. D’autres envisagent que les progrès soient plus lents que ne l’estiment certains laboratoires, invoquant l’absence d’apprentissage continu et une faible efficacité d’échantillonnage, comme le soutient Dwarkesh Patel. Toby Ord fait valoir que passer de l’échelle du pré-entraînement à celle du RL et de l’inférence change la donne, évoquant un ordre de grandeur de 100x en pré-entraînement équivalent à 1000x en inférence ou 1 000 000x en RL, un effet jusque-là masqué mais déjà saillant dans les usages de calcul d’inférence et de RL. Steve Newman ajoute qu’une « distance » plus longue à parcourir pourrait n’apparaître qu’au fil du temps, citant l’exemple de modèles comme Claude 5 ou o3 accomplissant des exploits sans pour autant réussir des tâches comme l’écriture d’un roman à l’intrigue serrée.

D’où vient l’alarme temporelle de Brundage

L’alarme sur les délais formulée par Miles Brundage découle de sa thèse qu’une IA dépassant l’humain dans la plupart des domaines cognitifs est presque certaine de voir le jour et d’être déployée dans les prochaines années. Il associe cet horizon à des annonces récentes sur des performances en codage et en mathématiques qu’il juge en avance sur les attentes, et a ancré son argumentaire dans un texte de décembre 2024 appuyé par des publications concomitantes, dont un tweet et un retour rétrospectif en mars.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires