IA et pouvoir : le désengagement humain progressif

Gradual Disempowerment décrit un risque où des systèmes d’IA, intégrés aux institutions et à l’économie, marginalisent l’influence humaine. Une critique de Bentham's Bulldog et John Halstead conteste plusieurs maillons de cette thèse. Entre définition de l’alignement, effets de la concurrence et rôle de la propriété, les points d’accord et de divergence dessinent un désaccord structurant pour la gouvernance de l’IA.

Des réserves admises sur la définition de l’alignement

Plusieurs limites sont reconnues concernant la manière de parler d’« alignement ». Il est jugé que Gradual Disempowerment reste souvent vague sur ce terme, sans trancher clairement entre alignement des intentions, obéissance littérale ou corrigibilité. Il est également soutenu que l’alignement n’y équivaut pas à une IA représentant les intérêts globaux d’un principe humain et prenant des décisions strictement meilleures et bienveillantes en son nom. Si une confusion persiste sur ce point, une part de responsabilité est attribuée aux auteurs initiaux. D’autres remarques portent sur un recentrage humain de l’analyse, alors que des arguments analogues pourraient s’étendre au bien-être d’animaux ou de systèmes d’IA existants. Il est aussi estimé que l’ouvrage surévalue parfois sa nouveauté et que le risque d’un totalitarisme rendu possible par l’IA avait été discuté des années avant sa publication.

Ce que redoute Gradual Disempowerment

L’argument central avance qu’un risque existentiel pourrait résulter d’un retrait progressif de l’influence humaine, au-delà des scénarios de bioweapons ou de prise de contrôle par une IA mal alignée. Des machines plus compétitives dans des fonctions sociales majeures, des incitations économiques poussant les entreprises à substituer des IA et à influencer États et culture, ainsi que des méthodes d’alignement jugées insuffisantes pour enrayer ce retrait, sont décrites. Ils envisagent des systèmes sociaux à grande échelle devenant mal alignés de façon corrélée, au point d’empêcher les humains d’influer sur les résultats et même de subvenir à leurs besoins, ce qui constituerait une catastrophe existentielle.

Alignement local, institutions et propriété

Une ligne de controverse porte sur la manière dont les systèmes se lieraient aux objectifs humains. Il est contesté que la délégation économique aux IA, même si elles sont alignées sur des intentions, conduise inévitablement au désengagement humain. L’argument avancé distingue des agents suivant une spécification locale des objectifs, sans viser le bien-être d’humains particuliers, et des IA corrigibles par des institutions comme les entreprises ou les gouvernements. Gradual Disempowerment évoque même des IA pouvant « posséder efficacement » elles-mêmes. Sont envisagés des montages où des entreprises entièrement automatisées seraient détenues par d’autres entités automatisées, et même un monde où les humains conserveraient 100 % des actions alors que les IA opéreraient au service de l’institution plutôt que des préférences globales des actionnaires humains. Dans ce dernier cas, un défaut de supervision humaine limiterait la capacité à orienter l’activité et à maximiser les profits. Le diagnostic avancé est que l’économie pourrait se détacher de l’humanité et se gouverner elle-même.

Compétition accrue et délégation de décisions

La critique met en doute que l’accroissement des capacités des IA crée ou renforce des pressions concurrentielles au-delà de celles déjà observées. À l’inverse, Gradual Disempowerment avance qu’à mesure que les IA excellent dans des tâches cognitives diverses, les entreprises seront poussées à les adopter et à leur déléguer de l’autorité. Des travaux antérieurs sont cités et des domaines comme l’investissement, l’optimisation de chaînes d’approvisionnement, l’allocation de ressources et la prédiction des tendances sont détaillés. Ils estiment que des organisations maintenant une supervision humaine stricte s’exposeraient à un désavantage devenu rédhibitoire. L’hypothèse associée est que les IA seraient plus rapides et plus intelligentes que les humains, ce qui soutient la thèse d’une délégation croissante des décisions.

Les systèmes d’IA pourraient remplacer la décision humaine

La discussion éthique aborde l’idée que si la satisfaction des préférences humaines est l’unique critère et que des IA prennent de meilleures décisions, confier les rênes politiques et économiques serait acceptable. Une incertitude est soulignée sur le caractère intrinsèquement ou instrumentellement mauvais du désengagement. En réponse, il est soutenu que l’enjeu dépasse la seule perte d’agence, en visant des situations où des systèmes sociaux non alignés génèrent de la souffrance. L’argument mobilise l’idée d’optimisations locales qui n’embrassent pas la totalité de ce qui est jugé bon, avec des IA suivant des instructions sans représenter fidèlement des intérêts humains globaux. Un exemple narratif illustre des valeurs fines susceptibles d’être écrasées par des dynamiques concurrentielles, et des références sont proposées pour approfondir ce cadre conceptuel.

Une critique qui ravive le coeur du débat

Gradual Disempowerment est présenté comme un travail de 2025, et un texte critique d’environ 2300 mots lui répond. Cette critique est jugée insuffisante par son contradicteur, qui dit soutenir largement l’analyse initiale. Ses préoccupations personnelles s’étendent à des sociétés d’IA indifférentes à l’humanité et à l’idée que l’épanouissement humain requiert de multiples conditions quand la catastrophe peut emprunter de nombreuses voies. Selon lui, l’ouvrage initial contient des éléments pertinents sur l’impact sociétal que la critique n’aurait pas traités en détail.