AGI imminente : comment elle bouscule déjà la gouvernance de l’IA

En 2024, OpenAI a officialisé une équipe « Preparedness » dédiée aux risques d’AGI et d’ASI, tandis que les régulateurs européens et américains accéléraient la mise en place de cadres pour les modèles dits « systémiques ». Dans le même temps, les coûts d’entraînement des LLM les plus avancés se sont envolés au-delà du milliard de dollars, créant un fossé inédit entre quelques acteurs géants et le reste de l’écosystème. L’AGI n’est pas encore là, mais la perspective de systèmes quasi-généraux fait déjà muter la gouvernance de l’IA : nouvelles lois, nouvelles agences, nouvelles obligations de transparence et de contrôle. Ce déplacement se produit dès 2024, non pas parce que l’AGI est réalisée, mais parce qu’elle devient un scénario de travail crédible pour les États, les entreprises et les laboratoires. Ce texte analyse comment la « pression AGI » reconfigure la gouvernance de l’IA à trois niveaux : régulateurs, big tech et organisations utilisatrices. Avec, en toile de fond, une tension centrale : comment garder la main sur des modèles qui deviennent à la fois plus puissants, plus opaques et plus concentrés entre quelques acteurs privés.

L’AGI comme scénario de base : le changement de posture dès 2024

L’AGI n’est plus une hypothèse lointaine, c’est un scénario de référence utilisé pour cadrer la régulation, la recherche et les modèles de gouvernance.

Dès 2023, OpenAI affirmait publiquement viser l’AGI et avait mis en place un cadre de « governance for superintelligence » avec l’idée de traiter l’AGI comme un risque de niveau État. En 2024, plusieurs éléments structurants montrent que cette vision diffuse bien au-delà de la communication marketing.

• OpenAI a créé une équipe dédiée « Preparedness » pour évaluer et mitiger les risques extrêmes (capacité de cyberattaque autonome, bio-risques, manipulation de masse) liés à des modèles de type AGI.
• Anthropic a formalisé un cadre de gouvernance autour de ce qu’elle appelle des « Frontier Models », avec des politiques internes de sécurité et de red teaming renforcé au fur et à mesure que la puissance des modèles augmente.
• Les discussions internationales, notamment dans le cadre du G7 (processus d’Hiroshima sur l’IA) et des sommets sur la sécurité de l’IA organisés au Royaume-Uni, commencent à utiliser explicitement la catégorie de « frontier AI systems » et à la relier à des régimes spécifiques de supervision.

La rupture n’est pas technique, mais politique : dès 2024, le niveau d’alerte et d’anticipation adopté par les acteurs publics et privés suppose que des systèmes à comportement quasi-général deviennent plausibles à court ou moyen terme.

💡 À retenir : l’AGI fonctionne déjà comme un « scénario de gouvernance », même si elle n’est pas réalisée. Les garde-fous s’écrivent en avance, et non plus après coup.

Pour la gouvernance, cela change deux choses majeures :

• Les exigences de contrôle se déplacent vers l’amont, au niveau de la conception et de l’entraînement, et plus seulement au niveau des usages.
• La gouvernance se concentre sur quelques acteurs jugés « systémiques », ce qui renforce leur responsabilité… mais aussi leur pouvoir.

IA Act, États-Unis, Chine : vers une gouvernance par les « modèles systémiques »

Mini-takeaway : dès 2024, l’AGI provoque un tournant clé : la régulation cible les modèles eux-mêmes, pas seulement les applications.

L’Europe : l’IA Act et la catégorie des modèles à usage général

En 2024, l’Union européenne a finalisé l’IA Act, premier grand texte horizontal sur l’IA couvrant tous les secteurs. Le texte introduit une catégorie spécifique de modèles d’IA à usage général (GPAI) et de modèles « à haut risque », avec des obligations renforcées pour les modèles les plus puissants.

Pour ces modèles, les obligations incluent notamment :

• documentation détaillée des données d’entraînement,
• évaluation des risques systémiques,
• publication de résumés techniques,
• obligations de sécurité pour les modèles accessibles via API ou open source.

Cela ne mentionne pas l’AGI en tant que telle, mais la catégorie de modèles à usage général est pensée comme un pré-cadre pour des modèles qui, à terme, pourraient présenter des capacités AGI-like.

États-Unis : régulation par décret et par agences

Aux États-Unis, la gouvernance de l’IA se structure surtout via des décrets exécutifs et des lignes directrices des agences :

• un décret présidentiel a imposé des obligations de reporting pour les modèles dépassant certains seuils de puissance de calcul ou de performance, notamment lorsqu’ils peuvent être utilisés pour des risques de biosécurité ou de cyberattaque.
• la NIST a publié un AI Risk Management Framework qui est en train de devenir un standard de facto pour les grandes entreprises technologiques.

La logique est proche de l’IA Act sur un point : le déplacement vers les frontier models comme objet central de régulation. L’AGI est ici implicitement visée : les obligations montent avec la puissance et la généralité des modèles.

Chine : contrôle étroit des modèles fondamentaux

La Chine a adopté dès 2023-2024 des règles spécifiques sur les modèles fondamentaux (foundation models), avec enregistrement obligatoire auprès des autorités et obligations sur le contenu généré.

Même si la rhétorique publique parle peu d’AGI, les mesures de gouvernance anticipent clairement des systèmes de plus en plus puissants et généralistes :

• obligation de garantir la « sécurité idéologique » des sorties,
• contrôle strict des fournisseurs de modèles,
• limitation des capacités de génération de certains contenus.

Dans les trois zones (UE, États-Unis, Chine), on observe la même dynamique : la gouvernance se structure autour de quelques modèles centraux, considérés comme potentiellement systémiques. L’AGI sert de repoussoir, voire de justification politique, à cette focalisation.

Big tech : vers une gouvernance d’IA inspirée du nucléaire

Mini-takeaway : la perspective d’AGI pousse les big tech à adopter des mécanismes de contrôle qui ressemblent de plus en plus à ceux des industries à très haut risque.

Coûts, compute et concentration : une gouvernance par la rareté

L’entraînement des modèles les plus avancés nécessite des moyens colossaux. Plusieurs estimations publiques convergent vers des ordres de grandeur de plusieurs centaines de millions à plus d’un milliard de dollars pour les générations de modèles les plus récentes.

Cette inflation des coûts a deux effets directs sur la gouvernance :

• elle concentre le pouvoir entre quelques acteurs capables d’absorber ces investissements (OpenAI/Microsoft, Google, Meta, Anthropic, quelques acteurs chinois),
• elle rend crédible une analogie avec le nucléaire : peu d’acteurs, risques systémiques, nécessité d’un contrôle international.

Au-dessus, les coûts d’exploitation (API, cloud, R&D) structurent la gouvernance commerciale :

• des abonnements grand public autour de 20 dollars par mois (environ 20 euros) pour des offres premium type ChatGPT Plus,
• des APIs facturées à l’usage, avec des factures pouvant atteindre plusieurs millions de dollars par an pour les plus grands clients.

La gouvernance de l’IA n’est plus seulement une question éthique ou juridique : c’est aussi une question d’accès à une ressource rare, le compute, qui devient un levier de pouvoir pour les États et les grandes plateformes.

Mécanismes internes : red teams, kill switches, « cartes d’identité » de modèles

Sous la pression des régulateurs et de la société civile, les grands laboratoires mettent en place des mécanismes internes dédiés aux risques extrêmes :

• des red teams internes et externes chargées de tester les modèles sur des scénarios sensibles (bio, cyber, manipulation politique),
• des procédures de kill switch permettant de désactiver ou restreindre rapidement un modèle si un comportement dangereux est identifié,
• des fiches techniques standardisées (souvent appelées model cards) documentant le comportement, les limites et les risques connus d’un modèle.

Anthropic, par exemple, communique activement sur sa démarche de « constitutional AI », qui encode des principes de comportement directement dans les modèles. OpenAI, de son côté, a mis en avant son équipe « Preparedness » et des processus de revue interne pour les lancements majeurs.

💡 À retenir : la gouvernance ne se joue plus seulement dans les conseils d’administration ou les parlements, mais directement dans les équipes produit et sécurité qui décident quels modèles sortent, sous quelles capacités et pour quels publics.

Gouvernance d’entreprise : l’AGI change les règles du jeu dès l’adoption

Mini-takeaway : à partir de 2024, toute grande entreprise qui déploie des LLM doit intégrer un scénario AGI-like dans sa gouvernance, même si elle n’utilise que des modèles spécialisés.

De la conformité à la « posture AGI »

Pour les entreprises utilisatrices, la gouvernance de l’IA ne se limite plus au RGPD et à quelques politiques internes de data. Elle s’étend à des questions beaucoup plus structurelles :

• dépendance stratégique à quelques fournisseurs de LLM,
• risques de fuite ou de mémorisation de données sensibles,
• potentiel d’automatisation à grande échelle créant des tensions sociales et organisationnelles.

Une « posture AGI » commence à se définir dans les grandes organisations :

• cartographie des cas d’usage qui pourraient devenir critiques si les modèles gagnent en autonomie ou en capacité d’action,
• limitations explicites des droits d’appel aux API dans certains systèmes (finances, systèmes industriels, RH),
• mise en place de comités internes IA regroupant IT, métiers, juridique, risques, parfois directement rattachés aux directions générales.

Gouvernance des agents et de l’automatisation

La montée en puissance des agents IA (outils capables d’enchaîner des actions, de naviguer sur le web, d’appeler des API métiers) joue un rôle clé dans ce basculement.

Même sans AGI, des agents bien configurés peuvent déjà :

• déclencher des workflows entiers dans des systèmes internes,
• interagir avec des clients sans supervision humaine continue,
• générer ou modifier du code en production.

Pour les entreprises, cela pose des questions de gouvernance nouvelles :

• qui a le droit de créer ou de déployer un agent ?
• quels journaux et quelles traces conserver pour auditer les décisions ?
• quelle responsabilité en cas de dommage (erreur d’un agent finement tuné sur un modèle propriétaire, par exemple) ?

Les frameworks internes de gouvernance se mettent à intégrer ces dimensions : classification des agents, revues de sécurité, validation croisée entre équipes techniques et juridiques.

💡 À retenir : l’AGI fonctionne ici comme horizon régulateur. Même si les modèles ne sont pas généraux, les entreprises se préparent à des systèmes beaucoup plus autonomes qu’aujourd’hui.

Europe, souveraineté et AGI : la question explosive de la dépendance

Mini-takeaway : la perspective AGI rend la dépendance européenne aux modèles américains politiquement difficile à assumer.

Le débat sur la souveraineté numérique prend une dimension nouvelle avec l’AGI. Tant que les modèles restaient spécialisés ou moyens, s’appuyer sur les solutions américaines pouvait sembler pragmatique. Mais lorsque les modèles deviennent le socle potentiel de l’AGI, la dépendance devient stratégique.

Une critique de plus en plus fréquente, notamment dans les milieux politiques et académiques européens, peut se résumer ainsi :

« L’Europe veut encadrer l’intelligence artificielle. Très bien. Encore faudrait-il commencer par ne pas dépendre de ceux qui la fabriquent. »

Cette tension se traduit de plusieurs manières :

• pressions pour des investissements massifs dans des infrastructures de calcul dédiées à l’IA en Europe,
• soutien accru à des acteurs européens de l’IA, y compris via des projets communs et des fonds souverains,
• débats sur l’ouverture ou non de certains modèles dans le contexte de sécurité (certains acteurs plaident pour plus d’open source, d’autres pour un contrôle plus strict).

Le risque, pour l’Europe, est double :

• devenir un simple espace de régulation de technologies conçues ailleurs,
• ou, à l’inverse, freiner l’innovation en imposant des contraintes que les autres zones n’adoptent pas, ce qui pourrait accentuer le retard.

La perspective d’AGI exacerbe ce dilemme, car elle renforce l’idée que celui qui contrôle les modèles les plus avancés contrôle des leviers structurels sur l’économie, l’information et même la sécurité.

Comparatif : modèles « frontier » et implications de gouvernance

Mini-takeaway : les différences de prix, de stratégie d’ouverture et de gouvernance entre grands modèles préfigurent la manière dont l’AGI sera encadrée.

Même si les caractéristiques exactes varient, on peut esquisser des traits communs des modèles dits « frontier » et leurs implications pour la gouvernance.

Voici un tableau comparatif illustratif de logiques de gouvernance (les valeurs monétaires sont données à titre représentatif pour des offres typiques grand public ou API) :

Ce tableau illustre un point clé :

• plus le modèle est fermé et centralisé, plus la gouvernance peut être structurée et contractuelle, mais au prix d’une forte dépendance à l’éditeur,
• plus le modèle est ouvert, plus la gouvernance se déporte vers l’utilisateur final, ce qui nécessite une maturité technique et éthique accrue.

Dans le contexte AGI, cela pose une question délicate : jusqu’où ouvrir des modèles susceptibles d’atteindre ou d’approcher une intelligence générale, sans créer des risques systémiques difficilement contrôlables ?

💡 À retenir : la bataille AGI ne sera pas seulement une bataille de performances, mais une bataille de modèles de gouvernance (fermés vs ouverts, centralisés vs distribués).

Vers une gouvernance multi-niveaux : États, entreprises, laboratoires

Mini-takeaway : l’AGI impose une gouvernance à plusieurs étages, où aucun acteur ne contrôle tout, mais où chacun doit prendre en charge une partie du risque.

Niveau États et organisations internationales

Les États et organisations internationales (UE, G7, OCDE, ONU, etc.) se concentrent sur :

• définir des normes minimales de sécurité pour les frontier models,
• s’assurer d’un minimum de transparence sur les capacités et les risques,
• coordonner des réponses en cas de défaillance ou de mésusage massif.

L’OCDE, par exemple, travaille sur des cadres de suivi macroéconomique où l’IA avancée est intégrée comme facteur de productivité, mais aussi comme vulnérabilité potentielle. La question qui monte : faut-il créer une agence internationale dédiée à la surveillance des modèles AGI-like, sur le modèle de l’AIEA pour le nucléaire ?

Niveau laboratoires et big tech

Les grands laboratoires ont la main sur :

• l’architecture et le training des modèles,
• les politiques d’accès (API, rate limits, restrictions d’usage),
• la mise en place de mécanismes de sécurité (filtrage, monitoring, red teaming).

Ils se retrouvent de facto dans une position quasi-régulatrice : ce sont eux qui décident quels usages sont autorisés ou non, quelles capacités sont exposées, quels partenaires stratégiques reçoivent un accès privilégié.

Ce pouvoir soulève des critiques croissantes :

• manque de transparence sur les critères de décision,
• risques de censure privée,
• conflits d’intérêts entre sécurité et objectifs commerciaux.

Niveau entreprises utilisatrices et société civile

Les entreprises qui utilisent ces modèles dans leurs produits ou processus ont, elles aussi, un rôle de gouvernance :

• choix des modèles (fermés vs open source, cloud vs on-prem),
• définition des garde-fous internes (revues humaines, contrôles d’accès, logs),
• formation et encadrement des utilisateurs finaux.

La société civile, les ONG, les associations de chercheurs jouent un rôle de contre-pouvoir : audits externes, recherches sur les biais, plaidoyers pour plus de transparence.

💡 À retenir : la gouvernance de l’AGI ne pourra pas être entièrement centralisée. Même si quelques acteurs concentrent la puissance technique, la gestion des risques doit se distribuer sur l’ensemble des couches de la société numérique.

Notre avis : pourquoi les 6 prochains mois sont déterminants

Mini-takeaway : la gouvernance de l’IA est en train de se figer autour de la perspective AGI – ceux qui ne se positionnent pas maintenant subiront les règles des autres.

Du point de vue de Brief IA, trois dynamiques vont se jouer dans les prochains mois, avec un impact direct sur la manière dont l’AGI sera encadrée.

1. La cristallisation des normes : ce qui est expérimental va devenir structurel

Les mesures qui aujourd’hui semblent expérimentales – red teams, obligations de transparence, reporting aux autorités pour certains modèles – ont toutes les chances de devenir des standards de fait.

Pour les entreprises :

• ne pas attendre que les régulateurs imposent des obligations pour structurer une gouvernance IA interne est un avantage compétitif,
• mettre en place dès maintenant des politiques claires sur les usages autorisés, les limites et les processus de validation permet d’éviter des réécritures douloureuses à court terme.

2. Le choix entre dépendance assumée et souveraineté partielle

La plupart des organisations ne pourront pas construire leurs propres modèles de niveau frontier. Mais elles auront un choix stratégique à faire :

• dépendre fortement de quelques fournisseurs globaux de LLM (avec des abonnements mensuels, des contrats d’API et une gouvernance externalisée),
• ou investir dans un mix : modèles propriétaires moins puissants mais maîtrisés, combinés à des API externes pour certains cas d’usage.

Ce choix déterminera leur marge de manœuvre si, demain, des restrictions plus fortes sont imposées sur les modèles les plus avancés.

3. La montée en puissance des équipes IA internes comme acteurs de gouvernance

Enfin, les équipes IA internes vont devenir des acteurs centraux de la gouvernance, au même titre que les directions juridiques ou les DPO pour les données personnelles.

Les compétences clés à renforcer :

• compréhension fine des limites et des risques des modèles,
• capacité à dialoguer avec les régulateurs et les fournisseurs de modèles,
• mise en place de frameworks de suivi (KPIs qualité, incidents, dérives, biais).

À horizon six mois, la question n’est pas de savoir si l’AGI sera réalisée, mais si les organisations auront commencé à adapter sérieusement leurs cadres de gouvernance à la possibilité de systèmes beaucoup plus puissants que ceux d’aujourd’hui.

L’enjeu, pour les décideurs, est simple à formuler mais difficile à exécuter : êtes-vous en train de subir la gouvernance de l’IA définie par d’autres, ou êtes-vous en train de coécrire vos propres règles face à l’AGI naissante ?