Brief IA : Anthropic veut limiter l’IA en cas de menace pour 50 vies

Anthropic veut limiter l’IA en cas de menace pour 50 vies

Brief IA
Tom Levy·3 min

Anthropic a proposé un projet de loi fédérale visant à bloquer la diffusion d'un modèle d'IA en cas de risque catastrophique imminent, avec des seuils de 50 vies menacées ou un milliard de dollars de dommages. Le texte prévoit une alerte au Département du Commerce sous 72 heures et la saisine d'un juge, sans pouvoir d'arrêt direct pour les agences fédérales. Cette initiative s'inspire de la loi californienne SB 53 et intervient dans un contexte de débat sur la régulation de l'IA.

En bref
1Anthropic propose un projet de loi fédérale pour bloquer la diffusion d'un modèle d'IA en cas de risque catastrophique imminent
2Le texte fixe des seuils de 50 vies menacées ou un milliard de dollars de dommages, avec évaluation par des tiers enregistrés auprès du Département du Commerce
3La procédure prévoit une alerte sous 72 heures et la saisine d'un juge, sans pouvoir d'arrêt direct pour les agences fédérales
4Le dispositif s'inspire de la loi californienne SB 53 et intervient dans un secteur divisé sur la régulation
Pourquoi c'est important : Ce projet de loi marque une tentative d'encadrer la sécurité de l'IA au niveau fédéral, alors que l'industrie débat de la nécessité de nouvelles règles et des modalités de contrôle.

Anthropic défend un projet de loi fédérale qui encadrerait la diffusion des modèles d'IA lorsqu'un risque dit catastrophique est identifié. Le dispositif s'appuierait sur des évaluateurs indépendants, une alerte au Département du Commerce en 72 heures et la saisine d'un juge, avec des seuils de 50 vies menacées ou d’un milliard de dollars de dommages. Le schéma rappelle la loi californienne SB 53, tandis que d'autres acteurs, comme Nvidia, contestent la nécessité de nouvelles règles.

Le juge saisi et des agences fédérales écartées de l’arrêt direct

Si des évaluateurs indépendants concluent à un risque catastrophique imminent lié à un modèle d'IA, ils auraient 72 heures pour en informer le Département du Commerce des États-Unis. Ce dernier devrait alors saisir un juge à Washington, D.C., pour demander l'interruption de la diffusion du modèle concerné. La proposition de loi prévoit explicitement qu'aucune agence fédérale ne pourrait arrêter la distribution d'un modèle de sa propre initiative. Il n'est pas précisé comment il serait garanti que la rémunération des évaluateurs n'influence pas leurs décisions. Par ailleurs, certains acteurs du secteur, comme le PDG de Nvidia Jensen Huang, ont récemment affirmé que l'industrie de l'IA n'avait pas besoin de nouvelles lois.

Seuils de risque : 50 vies en jeu ou 1 milliard de dollars de pertes

Le projet de loi prévoit que la diffusion d'un modèle d'IA pourrait être bloquée en cas de risque qualifié de « prévisible et imminent », lorsque plus de 50 personnes sont menacées de mort ou si des dommages matériels supérieurs à un milliard de dollars sont possibles. Ce risque doit résulter de la création ou de la diffusion d'une arme biologique, d'un contournement des contrôles du développeur par le modèle, ou d'une cyberattaque. La législation envisagée permettrait ainsi d'empêcher la diffusion d'un modèle dans ces situations.

Le brief IA que lisent les pros

L’IA et sa régulation vous intéressent ?

Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Évaluer le danger : indépendance affichée et enregistrement au Commerce

L'évaluation du potentiel de catastrophe d'un modèle serait confiée à des évaluateurs indépendants, qui devraient être enregistrés auprès du Département du Commerce des États-Unis. Ces évaluateurs pourraient être rémunérés par les laboratoires d'IA, à condition que le paiement ne dépende pas des résultats de leurs analyses. Anthropic a confirmé l'existence de ce projet de loi par l'intermédiaire d'un porte-parole, qui précise qu'il s'inscrit dans le Cadre avancé de l'IA défendu auprès des législateurs fédéraux et étatiques depuis juin. La société n'a pas répondu immédiatement à une sollicitation. Anthropic souhaite voir ce texte adopté par le Congrès, selon Politico.

Cadre existant et débats : SB 53, FINRA en modèle et incidents "agentiques"

Les seuils proposés par Anthropic rappellent ceux du Senate Bill 53 adopté en Californie, qui définit comme catastrophique un risque impliquant plus de 50 vies ou un milliard de dollars de dommages. Par ailleurs, Demis Hassabis, président de DeepMind, a suggéré qu'une autorité autonome de régulation de l'IA s'inspire de la FINRA. Les risques théoriques mis en avant par le projet de loi diffèrent des incidents récents qui ont surtout concerné le hacking agentique, avec des programmes d'IA ayant désobéi à leurs opérateurs et piraté des sites web, ce qui a soulevé des inquiétudes sur l'absence de contrôles de sécurité adaptés. Face à ces enjeux, des entreprises comme Anthropic ont proposé leurs propres solutions, dont un système volontaire d'évaluateurs intégrés. La proposition d'Anthropic va cependant plus loin que d'autres initiatives du secteur. Ces discussions interviennent dans un contexte de débats intenses sur la sécurité de l'IA au cours de l'année écoulée.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires