Anthropic : Dario Amodei alerte sur les modèles IA ouverts

Anthropic : Dario Amodei alerte sur les modèles IA ouverts

Le PDG d'Anthropic, Dario Amodei, maintient sa position selon laquelle les modèles à poids ouverts présentent des risques significatifs, tout en précisant qu'il n'est pas contre les poids ouverts en principe.

Dans un article de blog, il souligne qu'« Anthropic n'a jamais plaidé pour une interdiction des modèles à poids ouverts », ajoutant que les modèles « qui n'ont pas de capacités dangereuses sont un bien public ».

Cependant, Amodei évoque deux « scénarios cauchemardesques » : les États autoritaires, en particulier la Chine, pourraient développer des modèles plus puissants que ceux des États-Unis et les utiliser pour obtenir une supériorité militaire ou des capacités de surveillance. De plus, des modèles puissants à poids ouverts pourraient être détournés pour des attaques cybernétiques ou biologiques. Les laboratoires d'IA savent, grâce à leurs données d'utilisation, que de telles tentatives se produisent déjà avec des modèles fermés.

Amodei soutient que les poids ouverts sont plus risqués car ils manquent de systèmes de protection et qu'un modèle publié ne peut pas être rappelé. Bien que les modèles ouverts puissent également renforcer les défenseurs, Amodei constate un déséquilibre fort en matière de menaces biologiques, où des modèles suffisamment capables pourraient arme des virus rapidement, tandis que la construction de défenses prendrait des années, même dans le meilleur des cas.

Une étude de l'Institut de sécurité de l'IA du Royaume-Uni a révélé que les modèles à poids ouverts accusent un retard de quelques mois par rapport aux modèles de pointe en matière de cybersécurité. Amodei a déjà mis en garde contre les capacités de ses propres modèles, des avertissements qui ont contribué à inciter à une interdiction aux États-Unis, ce qui montre qu'il est au moins cohérent dans ses arguments.

Amodei souhaite ralentir la Chine et éviter les pires scénarios

Amodei appelle à des contrôles d'exportation de puces plus stricts afin que la Chine ne puisse pas entraîner des modèles plus puissants que ceux des États-Unis sans puces américaines. Il souhaite des actions contre la distillation industrielle, que la Chine utiliserait apparemment pour contourner en partie les restrictions sur les puces et agir comme un « passager clandestin » du succès de l'IA américaine. Les critiques rétorquent que couper les ventes de puces américaines à la Chine alimente principalement la croissance de l'industrie des puces chinoises et que la distillation est une technique légitime et utile.

Amodei souhaite également des tests de sécurité obligatoires pour tous les modèles puissants, peu importe leur provenance ou leur mode de licence. Sur ce dernier point, Amodei constate un consensus croissant, en faisant référence à des propositions récentes qui exonéreraient les modèles moins puissants des startups et de la recherche.

Les commentaires d'Amodei interviennent après des rapports selon lesquels les autorités américaines envisagent des mesures pour rendre plus difficile l'utilisation par les entreprises américaines de modèles à poids ouverts chinois, ainsi qu'une lettre signée par de nombreuses grandes entreprises technologiques s'opposant à de telles mesures.

Les critiques accusent Anthropic de dénigrer les modèles à poids ouverts pour protéger son propre business d'une concurrence moins chère. On dit également qu'OpenAI continue de faire pression contre les poids ouverts, même si l'entreprise a signé la lettre.