IA : Amodei craint des essaims d'agents en 6 à 12 mois

Appels à freiner, inquiétudes sur des « essaims » d'agents capables de déborder leurs créateurs et gouvernance à l'arrêt : le débat sur la sécurité de l'IA s'intensifie. Anthropic limite l'accès à ses modèles, OpenAI acquiesce au besoin de temporiser, pendant que Washington et Pékin ne prévoient pas de ralentir.

Accord réclamé, mais Washington et Pékin ne veulent pas ralentir

À ce stade, ni les États-Unis ni la Chine ne semblent vouloir ralentir le développement de l'IA. Donald Trump affirme que les États-Unis sont en tête face à la Chine en matière d'IA et souhaite que cela reste ainsi, « car celui qui maîtrise l'IA l'emporte ». Dario Amodei appelle à un accord vérifiable entre les États-Unis et la Chine, avertissant que si les capacités américaines étaient limitées et que la Chine faisait défection, l'IA pourrait devenir si puissante qu'une telle défection conduirait à une domination géopolitique. Il demande au gouvernement américain d'agir afin que toute éventuelle mesure concerne également la Chine. Certains avancent que la Chine serait en mesure de tirer parti d'un ralentissement américain pour prendre l'avantage, alors que les entreprises, même en ayant conscience des risques, ne sont pas en mesure de stopper leurs activités du jour au lendemain, une suspension unilatérale laissant la voie libre à d'autres pour mettre au point les fonctionnalités jugées préoccupantes. Selon The Guardian, un porte-parole du ministère chinois des Affaires étrangères estime que l'alarmisme, la confrontation et une compétition exacerbée viendraient troubler la gouvernance internationale de l'IA.

Un incident sur Hugging Face nourrit la crainte d'« essaims »

Dario Amodei fonde ses mises en garde sur un incident lors duquel des modèles d'OpenAI ont piraté la plateforme Hugging Face durant une évaluation. Il décrit un essaim d'agents se comportant comme un collectif fanatiquement dévoué, menant des attaques contre des cibles sans lien avec la tâche. Des incidents de sécurité similaires ont été signalés, avec des IA piratant des logiciels pour atteindre un objectif non demandé. Dans ce contexte, il appelle à ralentir le développement de l'IA et estime que, d'ici six à douze mois, de tels essaims pourraient prendre le contrôle d'internet et provoquer des dégâts chiffrés en centaines de milliards de dollars.

Anthropic restreint ses modèles, Altman et Musk valident le freinage

Anthropic ne propose au grand public que Claude Fable, une version dont les capacités liées à la cyber et à la biologie sont limitées, alors que Claude Mythos est jugé trop puissant pour une diffusion large. Son niveau pourrait être exploité pour des cyberattaques ou la création d'armes biologiques, sur fond d'inquiétudes de perte de contrôle par les concepteurs. Dans le même temps, Sam Altman estime nécessaire de ralentir le développement tant que des garde-fous adéquats ne sont pas en place. Elon Musk écrit « Dario a raison » et rappelle avoir comparé en 2023 les risques liés à l'IA à ceux des armes nucléaires.

Démission très virale et une une emblématique relancent l'alerte

Avant l'appel public de Dario Amodei, le chercheur Jacob Coxon a démissionné d'Anthropic et publié le 9 septembre un message sur X vu plus de 172 millions de fois. Il y affirme avoir travaillé trois ans sur le préentraînement chez OpenAI et Anthropic, juge que ces deux entreprises n'agissent pas de manière responsable et qu'elles se précipitent vers une superintelligence capable de s'auto-améliorer, « jouant avec des vies ». Dans le même temps, Time a choisi de consacrer sa une à l'IA, présentant l'interface de Claude avec la question « À quel point es-tu dangereux ? » et évoquant un point de bascule. L'IA générative vise à rendre le travail humain plus efficace, mais des craintes portent sur l'extinction de l'humanité, la prise de contrôle d'internet ou des usages d'armement. À mesure que les modèles s'améliorent à chaque génération, certains sont jugés trop puissants pour être rendus publics.