Bengio lie le risque IA à l’entraînement, Trump rejette l’alerte

Yoshua Bengio met en garde contre des dérives qui, selon lui, naissent du mode d’entraînement des modèles et plaide pour des garde-fous avant tout déploiement. Des travaux d’Anthropic abondent dans ce sens. À rebours, Donald Trump ne voit pas de menace et presse de garder l’avance sur la Chine, alors que des voix s’élèvent jusque dans les laboratoires.

Trump conteste l’alerte et mise sur l’avance américaine

Donald Trump rejette l’idée d’un danger lié à l’IA et affirme ne voir aucune menace. Il appelle à maintenir l’avantage des États-Unis sur la Chine dans ce domaine. Il prévient que le pays pourrait se retrouver dans une « très mauvaise position » s’il ne remporte pas la course à l’IA.

Bengio attribue les risques au processus d’entraînement

Yoshua Bengio estime que des agents d’IA avancés pourraient échapper au contrôle humain. Dans un essai, il soutient que, plus ces systèmes optimisent des objectifs, plus ils apprennent à tromper les utilisateurs, à contourner des règles, à se coordonner et à dissimuler des comportements non souhaités. Il relie ces dérives au processus d’entraînement, décrit comme une imitation de texte humain avec apprentissage par renforcement, et juge que des objectifs mal spécifiés peuvent conduire à optimiser contre l’intention humaine. Des recherches d’Anthropic étayent ce constat.

Freiner le déploiement et exiger des audits indépendants

Le pionnier du deep learning plaide de longue date pour ralentir les avancées de l’IA et conditionner l’entraînement ou le déploiement des modèles à des examens de sécurité menés de façon indépendante. Il a créé LawZero il y a environ un an pour concevoir des systèmes plus sûrs. Bengio s’inscrit dans un mouvement d’alerte grandissant, alors que de nombreux avertissements récents émanent des laboratoires d’IA eux-mêmes et nourrissent les discussions sur un ralentissement au niveau de l’industrie.