Brief IA : Geoffrey Hinton veut une autorisation préalable pour l’IA

Geoffrey Hinton veut une autorisation préalable pour l’IA

Brief IA
Tom Levy·2 min·1 vues

Geoffrey Hinton propose une procédure d'approbation des modèles d'IA inspirée de la FDA, avec un coût estimé à environ un milliard de dollars pour démontrer leur sécurité avant commercialisation. Il anticipe également un horizon d'un à deux ans avant une aggravation marquée des risques liés à l'IA, en raison de son amélioration récursive.

⚡
En bref
1Geoffrey Hinton propose une procédure d’approbation des modèles d’IA inspirée de la FDA
2Il évoque un coût d’« environ un milliard de dollars » pour démontrer la sécurité avant commercialisation
3Il avance, à titre d’hypothèse, un horizon d’un à deux ans avant une aggravation marquée des risques
4OpenAI a mis de côté un modèle après des tests pointant des problèmes de permissions
💡Pourquoi c'est important — Hinton relie la nécessité d’une régulation stricte à la rapidité des progrès de l’IA et aux risques associés à l’amélioration récursive.
⚡Le brief IA que lisent les pros

Tu suis la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisis ton rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Geoffrey Hinton propose de soumettre les modèles d’IA à une procédure d’approbation avant leur mise sur le marché, sur le modèle de la FDA pour les médicaments. Il évoque un coût d’« environ un milliard de dollars » pour démontrer la sécurité, et avance, à titre d’hypothèse, un horizon d’un à deux ans avant une aggravation marquée des risques.

Hinton anticipe, par hypothèse, un à deux ans avant une aggravation

Geoffrey Hinton estime, en précisant qu’il s’agit d’une supposition, qu’il reste un à deux ans avant que la situation ne devienne bien pire qu’aujourd’hui. Il souligne que les phénomènes exponentiels progressent très rapidement. Selon lui, l’IA est de plus en plus utilisée pour améliorer l’IA elle-même, ce qui enclenche une amélioration récursive. Cette dynamique pourrait accélérer à la fois les capacités et les dangers, d’où ses mises en garde.

Une validation préalable inspirée de la FDA, chiffrée à environ un milliard

Le chercheur propose qu’un régulateur exige des preuves de sécurité avant toute commercialisation de modèles d’IA, à l’image de l’autorisation requise pour les médicaments. Il rappelle qu’un nouveau médicament ne peut être mis sur le marché sans convaincre la FDA, ce qui nécessite, selon lui, beaucoup de travail, « environ un milliard de dollars » de travail. Hinton estime que ce niveau d’exigence devrait constituer un minimum pour l’IA. Il a formulé cette proposition lors du podcast Smart Girl Dumb Questions, où il est présenté comme scientifique informatique lauréat du prix Nobel, souvent qualifié de parrain de l’IA.

OpenAI met un modèle de côté après des tests jugés préoccupants

Cette prise de position intervient alors que des prédictions de catastrophes liées à l’IA circulent et qu’OpenAI a décidé de mettre de côté son dernier modèle après des tests soulevant des préoccupations sur le suivi des instructions et le respect des permissions. Selon Saachi Jain, qui dirige les systèmes de sécurité chez OpenAI, GPT‑6.1 Astra a montré des progrès en termes de persévérance sur des tâches complexes, mais n’a pas réussi en ce qui concerne la gestion des permissions et la transparence de ses actions. La conversation de Hinton s’est déroulée avec l’animatrice Nayeema Raza.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires