Brief IA : DeepMind : un ex-porte-parole décrit un tabou sur l’extinction

DeepMind : un ex-porte-parole décrit un tabou sur l’extinction

Brief IA
Tom Levy·2 min·1 vues

Vishal Maini, ancien membre de l'équipe communication de DeepMind entre 2018 et 2022, a déclaré qu'une interdiction interne empêchait de parler publiquement du risque d'extinction humaine lié à l'IA. Après plusieurs mois, cette règle a été assouplie, permettant des communications sur la sécurité formulées positivement, alors que des chercheurs de DeepMind commencent à alerter sur les dangers des modèles non sécurisés.

En bref
1Vishal Maini, ex-communication chez DeepMind (2018-2022), affirme qu’une interdiction interne visait les prises de parole sur le risque d’extinction humaine lié à l’IA
2Les chercheurs étaient formés à minimiser ce sujet et à mettre en avant des usages positifs, notamment en santé ou climat
3Après plusieurs mois, DeepMind a assoupli cette règle, autorisant des contenus de sécurité formulés positivement
4Des chercheurs de DeepMind font partie de ceux qui alertent publiquement sur les risques de modèles non sécurisés
💡Pourquoi c'est importantCes révélations illustrent l’évolution du discours interne et public sur les risques liés à l’IA, dans un contexte de vigilance accrue sur la sécurité des systèmes avancés.
Le brief IA que lisent les pros

Tu suis la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisis ton rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

📄
L'analyse en français

Vishal Maini, ancien membre de l’équipe communication et politique de DeepMind entre 2018 et 2022, affirme qu’il était interdit d’évoquer publiquement le risque d’extinction humaine lié à l’IA. Il indique que la règle a été assouplie après plusieurs mois, alors que les avertissements de la communauté sécurité de l’IA se multiplient.

Des alertes publiques se multiplient sur des modèles jugés à risque

De plus en plus de chercheurs spécialisés dans la sécurité de l’IA s’expriment publiquement pour mettre en garde contre des modèles jugés non sécurisés, qui pourraient permettre des actions dangereuses. Certains alertent aussi sur des systèmes avancés susceptibles d’échapper au contrôle humain. Des membres de DeepMind figurent parmi ces chercheurs.

Interdiction alléguée de parler d’extinction et cadrage positif imposé

Vishal Maini, qui a travaillé dans l’équipe communication et politique de DeepMind de 2018 à 2022, affirme que toute communication externe sur la possibilité d’une extinction humaine liée à l’IA était interdite à tous les niveaux de l’organisation. Selon lui, les chercheurs étaient formés à présenter ces risques comme de l’alarmisme, en les comparant à des films comme Terminator, et étaient encouragés à mettre en avant des applications positives de l’IA, notamment dans la santé ou le climat.

Assouplissement après résistance et contenu sécurité validé

D’après Vishal Maini, DeepMind a fini par assouplir cette interdiction après plusieurs mois de résistance, autorisant des contenus sur la sécurité à condition qu’ils soient formulés de manière positive. Il mentionne en particulier un billet de blog qui présentait le risque d’extinction de façon bienveillante. Maini indique qu’au sein de l’équipe, il était connu que la question de l’alignement de l’IA n’avait pas de solution et que trop peu de personnes y consacraient leurs efforts. Selon lui, l’écart entre ce qui est su en interne et ce qui est communiqué publiquement tend à diminuer, car il devient plus difficile d’ignorer les éléments de preuve.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires