OpenAI et le Pentagone : un accord sur l'IA qui soulève des doutes

OpenAI et le Pentagone : un accord controversé

Dans une série d'événements récents, OpenAI a conclu un accord avec le Pentagone pour le déploiement d'une intelligence artificielle classifiée. Sam Altman, PDG d'OpenAI, a affirmé que cet accord intègre des principes de sécurité cruciaux, notamment l'interdiction de la surveillance de masse et des armes autonomes. Altman a souligné que l'implication humaine dans les décisions automatisées à enjeux élevés est essentielle, et ces principes ont été intégrés dans le contrat avec le Département de la Défense (DoD).

Anthropic et le Pentagone : un contrat résilié

Pendant ce temps, Anthropic, une autre entreprise de technologie de l'IA, a vu son contrat avec le Pentagone résilié. La raison invoquée est le refus d'Anthropic de modifier son accord pour permettre "toute utilisation légale" de sa technologie, y compris pour la surveillance de masse et les armes autonomes. Le Pentagone a également menacé de désigner Anthropic comme un "risque pour la chaîne d'approvisionnement", une mesure généralement réservée aux entreprises associées à des adversaires étrangers.

Les déclarations de Sam Altman

Vendredi matin, un rapport du Wall Street Journal par Hagey a révélé qu'Altman avait envoyé un mémo au personnel d'OpenAI, affirmant qu'il établirait les mêmes "lignes rouges" qu'Anthropic. Altman a écrit : "Nous avons longtemps cru que l'IA ne devrait pas être utilisée pour la surveillance de masse ou les armes létales autonomes, et que les humains devraient rester impliqués dans les décisions automatisées à enjeux élevés. Ce sont nos principales lignes rouges."

Accord avec le Pentagone

Vendredi soir, Altman a annoncé sur X qu'OpenAI avait conclu un accord avec le Pentagone, affirmant que les mêmes lignes rouges étaient désormais intégrées dans le contrat. Altman a déclaré : "Deux de nos principes de sécurité les plus importants sont l'interdiction de la surveillance de masse domestique et la responsabilité humaine pour l'utilisation de la force, y compris pour les systèmes d'armes autonomes. Le DoD s'accorde avec ces principes, les reflète dans la loi et la politique, et nous les avons intégrés dans notre accord."

Réactions et scepticisme

La revendication d'Altman a immédiatement été mise sous surveillance. Des doutes ont émergé quant à la rapidité avec laquelle OpenAI aurait obtenu des concessions du Pentagone, alors qu'Anthropic n'avait pas réussi. Était-il possible que les mêmes responsables du Pentagone qui s'opposaient à l'idée qu'une entreprise privée tente d'exercer un contrôle sur l'armée fassent maintenant une exception pour OpenAI ? Le public était-il maintenant, comme Mira Murati et Ilya Sutskever avant eux, piégé dans le piège familier d'Altman qui commence par lui dire ce qu'il veut entendre ?

Réactions en ligne

Notamment, peu semblaient accorder à Altman le bénéfice du doute. Le post le plus populaire sur le subreddit de ChatGPT au cours de la semaine passée était intitulé "Vous entraînez maintenant une machine de guerre. Voyons la preuve de l'annulation" ; il a reçu plus de 32 000 votes positifs. Des posts similaires dans ce forum et le subreddit d'OpenAI ont également reçu des dizaines de milliers de votes positifs ; la société a également été critiquée longuement sur Hacker News.

Révélations supplémentaires

Au fur et à mesure que le week-end avançait, des reportages supplémentaires suggéraient que le cynisme instinctif déclenché par l'accord d'OpenAI était justifié. Dans The Verge, Hayden Field a rapporté qu'à l'inverse des déclarations publiques d'OpenAI — et en accord avec le cadre de l'armée concernant ses exigences — l'accord de la société avec le Pentagone comprend moins de restrictions que celui qu'Anthropic avait proposé. Elle écrit :

• Une source familière avec les négociations du Pentagone avec les entreprises d'IA a confirmé que l'accord d'OpenAI est beaucoup plus souple que celui qu'Anthropic tentait d'obtenir, grâce en grande partie à trois mots : "toute utilisation légale".
• Lors des négociations, la personne a déclaré que le Pentagone ne voulait pas céder sur son désir de collecter et d'analyser des données massives sur les Américains.
• Si l'on examine les termes d'OpenAI ligne par ligne, chaque aspect revient à : si c'est techniquement légal, alors l'armée américaine peut utiliser la technologie d'OpenAI pour le réaliser.

Conséquences pour la surveillance

Et au cours des dernières décennies, le gouvernement américain a élargi la définition de "techniquement légal" pour couvrir des programmes de surveillance de masse — et plus encore. OpenAI pourrait être en mesure de bloquer partiellement les efforts de l'armée pour mener une surveillance domestique en construisant des classificateurs et en mettant en œuvre d'autres mesures de sécurité au niveau du modèle, comme elle l'a déclaré qu'elle le ferait. Et pourtant, il est essentiel que ces engagements soient surveillés de près pour garantir leur respect.