Un chatbot a failli déclencher une opération militaire américaine

Un rapport de renseignement erroné, généré par un chatbot, a conduit des avions américains à décoller avant une annulation in extremis. L'incident alimente les mises en garde sur les usages militaires de l'IA, entre promesse d'accélération décisionnelle et risque d'hallucinations en l'absence de supervision adéquate.

Des décisions potentiellement létales exigent des garde-fous, selon Jake Steckler

Jake Steckler, chercheur à GovAI et ancien officier de l'armée américaine, estime qu'il est essentiel que les militaires soient conscients de l'incertitude propre aux modèles de langage. Il considère cette vigilance particulièrement importante pour toute décision pouvant entraîner l'usage de la force, comme le ciblage, l'analyse de renseignement ou la planification opérationnelle, car ces choix peuvent avoir des conséquences de vie ou de mort. Steckler juge que l'incident doit inciter à renforcer les garanties entourant l'IA, plutôt qu'à s'en détourner. Selon lui, ces outils peuvent être utiles dans des contextes appropriés et avec des garde-fous adaptés. Il avertit qu'une adoption qui privilégierait uniquement la rapidité risquerait de provoquer des incidents susceptibles de faire perdre confiance aux militaires dans ces systèmes, ce qui ralentirait leur adoption. Plus largement, des responsables militaires et des experts externes s'inquiètent que des erreurs produites par l'IA puissent remonter la chaîne de commandement sans être remises en question. La rapidité de l'IA peut en effet favoriser des hallucinations si la supervision humaine est insuffisante.

Comment une synthèse automatisée a produit des faux renseignements

D'après CNN, l'origine des fausses informations se trouve chez un analyste du Commandement des opérations spéciales qui a eu recours à un chatbot d'intelligence artificielle pour fusionner des données issues de sources ouvertes avec des renseignements signalétiques classifiés. Le chatbot a produit une interprétation erronée du manifeste de cargaison du navire. Par la suite, l'analyste a de nouveau utilisé cet outil afin de présenter ces conclusions incorrectes sous la forme d'un résumé au format officiel, qui a ensuite circulé via les canaux de commandement. Pendant le conflit avec l'Iran, il a été avancé que le navire transportait des éléments destinés à un programme nucléaire militaire.

Vols déjà lancés, annulation in extremis et ambitions du Pentagone

CNN rapporte qu'au printemps, des avions militaires américains étaient déjà en vol lorsque la découverte d'une erreur d'origine a été faite. L'opération, qui visait un navire chinois sur la base de renseignements générés par un chatbot, a été annulée à la dernière minute, évitant de justesse un possible affrontement avec la Chine. Ce cas intervient alors que les forces armées américaines souhaitent adopter l'intelligence artificielle pour accélérer la prise de décision et conserver leur supériorité face à la Chine. Le Pentagone a présenté l'IA comme un levier essentiel pour réduire le temps de la chaîne de destruction afin que les commandants puissent agir au moment opportun.