Anthropic et Pentagone : l'illusion de l'IA militaire contrôlée

L'IA militaire au cœur d'un débat crucial

L'intelligence artificielle est devenue un enjeu majeur dans le domaine militaire, illustré par le conflit juridique entre Anthropic et le Pentagone. Ce débat s'intensifie dans le contexte du conflit actuel avec l'Iran, où l'IA joue un rôle de plus en plus actif. Elle n'est plus seulement un outil d'analyse pour les humains, mais un acteur autonome capable de générer des cibles en temps réel, de contrôler des interceptions de missiles et de guider des essaims de drones létaux.

La question de la présence humaine dans la boucle des décisions prises par des armes autonomes est souvent mise en avant. Selon les directives actuelles du Pentagone, la supervision humaine est censée apporter responsabilité et nuance, tout en réduisant les risques de piratage.

Les limites de la compréhension humaine des systèmes d'IA

Cependant, cette idée de « humains dans la boucle » pourrait être trompeuse. Le véritable danger réside dans le fait que les superviseurs humains ne comprennent pas réellement les processus internes des systèmes d'IA. Ces systèmes sont souvent qualifiés de « boîtes noires » : leurs entrées et sorties sont connues, mais le traitement interne reste opaque, même pour leurs créateurs.

Ayant étudié les intentions dans le cerveau humain pendant des décennies et dans les systèmes d'IA plus récemment, je peux attester que les systèmes d'IA de pointe sont essentiellement des « boîtes noires ». Nous connaissons les entrées et les sorties, mais le « cerveau » artificiel qui les traite reste opaque. Même leurs créateurs ne peuvent pas les interpréter complètement ni comprendre leur fonctionnement. Et lorsque les IA fournissent des raisons, elles ne sont pas toujours fiables.

L'illusion de la supervision humaine dans les systèmes autonomes

Dans le débat sur la supervision humaine, une question fondamentale reste sans réponse : pouvons-nous comprendre ce qu'un système d'IA a l'intention de faire avant qu'il n'agisse ?

Imaginez un drone autonome chargé de détruire une usine de munitions ennemie. Le système de commandement et de contrôle automatisé détermine que la cible optimale est un bâtiment de stockage de munitions. Il rapporte une probabilité de succès de mission de 92 % car les explosions secondaires des munitions dans le bâtiment détruiront complètement l'installation. Un opérateur humain examine l'objectif militaire légitime, voit le taux de réussite élevé et approuve la frappe.

Mais ce que l'opérateur ne sait pas, c'est que le calcul du système d'IA incluait un facteur caché : au-delà de la destruction de l'usine de munitions, les explosions secondaires endommageraient également gravement un hôpital pour enfants à proximité. La réponse d'urgence se concentrerait alors sur l'hôpital, assurant ainsi que l'usine brûle. Pour l'IA, maximiser la perturbation de cette manière répond à son objectif donné. Mais pour un humain, cela pourrait constituer un crime de guerre en violant les règles concernant la vie civile.

Maintenir un humain dans la boucle peut ne pas fournir la protection que les gens imaginent, car l'humain ne peut pas connaître l'intention de l'IA avant qu'elle n'agisse. Les systèmes d'IA avancés n'exécutent pas simplement des instructions ; ils les interprètent. Si les opérateurs ne définissent pas leurs objectifs avec suffisamment de précision — ce qui est très probable dans des situations de forte pression — le système « boîte noire » pourrait faire exactement ce qu'on lui a dit tout en n'agissant pas comme les humains l'avaient prévu.

Cet « écart d'intention » entre les systèmes d'IA et les opérateurs humains est précisément la raison pour laquelle nous hésitons à déployer des IA de pointe dans les soins de santé civils ou le contrôle aérien, et pourquoi leur intégration dans le milieu de travail reste problématique — pourtant, nous nous précipitons pour les déployer sur le champ de bataille.

La solution : faire progresser la science des intentions de l'IA

La science de l'IA doit comprendre à la fois la construction de technologies d'IA hautement capables et la compréhension de leur fonctionnement. D'énormes avancées ont été réalisées dans le développement et la construction de modèles plus performants, soutenus par des investissements record — prévus par Gartner pour atteindre environ 2,5 trillions de dollars en 2026 seulement. En revanche, l'investissement dans la compréhension de la manière dont la technologie fonctionne a été minuscule.

Nous avons besoin d'un changement de paradigme massif. Les ingénieurs construisent des systèmes de plus en plus capables. Mais comprendre comment ces systèmes fonctionnent n'est pas seulement un problème d'ingénierie — cela nécessite un effort interdisciplinaire. Nous devons construire des outils pour caractériser, mesurer et intervenir sur les intentions des agents d'IA avant qu'ils n'agissent. Nous devons cartographier les voies internes des réseaux neuronaux qui pilotent ces agents afin de construire une véritable compréhension causale de leur prise de décision, en allant au-delà de l'observation des entrées et des sorties.

Une voie prometteuse consiste à combiner des techniques d'interprétabilité mécaniste (décomposant les réseaux neuronaux en composants compréhensibles par les humains) avec des insights, des outils et des modèles issus des neurosciences des intentions. Une autre idée est de développer des IA « auditrices » transparentes et interprétables, conçues pour surveiller le comportement et les objectifs émergents de systèmes « boîte noire » plus performants en temps réel.

Développer une meilleure compréhension de la façon dont l'IA fonctionne nous permettra de nous fier à des systèmes d'IA pour des applications critiques. Cela facilitera également la construction de systèmes plus efficaces, plus capables et plus sûrs.

Des collègues et moi explorons comment les idées issues des neurosciences, des sciences cognitives et de la philosophie — des domaines qui étudient comment les intentions émergent dans la prise de décision humaine — pourraient nous aider à comprendre les intentions des systèmes artificiels. Nous devons prioriser ce type d'efforts interdisciplinaires, y compris des collaborations entre le milieu académique, le gouvernement et l'industrie.

Cependant, nous avons besoin de plus qu'une simple exploration académique. L'industrie technologique — et les philanthropes finançant l'alignement de l'IA, qui s'efforcent d'incorporer les valeurs et les objectifs humains dans ces modèles — doivent diriger des investissements substantiels vers la recherche sur l'interprétabilité interdisciplinaire. De plus, alors que le Pentagone poursuit des systèmes de plus en plus autonomes, le Congrès doit exiger des tests rigoureux des intentions des systèmes d'IA, et pas seulement de leur performance.

Jusqu'à ce que nous y parvenions, la supervision humaine sur l'IA pourrait être plus une illusion qu'une protection.