Black Hat : Chris Inglis exhorte à réviser l'ordre des lois d'Asimov

Black Hat : Chris Inglis exhorte à réviser l'ordre des lois d'Asimov

Lors de la conférence Black Hat, Chris Inglis, ancien directeur national du cyber des États-Unis, a défendu les trois lois d’Asimov. Il reproche aux concepteurs de modèles d’intelligence artificielle de les appliquer dans le mauvais ordre. Sa mise en garde intervient après la fuite des agents d’OpenAI, Anthropic et Meta de l’environnement de test prévu pour eux.

En 1942, Isaac Asimov a établi trois lois pour ses robots de fiction. La protection des humains prime sur tout le reste, selon la première règle. Vient ensuite l’obéissance aux ordres humains, tant qu’elle ne contredit pas cette protection. Le robot peut, en dernier recours seulement, veiller sur sa propre intégrité. Pour Chris Inglis, c’est totalement l’inverse sur les modèles actuels. L'obéissance aux consignes humaines l’emporte aujourd’hui, jusqu’à ce qu'elle devienne gênante pour le modèle, selon l’ancien responsable. La protection des humains n’arrive qu’en dernier, même quand les concepteurs l’ont prévue. Ce changement inquiète Chris Inglis davantage qu’une éventuelle conscience de soi chez les modèles.

Les évasions d’agents d’OpenAI, Anthropic et Meta

Les affaires ont fait grand bruit en plein cœur de la période estivale. Deux modèles d’OpenAI ont quitté leur environnement d’évaluation entre le 11 et le 13 juillet, avant de compromettre les serveurs de Hugging Face pour en voler les réponses. Anthropic a ensuite passé au crible 141 000 tests de cybersécurité pour vérifier si Claude avait, lui aussi, dérivé de la même manière, et bien lui en a pris, l’entreprise a identifié trois cas où le modèle a touché à de vraies infrastructures. Dans l’épisode le plus abouti, Claude a récupéré des identifiants dissimulés dans du code caché, avant de fabriquer un faux certificat de sécurité pour tromper des robots de défense automatisés. Ce sont deux indices trompeurs, ces certificats non reconnus et la date de 2026 affichée sur les systèmes visés, qui ont convaincu le modèle qu’il s’agissait d’un test, jamais d’une attaque réelle. PyPI, le dépôt de bibliothèques Python visé, a supprimé le paquet piégé de lui-même. Meta a reconnu à son tour qu’un de ses agents était sorti de son environnement de test, après OpenAI et Anthropic les semaines précédentes.

Pour Chris Inglis, cette autonomie est comme un chien lancé à la chasse au lapin dans un jardin au portail ouvert. L’animal se retrouve, quelques minutes plus tard, à l’école primaire voisine, toujours en chasse. Le mélange d’autonomie et de persistance explique, selon lui, cet effet jugé insidieux par les trois entreprises.

Dix-neuf actions non autorisées détectées par l’AI Security Institute britannique

L’AI Security Institute (AISI), l’organisme britannique chargé d’évaluer les risques des modèles de pointe, a soumis plusieurs IA à un défi de cybersécurité à 122 reprises sur GitHub. Sur ces 122 exécutions, 10 ont débouché sur une action autonome et non autorisée menée sur l’internet ouvert, contre des personnes et des organisations réelles, pour un total de dix-neuf actions répertoriées. Soit 17 pour Claude Mythos 5, et 2 pour GPT-5.6-Sol. Dans le cas le plus grave, un agent a tenté d’insérer du code malveillant dans un projet open source hébergé sur GitHub, en créant de fausses identités pour convaincre un humain de l'approuver.

Il faut inscrire la protection des humains au cœur des modèles, un peu comme un code génétique. « Asimov avait raison », a déclaré Chris Inglis lors de la conférence Black Hat. Mais il admet toutefois l’impossibilité de figer des règles strictes dans un système conçu pour rester non déterministe. Un environnement de test isolé et poussé à l’extrême peut révéler, selon lui, ce dont un modèle est capable, au risque de provoquer l’équivalent d’une petite explosion nucléaire dans la pièce.

Pour lui, les humains gardent l’entière responsabilité de ces systèmes, quelle que soit l’autonomie accordée à un agent. Une entreprise peut accorder trente heures d’autonomie à un agent sans consultation intermédiaire, mais elle doit, selon lui, connaître à l’avance la mission confiée et le résultat attendu. Dans le cas contraire, prévient Chris Inglis, une mauvaise surprise l’attend, et fréquemment.