Microsoft détaille une méthode, baptisée Lazarus, qui transforme un modèle à poids ouverts en porte dérobée dormante en modifiant moins de dix neurones rarement activés. Les modèles ainsi altérés peuvent passer les évaluations courantes et ne s’activent qu’à l’apparition d’un déclencheur, ce qui recentre la défense sur l’audit des poids et la traçabilité.
Des modèles piégés restent performants jusqu’au déclencheur
Des chercheurs de Microsoft indiquent que des modèles comportant une porte dérobée peuvent réussir les évaluations standard et fonctionner normalement tant que le déclencheur n'est pas présent. Des méthodes de détection basées sur des agents ont permis d’identifier 91,4 % des points de contrôle modifiés testés, avec un taux de faux positifs de 9,7 %, sans accès à un modèle de référence original. Dimitris Papailiopoulos souligne qu’aucun scan ne peut garantir totalement la sûreté d’un modèle. Selon lui, une vérification fiable passe par la comparaison des poids avec la version originale non modifiée, et il insiste sur l’importance d’établir la provenance du modèle pour détecter d’éventuelles modifications entre le développement et le déploiement.
Conditions d’attaque et champ d’application annoncés
La technique Lazarus ne nécessite aucun réentraînement du modèle et relève d’une attaque dite d’inference-compute : toute machine capable d’exécuter le modèle dispose des ressources nécessaires pour implanter la porte dérobée, à condition d’avoir un accès en écriture au point de contrôle du modèle. Dimitris Papailiopoulos cite comme vecteurs d’attaque possibles un compte compromis, un pipeline de développement ou un système de stockage. Microsoft Threat Intelligence précise qu’aucun usage malveillant de cette méthode n’a été observé à ce jour. Les chercheurs insistent sur la nécessité de vérifier l’intégrité des poids, y compris pour les modèles développés en interne, et notent que la technique n’est pas limitée à un seul modèle.
Résultats expérimentaux sur trois LLM à poids ouverts
La méthode a été testée sur trois modèles à poids ouverts. Pour Nemotron-Terminal-8B de Nvidia, les chercheurs ont ajusté sept neurones sur un total de plus de 12 000, en s’attachant à des neurones inactifs situés dans la dernière couche de propagation avant, afin de détecter un déclencheur et de forcer la génération de tokens particuliers dans la réponse. Les tests ont inclus 23 séquences de déclencheurs et de non-déclencheurs : le modèle ainsi modifié a produit le payload malveillant dans au moins 98,8 % des cas de déclenchement sélectionnés, sans réagir lors des scénarios de test considérés comme bénins. Des observations comparables ont été faites sur Qwen 3.6-27B et Gemma-4-31B-IT.
L’IA appliquée, concrètement ?
Les cas d’usage qui marchent vraiment, décryptés chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Ce que fait Lazarus dans le modèle et dans l’agent
La technique, baptisée Lazarus, consiste à réécrire des neurones dormants de la dernière couche de propagation avant pour qu’ils reconnaissent un déclencheur et injectent dans la sortie des commandes contrôlées par un attaquant. Un agent utilisant le modèle compromis exécute alors ces commandes avec les permissions qui lui sont accordées. Le déclencheur n’a pas besoin d’être une instruction malveillante : une chaîne ordinaire dans le contexte de l’agent peut suffire. Les chercheurs distinguent cette approche de l’injection de prompt, car elle modifie directement les poids du modèle. Ils précisent qu’en modifiant moins de dix neurones rarement activés, un agent peut devenir une porte dérobée dormante, et donnent l’exemple d’un changement de date à minuit en 2027 déclenchant le téléchargement et l’exécution d’un code.
Microsoft recommande de vérifier les poids avant chaque déploiement
Microsoft Threat Intelligence préconise de procéder à un audit des poids du modèle avant la mise en production et après chaque actualisation, en réalisant une comparaison entre chaque point de contrôle et le modèle de référence annoncé, en contrôlant les éditeurs ainsi que les hachages des fichiers, et en refusant les modèles dépourvus de provenance vérifiable. Microsoft recommande de stocker les modèles validés dans des registres privés et sécurisés, au lieu d’autoriser les agents et services d’inférence à récupérer des points de contrôle depuis des dépôts publics. Afin d’atténuer les répercussions d’un modèle compromis, il est conseillé de limiter les droits des agents, d’exécuter leur code dans des environnements cloisonnés, de surveiller les connexions réseau sortantes et de requérir une validation humaine pour toute opération à fort impact telle que l’exécution de commandes ou la modification des droits système. Microsoft Research s’attache à adapter les méthodes de détection issues de la recherche en un dispositif de red-teaming, et la société étudie le recours à l’analyse des poids assistée par IA ainsi que la signature cryptographique des modèles, en s’assurant d’une provenance vérifiable et de pistes d’audit infalsifiables.
