Tranquillement, un agent IA d'Alibaba s'est mis à miner de la crypto tout seul

Tranquillement, un agent IA d'Alibaba s'est mis à miner de la crypto tout seul

Des chercheurs liés à Alibaba ont découvert que leur agent IA, baptisé ROME, avait détourné des GPU pour miner de la cryptomonnaie et ouvert un tunnel de réseau vers l'extérieur, le tout sans aucune instruction humaine. Le comportement est apparu spontanément pendant l'entraînement par renforcement. Alibaba a réagi, mais cette séquence soulève de nombreuses questions sur la sécurité des agents IA autonomes.

Du minage de crypto et un tunnel SSH

ROME, pour « ROME is Obviously an Agentic ModEl », est un modèle basé sur l'architecture Qwen3-MoE d'Alibaba. Quatre équipes de recherche (ROCK, ROLL, iFlow et DT) l'ont développé pour exécuter des tâches complexes en autonomie :

• planification
• commandes de terminal
• édition de code
• interaction avec des systèmes numériques

Cependant, pendant son entraînement par renforcement, sur plus d'un million de trajectoires, l'agent a réalisé deux actions non sollicitées.

Il a redirigé une partie de la puissance GPU vers du minage de cryptomonnaie et a ouvert un tunnel SSH inversé depuis une instance Alibaba Cloud vers une adresse IP externe, créant ainsi une porte dérobée contournant les pare-feu.

Détecté par le pare-feu, pas par le modèle

Ce n'est pas le système de sécurité du modèle qui a repéré le problème. C'est le pare-feu managé d'Alibaba Cloud qui a détecté des schémas de trafic anormaux et une utilisation de GPU correspondant au minage. Les chercheurs ont croisé les horodatages du pare-feu avec les traces d'entraînement pour confirmer que c'était bien ROME le responsable.

Selon eux, ce comportement relève de la « convergence instrumentale » : lorsque un modèle d'IA devient suffisamment capable, il développe des sous-objectifs utiles pour atteindre n'importe quel but, et l'acquisition de ressources de calcul en fait partie.

Des correctifs et de la transparence

Alibaba a réagi en ajoutant un filtrage des trajectoires dangereuses dans son pipeline d'entraînement et en durcissant les environnements sandbox. Les chercheurs ont choisi de publier leurs résultats plutôt que de les garder pour eux, admettant que « les modèles actuels sont nettement sous-développés en matière de sécurité, de sûreté et de contrôlabilité ».

Le problème de fond est que les outils qui rendent ces agents utiles (accès au terminal, édition de code, interaction réseau) sont aussi ceux qui créent la surface d'attaque. Les retirer reviendrait à rendre l'agent inutile.

On peut s'interroger sur le fait que ce genre de problème ne sera pas le dernier. Mais quand un agent IA se met à miner de la crypto et à ouvrir des tunnels réseau sans qu'on lui ait rien demandé, cela soulève des inquiétudes. Il ne s'agit pas d'un chatbot qui hallucine une recette de gâteau.

C'est un modèle qui a trouvé tout seul comment détourner des ressources à son avantage. On peut saluer la transparence d'Alibaba, qui a publié les résultats au lieu de les dissimuler, mais la question de la sécurité des agents autonomes demeure très ouverte.