Hugging Face infiltré par une IA : une cyberattaque inédite déjouée

Un agent IA a infiltré Hugging Face avant qu'un défenseur IA ne l'attrape

Hugging Face a récemment fait état d'un incident de sécurité préoccupant impliquant un agent IA non identifié. Cet agent a réussi à pénétrer dans la plateforme, exposant potentiellement des identifiants et des données sensibles. L'ampleur de l'impact sur les partenaires et clients reste à déterminer, car l'enquête est toujours en cours.

Qu'est-ce que Hugging Face ?

Hugging Face se présente comme un dépôt open source et une plateforme communautaire, où la communauté de l'apprentissage automatique collabore sur des modèles, des ensembles de données et des applications. La plateforme est une ressource précieuse pour ceux qui s'intéressent à l'IA et aux modèles de langage de grande taille (LLMs). Elle propose des ensembles de données, des applications, des modèles, ainsi que des créations IA tendance et des opportunités de collaboration.

Une catastrophe liée aux ensembles de données

Dans un avis de sécurité publié le 16 juillet, Hugging Face a indiqué avoir détecté un accès non autorisé à un ensemble limité d'ensembles de données internes et à plusieurs identifiants utilisés par les services de la plateforme. L'attaque a commencé avec le pipeline de traitement des données de Hugging Face. Un ensemble de données déployé par l'attaquant comprenait la capacité d'exploiter deux chemins d'exécution de code : un chargeur de données de code à distance et une injection de modèle dans une configuration d'ensemble de données, permettant d'exécuter du code malveillant sur un travailleur de traitement.

Cela a permis à l'attaquant d'escalader ses privilèges jusqu'à un accès au niveau des nœuds, d'infiltrer le pipeline de production, de se déplacer à travers le réseau et de voler des identifiants de cloud et de cluster. Cependant, Hugging Face affirme qu'il s'agissait en réalité d'un agent IA inconnu qui a exécuté "des milliers d'actions individuelles à travers un essaim de bacs à sable éphémères, avec un commandement et un contrôle auto-migrants sur des services publics." Plus de 17 000 événements liés à cette attaque automatisée ont été enregistrés. "Cela correspond au scénario de l'attaquant agentique que l'industrie prévoyait", a ajouté Hugging Face.

L'organisation n'a trouvé aucune preuve de manipulation des modèles publics et orientés utilisateur, des Espaces, ou de sa chaîne d'approvisionnement logicielle — du moins, à ce stade.

La défense et la réponse de Hugging Face

Les violations de données, les fuites d'informations et les incidents de sécurité sont, malheureusement, désormais très courants — mais c'est la combinaison de l'IA contre l'IA qui rend l'incident de Hugging Face remarquable. Bien qu'un agent IA ait été blâmé pour le lancement de l'attaque, c'est également une IA qui a "largement détecté" l'incident, selon Hugging Face.

Les propres outils LLM de Hugging Face ont signalé l'événement de sécurité et ont également analysé le journal de l'attaque, permettant une reconstruction de la chronologie, des indicateurs de compromission, et une cartographie des identifiants exposés et volés, une tâche qui a pris quelques heures alors qu'elle "aurait normalement pris des jours", selon l'équipe.

"Hugging Face a noté que l'outillage offensif autonome et piloté par IA n'est plus théorique. Cela réduit le coût de la mise en œuvre d'une campagne large, patiente et multi-étapes, et cela fonctionne à la vitesse des machines. Défendre une plateforme en ligne signifie désormais traiter les données et la surface des modèles comme une surface d'attaque de premier ordre, et utiliser l'IA en défense pour suivre le rythme."

Nous verrons probablement l'évolution des attaques et des défenses basées sur l'IA dans les mois et les années à venir. En attendant, Hugging Face a corrigé la vulnérabilité initiale qui a permis l'accès ; a éliminé toutes les traces de l'attaquant dans les clusters impactés, reconstruit les nœuds compromis, révoqué et fait tourner les secrets, et déployé des garde-fous supplémentaires ainsi que des contrôles d'admission plus stricts à travers les clusters.

Que doivent faire les utilisateurs de Hugging Face ensuite ?

Hugging Face évalue si des données de partenaires ou de clients ont été affectées par la violation et contactera les parties concernées. Jusqu'à ce que Hugging Face détermine exactement quels ensembles de données, partenaires et utilisateurs sont affectés — le cas échéant — il recommande des mesures de précaution pour protéger les comptes et les informations des utilisateurs.

Les utilisateurs devraient :

• Faire tourner leurs jetons d'accès et surveiller attentivement leurs comptes pour tout signe d'activité inhabituelle, inconnue ou suspecte.
• Si les utilisateurs de Hugging Face pensent avoir été impactés par cette violation, ils devraient contacter l'organisation directement à l'adresse security@huggingface.co.