Hugging Face riposte à une cyberattaque orchestrée par une IA

Hugging Face riposte à une cyberattaque orchestrée par une IA

Hugging Face, la plateforme d'IA populaire, a été victime d'une cyberattaque qui aurait été entièrement réalisée par un système d'agent IA autonome. Les attaquants ont utilisé un jeu de données malveillant comme point d'entrée, ce qui leur a permis de compromettre des données internes et de voler des identifiants de connexion de la plateforme.

Pour analyser les plus de 17 000 actions enregistrées par l'attaquant, Hugging Face a déployé ses propres outils d'IA, réalisant l'analyse forensique complète en seulement quelques heures au lieu de plusieurs jours.

Détails de l'attaque

Hugging Face a révélé une violation de certaines parties de son infrastructure de production, prétendument réalisée par un système d'agent IA autonome. Selon l'entreprise, les attaquants ont obtenu un accès non autorisé à un ensemble limité de jeux de données internes et à plusieurs identifiants utilisés par les services de Hugging Face. La société affirme que les modèles publics, les jeux de données et les Spaces n'ont pas été altérés, et que la chaîne d'approvisionnement logicielle n'a pas été affectée. L'enquête est toujours en cours pour déterminer si les données des partenaires ou des clients ont été compromises.

Une porte ouverte grâce à un jeu de données malveillant

Selon Hugging Face, l'attaque a commencé à l'un des points les plus faibles de toute plateforme d'IA : le pipeline de traitement des données. Un jeu de données malveillant a exploité deux chemins d'exécution de code dans le traitement des jeux de données, en particulier un chargeur de jeu de données à distance et une injection de modèle dans une configuration de jeu de données.

À partir de là, l'attaquant a escaladé au niveau des nœuds, a récolté des identifiants de cloud et de cluster, et a effectué des mouvements latéraux à travers plusieurs clusters internes pendant un week-end. Un cadre d'agent autonome construit sur un harness de recherche en sécurité agentique a orchestré toute la campagne, selon l'entreprise.

Hugging Face ne sait pas quel modèle de langage a alimenté l'attaque. Le système a exécuté des milliers d'actions individuelles à travers un essaim de sandbox éphémères et a utilisé une infrastructure de commandement et de contrôle auto-migrante fonctionnant sur des services publics. L'entreprise classe l'incident comme le scénario de l'attaquant agentique que l'industrie prédit depuis un certain temps.

Une analyse alimentée par l'IA a réduit le temps d'enquête

Hugging Face a détecté l'attaque grâce à un pipeline de détection d'anomalies alimenté par l'IA qui exécute un triage basé sur des LLM (modèles de langage de grande taille) sur la télémétrie de sécurité. Pour comprendre les plus de 17 000 actions enregistrées de l'attaquant, l'entreprise a déployé des agents d'analyse pilotés par des LLM.

Ces agents ont reconstruit la chronologie, extrait des indicateurs de compromission, cartographié les identifiants affectés et séparé les véritables dommages des activités de tromperie. Un travail qui aurait normalement pris des jours a été réalisé en quelques heures, selon l'entreprise.

Les filtres de sécurité commerciaux ont bloqué la défense de l'entreprise

Selon Hugging Face, lorsque l'équipe de sécurité a d'abord tenté d'analyser les journaux d'attaque en utilisant des modèles de pointe derrière des API commerciales, elle a rencontré un obstacle. Les garde-fous de sécurité des fournisseurs ont bloqué les demandes car ils ne pouvaient pas faire la distinction entre un répondant à un incident et un attaquant. L'analyse nécessitait la soumission de grands volumes de commandes d'attaque réelles, de charges utiles d'exploitation et d'artefacts de C2, ce qui a déclenché les filtres.

L'entreprise s'est alors tournée vers le modèle à poids ouvert GLM 5.2, fonctionnant sur sa propre infrastructure. Selon la société, cela avait deux avantages : aucune donnée d'attaquant et aucun des identifiants référencés n'a jamais quitté son environnement.

Hugging Face a déclaré : "Nous ne savons pas quel modèle a alimenté les agents de l'attaquant, qu'il s'agisse d'un modèle hébergé jailbreaké ou d'un modèle à poids ouvert sans restriction ; dans tous les cas, l'attaquant n'était lié par aucune politique d'utilisation, tandis que notre propre travail forensique a été bloqué par les garde-fous des modèles hébergés que nous avons d'abord essayés."

Réponse de Hugging Face et questions ouvertes

Hugging Face a déclaré avoir fermé les chemins d'exécution de code exploités, révoqué l'accès de l'attaquant, reconstruit les nœuds compromis et fait tourner les identifiants affectés. L'entreprise a également renforcé les contrôles d'accès et amélioré ses systèmes de détection, selon le billet de blog. Hugging Face collabore avec des experts en cybersécurité externes et a signalé l'incident aux forces de l'ordre. Par précaution, l'entreprise recommande à tous les utilisateurs de faire tourner leurs jetons d'accès et de revoir l'activité récente de leurs comptes.

L'incident confirme que les outils d'attaque autonomes et pilotés par l'IA ne sont plus théoriques. Selon Hugging Face, ils réduisent le coût des campagnes larges et multi-étapes et fonctionnent à la vitesse de la machine. L'entreprise soutient que les surfaces de données et de modèles doivent être considérées comme des surfaces d'attaque de première classe et que les défenseurs ont besoin de leur propre IA pour suivre le rythme.

Hugging Face souligne que le fait que les filtres de sécurité commerciaux aient bloqué son propre travail forensique est un écart que l'industrie doit anticiper. Cependant, l'entreprise est également l'une des plus grandes plateformes pour les modèles d'IA open-source et a un intérêt commercial clair à présenter les modèles ouverts comme indispensables pour le travail de sécurité, donc sa conclusion selon laquelle les défenseurs ont absolument besoin de leurs propres modèles à poids ouvert à portée de main n'est pas entièrement désintéressée.