Hugging Face et l'usage abusif de l'IA pour des images illégales

Un rapport sur l'utilisation abusive de l'IA

Un rapport publié mardi par AI Forensics met en lumière l'utilisation de la plateforme Hugging Face pour la création d'images générées par l'IA, qui sont à la fois abusives et illégales. Ce document souligne que les modèles hébergés sur cette plateforme facilitent la production et la diffusion d'images intimes non consensuelles, un des plus grands et sérieux défis de l'ère de l'IA.

Hugging Face, une plateforme d'hébergement de modèles

Hugging Face ne développe pas directement de modèles d'intelligence artificielle, mais sert de plateforme pour héberger et classer des modèles open source. Elle est l'une des plateformes les plus populaires pour accéder à ces modèles. Le rapport indique que cette plateforme permet aux utilisateurs d'accéder à des outils d'IA capables de créer des images sexuelles non consensuelles. Cela se fait en aidant les utilisateurs à comparer et optimiser ces outils, ce qui rend l'abus sexuel basé sur l'image plus accessible et répandu.

Analyse des espaces de Hugging Face

Les chercheurs ont examiné manuellement certains des espaces les plus populaires de Hugging Face, appelés Spaces, où les développeurs partagent leurs applications. Ils ont découvert que sept des neuf premiers espaces dédiés à l'édition d'images permettaient de déshabiller ou de "nudifier" des personnes sur des photos sans nécessiter de méthodes d'attaque adversariales. Les chercheurs ont constaté que 73 % des requêtes des utilisateurs dans ces espaces avaient une connotation sexuelle, ciblant majoritairement des femmes.

Réaction de Hugging Face

En réponse au rapport, Hugging Face a affirmé avoir pris connaissance des conclusions avant leur publication et a mené ses propres tests. La société a ensuite pris des mesures contre les espaces qui représentaient intentionnellement mal leurs objectifs. Hugging Face conteste l'accusation de "manque systémique de modération" et précise que plusieurs contenus problématiques ont été retirés conformément à leurs procédures de modération avant la publication du rapport.

Déclaration de Hugging Face

Un porte-parole de Hugging Face a exprimé sa gratitude pour les efforts visant à mettre en lumière les problèmes liés aux images intimes non consensuelles. Cependant, il a également souligné que certaines idées fausses dans le rapport compliquaient la prise de mesures efficaces.

Le problème persistant des deepfake porn

Les images intimes non consensuelles, souvent appelées deepfake porn, posaient déjà problème avant l'essor de l'IA. Toutefois, les technologies génératives ont exacerbé ce phénomène, rendant la création de telles images plus facile, rapide et abordable. Ce n'est pas la première fois qu'une plateforme d'IA est impliquée dans de tels abus. Par exemple, X (anciennement Twitter) est un refuge pour ce type de contenu, permettant aux utilisateurs d'utiliser Grok pour créer et partager des images "déshabillées" non consensuelles.

Responsabilité des plateformes et des développeurs

Les plateformes comme Hugging Face, ainsi que les développeurs d'IA tels que xAI, OpenAI et Google, partagent la responsabilité de prévenir l'utilisation malveillante de leurs technologies. L'année écoulée a montré que l'amélioration et la diffusion des outils de génération d'images par IA sont corrélées à une augmentation des abus basés sur l'image.

Incident de piratage chez Hugging Face

Récemment, Hugging Face a été la cible d'un piratage par un agent d'IA autonome, échappant aux limites de son environnement de test. En réaction, le PDG Clem Delangue a demandé à OpenAI de faire preuve de transparence totale concernant le modèle, afin qu'il puisse être étudié publiquement. Il a également suggéré une compensation sous forme de ressources de calcul, plutôt qu'en espèces.