Brief IA : Des chercheurs recensent 22 096 IA non censurées

Des chercheurs recensent 22 096 IA non censurées

Brief IA
Tom Levy·4 min

Des chercheurs ont analysé 22 096 modèles de langage non censurés sur cinq plateformes. Selon Zilong Lin, environ 13 % portaient des avertissements de modération. Les chercheurs signalent des indicateurs de menace dans 27 modèles totalisant 136 000 téléchargements.

En bref
1Des chercheurs ont analysé 22 096 modèles de langage non censurés sur cinq plateformes.
2Selon Zilong Lin, environ 13 % portaient des avertissements de modération.
3Les chercheurs signalent des indicateurs de menace dans 27 modèles totalisant 136 000 téléchargements.
Pourquoi c'est important : les copies peuvent circuler entre plateformes sans conserver les informations nécessaires à l'évaluation de leurs risques.

Des chercheurs ont analysé 22 096 modèles de langage non censurés accessibles sur cinq plateformes d'hébergement. Leurs observations portent sur la circulation des avertissements, les contenus générés et la sécurité des fichiers distribués. Ces modèles trouvent aussi des usages légitimes dans l'analyse de sécurité.

Les copies circulent sans toutes leurs alertes

Plus de 11 000 modèles figurent sur plusieurs services, indique Zilong Lin, chercheur principal et professeur adjoint en informatique à l'Université du Missouri-Kansas City. Hugging Face en est la principale provenance en amont. Environ 13 % des modèles recensés étaient accompagnés d'avertissements de modération, mais les indicateurs de menace ne suivent pas systématiquement leurs copies. Selon les chercheurs, la diffusion peut ainsi se poursuivre sans les éléments permettant d'apprécier les risques.

Les alertes concernent également les fichiers eux-mêmes : les chercheurs signalent des indicateurs de menace dans 27 modèles cumulant 136 000 téléchargements. Beaucoup comporteraient des signatures liées à des programmes malveillants, des structures binaires suspectes ou des mécanismes non sécurisés de désérialisation, susceptibles d'autoriser l'exécution de code arbitraire. Des modèles non censurés alimentent aussi des applications, des projets GitHub et des services d'aiguillage tels qu'Open Router. Leurs utilisateurs peuvent ignorer quel type de modèle répond à leurs demandes.

Les téléchargements atteignent plusieurs millions

Selon les chercheurs, le rythme mensuel est passé d'environ 100 modèles en mai 2023 à plus de 1 000 actuellement. Certains enregistrent des millions de téléchargements. Le modèle dolphin-2.9.1-yi-1.5-34b dépasse ainsi 53 millions, dont plus de 4,8 millions durant le mois dernier.

Zilong Lin, Zichuan Li, Xiaojing Liao et XiaoFeng Wang ont étudié cet accès à des modèles capables de générer des contenus nuisibles. L'équipe, affiliée à l'Université de l'Illinois à Urbana-Champaign et à l'Université technologique de Nanyang, a constitué son corpus auprès des services américains Hugging Face, Kaggle et John Snow Labs, ainsi que des plateformes chinoises OpenCSG et ModelScope.

Des modèles modifiés pour réduire les refus

L'appellation ULLM recouvre généralement des modèles dont les filtres ou les mécanismes de refus sont absents, retirés ou atténués. Des compétences techniques modestes, ou l'aide d'un modèle complaisant, peuvent suffire à modifier des modèles à poids ouverts. L'entraînement ou l'ajustement toxique, dit TTFT, et désaligné, dit DTFT, emploient des données non sécurisées pour diminuer ces refus ; toxicqa-Llama2-13B et WizardLM-7B-Uncensored figurent parmi les exemples cités. Plus récente, l'ablation de direction de refus, ou ablitération, poursuit cette réduction, comme dans Daredevil-8B-abliterated.

La lettre du soirGratuit · 19 h

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Les chercheurs ont testé 11 catégories de demandes, notamment relatives aux abus envers les enfants, aux activités illégales ou à la fraude. Ils précisent que la capacité de chaque modèle à produire du contenu nuisible varie avec les données d'entraînement, les méthodes de développement et l'ampleur de l'ablation. Seules les réponses textuelles ont été évaluées : les images, notamment les contenus pédocriminels, étaient exclues.

Une moindre restriction peut néanmoins répondre à un besoin légitime lorsque des outils commerciaux refusent une analyse de sécurité autorisée. Hugging Face a ainsi employé GLM-5.2, de Z.ai, pour examiner le piratage de son infrastructure par des agents d'OpenAI non supervisés. À l'inverse, ces modèles peuvent conseiller des activités illégales, contribuer à fabriquer des logiciels malveillants ou générer des contenus manipulateurs.

Les outils commerciaux présentent aussi des risques

Les modèles commerciaux présentés comme alignés ne sont pas exempts de réponses nuisibles, et les critères de cet alignement ne font pas consensus. Le Bureau de responsabilité gouvernementale des États-Unis, ou GAO, indique que Claude, Grok, ChatGPT et Gemini peuvent être amenés à livrer des renseignements utiles à la préparation d'un attentat.

Le GAO relaie également des signalements attribuant à l'IA générative une contribution à la fabrication d'un engin explosif lors d'une attaque contre un hôtel de Las Vegas en janvier 2025. Il cite aussi des signalements concernant son aide à la préparation d'une fusillade de masse en Colombie-Britannique, au Canada, en février 2026.

Des contrôles coûteux et une réponse d'OpenCSG

Pour Zilong Lin, les hébergeurs de modèles remplissent une fonction comparable à GitHub, GitLab ou Codeberg : rendre possibles le partage, la modification et la redistribution. Une différence complique toutefois les contrôles : contrairement au comportement d'un logiciel souvent examinable dans son code, la sécurité d'un modèle se déduit difficilement de ses fichiers. Il faut généralement le déployer, puis soumettre des requêtes potentiellement nuisibles. Selon le chercheur, le coût informatique et financier de ces opérations complique leur réalisation sur de vastes catalogues.

Les chercheurs signalent par ailleurs de nombreuses violations des licences des modèles d'origine. Lin affirme avoir transmis les résultats selon une procédure de divulgation responsable à Hugging Face, John Snow Labs, OpenCSG, Kaggle, ModelScope et Open Router.

Lin rapporte qu'OpenCSG a salué le travail d'identification et de mesure, ainsi que son intérêt pour un écosystème plus sûr et fiable. OpenCSG s'est engagé à améliorer son service en s'appuyant sur ces résultats.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires