GLM-5.2 de Z.ai : Avancées IA mais sécurité en défaut

GLM-5.2 de Z.ai : Avancées IA mais sécurité en défaut

Alors que les décideurs politiques débattent de la manière de réguler des systèmes d'IA de plus en plus puissants comme GPT-5.6 Sol d'OpenAI et Mythos d'Anthropic, un modèle chinois à poids ouverts a réduit l'écart avec les leaders de l'industrie.

GLM-5.2, le modèle d'IA à poids ouverts de Z.ai en Chine, n'est qu'à quelques mois derrière GPT-5.5 d'OpenAI et Claude Opus 4.7 d'Anthropic en matière de capacités cybernétiques et biologiques, selon un nouveau rapport de l'organisation à but non lucratif SaferAI. Cependant, le fossé entre les capacités de pointe et les pratiques de sécurité se creuse.

Selon l'évaluation de SaferAI, réalisée via l'API publique de Z.ai, GLM-5.2 n'a refusé aucune des tâches offensives en cybersécurité ou de biologie à double usage qui lui ont été confiées. En comparaison, Claude Opus 4.7 "a refusé si systématiquement que SaferAI n'a pas pu compléter CyberGym sur ce modèle". (CyberGym est un benchmark qui évalue les capacités en cybersécurité. OpenAI l'a utilisé dans l'évaluation qui a précédé la violation de Hugging Face le mois dernier.)

C'est un rappel frappant de ce que certains critiques avertissent depuis des années : que les modèles d'IA à poids ouverts pourraient mettre des IA hautement capables entre les mains de potentiels attaquants, sans moyen de contrôler comment ils utilisent la technologie une fois qu'ils ont téléchargé les poids. Avec les modèles à poids ouverts s'approchant rapidement des capacités des systèmes d'IA les plus avancés au monde, le débat passe de la question de savoir s'ils peuvent rivaliser à celle de la manière dont la société gère les risques une fois qu'ils sont libérés.

« La frontière des capacités n'est pas la frontière des risques, et nous devons donc prendre en compte l'état des mesures d'atténuation pour évaluer correctement le risque », a déclaré Henry Papadatos, directeur exécutif de SaferAI, à TechCrunch.

Bien que Z.ai puisse appliquer des mesures de sécurité à son API hébergée, ces protections deviennent inapplicables une fois que quelqu'un exécute les poids sur son propre matériel, où il peut supprimer ou modifier toute protection, affiner les modèles ou changer les invites système.

Les développeurs de pointe comme OpenAI et Anthropic ont tendance à s'appuyer sur des protections telles que des classificateurs, un entraînement au refus et des contrôles au niveau de l'API pour limiter l'assistance dangereuse en cybersécurité et en biologie.

Ces mesures sont loin d'être infaillibles : des jailbreaks contournent régulièrement les protections sur les modèles déployés. Far.ai, une organisation à but non lucratif dédiée à la sécurité de l'IA, a trouvé des centaines de jailbreaks universels — définis comme des clés réutilisables qui réussissent la plupart des demandes nuisibles — dans des modèles de pointe comme Grok 4.5 de xAI et Gemini 3.1 Pro de Google DeepMind. Selon le rapport, les jailbreaks réussissent lorsque les attaquants combinent plusieurs techniques de manipulation — y compris le jeu de rôle, l'imitation d'autorité, l'historique de conversation faux et les invites de suivi — pour amplifier les points faibles dans les défenses d'un modèle.

Mais les protections en place pour les modèles fermés ne fonctionnent pas du tout sur les modèles à poids ouverts, qui sont conçus pour fonctionner sur n'importe quelle infrastructure avec n'importe quel ensemble de protections — ou l'absence de celles-ci.

« L'objectif devrait clairement être que les bonnes capacités — celles qui sont sûres — soient accessibles à tous, et ensuite nous essayons de supprimer les mauvaises, même de manière open source », a déclaré Papadatos.

Une technique que Papadatos a notée comme pouvant aider s'appelle « filtrage des données de pré-entraînement », qui consiste à retirer les informations offensives en cybersécurité des données d'entraînement d'une entreprise d'IA et ensuite à entraîner le modèle sur le jeu de données sélectionné.

Certaines recherches suggèrent que cela peut réduire les connaissances biologiques dangereuses sans nuire à la performance globale du modèle. Cependant, pour la cybersécurité, le filtrage des données est beaucoup moins pratique.

Il est difficile d'entraîner un modèle général qui excelle en programmation mais qui n'est pas également un bon hacker. Comme la programmation est devenue le principal générateur de revenus de l'IA, les développeurs sont sous pression pour continuer à améliorer ces capacités tout en cherchant des moyens de limiter les abus.

En raison de cela, les développeurs de pointe se sont de plus en plus appuyés sur d'autres mesures d'atténuation. Une approche a été de restreindre sélectivement les types d'assistance en cybersécurité que les modèles fourniront. Par exemple, Opus 5 d'Anthropic peut rechercher des vulnérabilités dans le code source non compilé, mais pas dans les logiciels compilés, selon la carte système du modèle. Le raisonnement est que cela rend plus difficile l'utilisation d'Opus 5 à des fins offensives.

D'autres incluent des évaluations de sécurité rigoureuses avant le déploiement, la publication d'évaluations des risques et la rétention des poids du modèle si un système est perçu comme trop dangereux.

Dans le cas de GLM-5.2, SaferAI indique que Z.ai n'a pas publié de cadre de sécurité, d'engagements de tests avant déploiement ou d'évaluation des risques pour le modèle. TechCrunch a demandé à Z.ai s'il avait réalisé des évaluations de sécurité internes ou tierces avant la sortie, mais n'a pas reçu de réponse.

Les dirigeants chinois ont de plus en plus reconnu les risques de l'IA avancée. Lors de la Conférence mondiale sur l'IA le mois dernier, le président chinois Xi Jinping a souligné l'importance des modèles à poids ouverts, tout en insistant sur la nécessité de garantir que l'IA reste un outil sous un contrôle humain strict.

Graham Webster, qui étudie la politique de l'IA en Chine au Stanford Cyber Policy Center, a déclaré à TechCrunch que la Chine dispose de réglementations robustes régissant l'IA, mais que ces règles se sont historiquement concentrées sur le contenu politiquement sensible, la désinformation et la stabilité sociale plutôt que sur des risques catastrophiques liés à l'IA, tels que les capacités offensives en cybersécurité et les abus biologiques.

« Les penseurs américains de l'IA sont, en général, plus préoccupés par cette idée catastrophique existentielle que la communauté chinoise », a déclaré Webster, ajoutant que de nombreux chercheurs en politique chinoise estiment que si un risque de frontière véritable devait se produire, les entreprises américaines seraient probablement les premières à y faire face.

« Le système chinois a confiance dans sa capacité à contrôler l'utilisation de ces technologies à l'intérieur de la Chine », a poursuivi Webster. « Être en ligne en Chine est quelque chose que vous faites sous votre vrai nom, et les entreprises peuvent être tenues responsables, les utilisateurs peuvent être tenus responsables. »

Webster a suggéré que le même mécanisme que les fournisseurs de modèles utilisent pour refuser de s'engager sur certains sujets politiques pourrait potentiellement être ajusté pour s'assurer que les modèles refusent de réaliser des attaques cybernétiques offensives ou ne livrent pas de résultats d'ingénierie biologique néfastes. Il a ajouté qu'en raison de la tendance des entreprises chinoises à coordonner avec les régulateurs en coulisses, il peut être difficile de savoir quels tests internes elles effectuent avant la sortie.

Les défenseurs de l'IA à poids ouverts soutiennent que la publication des poids est importante pour la cybersécurité car elle permet aux entreprises de se défendre contre les attaques — Hugging Face a utilisé GLM-5.2 pour se défendre contre la violation d'OpenAI — et parce qu'elle leur permet de mieux se préparer aux menaces futures si elles savent ce qui s'en vient.

« Les mêmes systèmes qui ont aidé à arrêter une cyberattaque alimentée par l'IA peuvent maintenant aider à défendre contre des millions de cyberattaques chaque jour, tout en nous aidant à identifier et à corriger les vulnérabilités avant que les attaquants ne les exploitent », a déclaré Clem Delangue, PDG de Hugging Face, cette semaine dans un post sur les réseaux sociaux.

Papadatos a déclaré que cet avantage est souvent exagéré et ne signifie pas « que nous devrions rendre accessibles des capacités dangereuses ».

« Le principal point à mes yeux est que nous ne devrions pas simplement accepter que des capacités dangereuses soient facilement accessibles par quiconque, n'importe où », a-t-il déclaré, soulignant qu'il croit que l'industrie devrait s'efforcer de ne rendre accessibles que les « bonnes capacités ». Par défaut, les attaquants adoptent de nouveaux outils plus rapidement que les défenseurs. Par exemple, un groupe de ransomware peut changer ses méthodes en une semaine. Un hôpital ne le peut pas.