Kimi K3 : Moonshot AI échoue face aux modèles américains

Kimi K3 : Moonshot AI échoue face aux modèles américains

Une évaluation conjointe de l'Institut britannique de sécurité de l'IA et du Centre américain pour les normes et l'innovation en IA a révélé que Kimi K3 de Moonshot AI assiste aux opérations de cyberattaque sans résistance significative.

Kimi K3 est largement distancé par les modèles américains de pointe en matière de développement d'exploits et d'attaques réseau simulées, bien qu'il ait surpassé le modèle chinois GLM-5.2. Les modèles chinois continuent de s'améliorer dans les tâches cybernétiques, mais restent derrière les systèmes américains. Les résultats de Kimi K3 corroborent également les allégations selon lesquelles Moonshot AI aurait distillé des modèles plus avancés.

Performances de Kimi K3

Kimi K3 est à la traîne par rapport aux modèles américains sur les tâches de cyberattaque, mais il établit un nouveau standard parmi les modèles à poids ouverts. Ses mesures de sécurité n'ont pas empêché le développement d'exploits ou les opérations offensives, et le modèle a assisté à ces deux activités sans opposition.

Kimi K3 ne parvient pas à atteindre les niveaux d'exploit les plus difficiles

Les instituts ont utilisé ExploitBench, un benchmark développé par l'Université Carnegie Mellon, pour tester les compétences en développement d'exploits. Ce benchmark utilise 41 vulnérabilités trouvées dans le moteur V8 de Chrome après 2023 pour évaluer l'avancement d'un modèle dans le processus d'exploitation logicielle.

• Les modèles américains de pointe ont obtenu une moyenne de 76,2 %, contre 32,2 % pour Kimi K3 et 24,4 % pour GLM-5.2.

Kimi K3 n'a atteint aucun des niveaux les plus élevés, connus sous le nom d'Exécution de code arbitraire (ACE), sur les 41 tâches. L'ACE est le niveau d'exploit le plus sévère car il donne aux attaquants un contrôle total sur un système cible. Les modèles américains de pointe ont atteint l'ACE dans 20 des 41 tâches.

Kimi K3 atteint la moitié d'une attaque réseau simulée

Le deuxième test, "The Last Ones" (TLO), simule une attaque sur un réseau d'entreprise avec un chemin d'attaque de 32 étapes à travers quatre sous-réseaux et environ 20 hôtes. Un expert humain aurait besoin d'environ 20 heures pour le compléter, selon les instituts. Seul un petit groupe de modèles peut résoudre TLO. Quatre modèles à poids fermés disponibles publiquement ont réussi le test jusqu'à présent, les plus performants réussissant six ou sept fois sur dix.

• Kimi K3 a atteint en moyenne l'étape 17 sur 32, contre 28,5 étapes pour les modèles américains de pointe et seulement 11 pour GLM-5.2. Il a complété l'ensemble du chemin d'attaque dans une des dix tentatives tout en restant dans la limite de 100 millions de tokens, montrant qu'il a la capacité mais ne peut pas l'utiliser de manière fiable.

Ni Kimi K3 ni GLM-5.2 n'ont réussi à réaliser des exploits complets (ACE), tandis que les modèles américains de pointe y sont parvenus dans 20 des 41 tâches.

Les modèles chinois progressent mais restent derrière les modèles américains

Une analyse chronologique par le CAISI suit les capacités cybernétiques des modèles américains et chinois depuis début 2025 sur une échelle basée sur l'Elo. Les deux courbes de tendance sont à la hausse, mais les modèles chinois restent systématiquement derrière leurs homologues américains.

• Les modèles d'IA chinois (rouge) ont gagné en capacités cybernétiques depuis 2025 mais restent constamment en retard par rapport à la tendance américaine (bleu). Une augmentation de 400 points de l'Elo signifie un bond de dix fois dans la probabilité de résoudre une tâche.

Dans une analyse précédente, l'institut britannique avait évalué l'écart de performance pour les modèles ouverts entre quatre et sept mois, contre six à dix mois au début de 2025. Les nouveaux résultats s'inscrivent dans ce schéma. Les modèles à poids ouverts chinois se renforcent, mais demeurent bien en deçà des systèmes américains de pointe.

L'AISI avertit que cet écart ne doit pas engendrer de complaisance. Les capacités cybernétiques croissantes des modèles ouverts créent "un risque persistant et irréversible d'abus".

Les résultats cybernétiques correspondent aux allégations de distillation

Les résultats concernant Kimi soutiennent également les allégations de distillation contre les développeurs de modèles chinois. Le conseiller scientifique américain Michael Kratsios a récemment accusé Moonshot AI d'avoir "distillé" le modèle Fable d'Anthropic en utilisant les meilleures sorties de Fable comme données d'entraînement pour améliorer les performances de Kimi K3. Kratsios a également allégué que Moonshot AI avait accès aux GB300 de Nvidia, qui sont soumis à des contrôles d'exportation américains.

Une explication de l'écart entre de solides benchmarks généraux et de faibles scores cybernétiques est que Kimi K3 pourrait avoir été principalement entraîné sur des sorties de Claude couvrant des connaissances générales, de la programmation et des tâches d'agent. Les classificateurs de sécurité d'Anthropic bloquent spécifiquement les requêtes avancées en matière de cyberattaque, de sorte que ces sorties seraient sous-représentées dans un ensemble de données de distillation construit à partir des réponses de Claude. Kimi K3 pourrait donc égaler les modèles occidentaux de pointe sur des benchmarks standards sans acquérir leurs capacités d'exploit plus profondes.

Les résultats de l'AISI soutiennent cette interprétation. L'institut a désactivé les mesures de sécurité au niveau système sur les modèles américains, révélant des capacités cybernétiques qui sont presque impossibles à accéder via des interfaces publiques et donc largement indisponibles pour la distillation.