Zhipu AI révolutionne le développement web avec GLM-5V-Turbo

GLM-5V-Turbo : une avancée majeure pour Zhipu AI

Zhipu AI a récemment introduit GLM-5V-Turbo, un modèle multimodal révolutionnaire qui promet de transformer les maquettes de design en code front-end exécutable. Ce modèle est capable de traiter non seulement du texte, mais aussi des images et des vidéos, ce qui lui permet de générer du code directement à partir de ces supports visuels.

Le cœur de cette innovation repose sur un encodeur de vision propriétaire, conçu pour intégrer de manière fluide la perception, la planification et l'exécution dans un seul flux de travail. Zhipu AI affirme que GLM-5V-Turbo offre des performances exceptionnelles dans les benchmarks de codage multimodal et d'agents GUI, tout en maintenant ses compétences dans les tâches de codage basées uniquement sur le texte.

Un modèle conçu pour combler l'écart entre vision et code

GLM-5V-Turbo représente une avancée significative pour Zhipu AI, en tant que premier modèle de base de codage multimodal de l'entreprise. Capable de traiter des images, des vidéos et du texte, ce modèle est spécifiquement conçu pour optimiser les flux de travail d'agents.

L'objectif principal de GLM-5V-Turbo est de réduire l'écart entre la compréhension visuelle et la génération de code. Contrairement aux modèles traditionnels qui se concentrent uniquement sur le texte, celui-ci analyse les maquettes de design pour produire du code exécutable. Zhipu AI souligne que ce modèle s'intègre parfaitement avec des agents tels que Claude Code et OpenClaw, couvrant l'ensemble du cycle allant de la compréhension de l'environnement à l'exécution des tâches.

La capacité de gestion de la fenêtre de contexte est impressionnante, pouvant traiter jusqu'à 200 000 tokens, avec une sortie maximale de 128 000 tokens. Parmi ses fonctionnalités, on trouve un mode de réflexion, une sortie en streaming, des appels de fonction et un cache de contexte.

Fusion de la vision et du code dans un modèle unique

Zhipu AI attribue les performances remarquables de GLM-5V-Turbo à des améliorations dans quatre domaines clés : l'architecture du modèle, les méthodes d'entraînement, la construction des données et les outils.

Dès le début de l'entraînement, le modèle apprend à traiter simultanément les images et le texte, plutôt que d'ajouter un module de reconnaissance d'images à un modèle de langage déjà existant. Pour cela, Zhipu AI a développé un nouvel encodeur de vision, nommé CogViT. De plus, le modèle prédit plusieurs tokens à la fois lors de l'inférence, ce qui accélère la production des résultats.

L'apprentissage par renforcement est utilisé pour optimiser le modèle sur plus de 30 types de tâches, allant des STEM à la vidéo, en passant par les agents GUI et de codage, avec pour objectif de renforcer la perception, le raisonnement et l'exécution agentique.

Pour pallier le manque de données d'entraînement pour les agents, Zhipu AI a mis en place un système de données multi-niveaux, contrôlable et vérifiable. Les méta-compétences agentiques sont intégrées dès la phase de pré-entraînement pour améliorer la prédiction et l'exécution des actions dès le départ.

Une nouvelle chaîne d'outils multimodaux étend la portée de l'agent de l'interaction textuelle à l'interaction visuelle. Des outils pour le dessin de boîtes, les captures d'écran et la lecture de sites web, y compris la compréhension d'images, complètent le cycle de perception-planification-exécution.

Des performances impressionnantes dans les benchmarks

Selon Zhipu AI, GLM-5V-Turbo se distingue par ses performances de pointe dans les tâches de codage multimodal et d'agents. Le modèle obtient d'excellents résultats dans la génération de code à partir de designs, la génération de code visuel, la recherche multimodale et l'exploration visuelle. Il affiche des scores solides sur des benchmarks comme AndroidWorld et WebVoyager, qui testent la capacité d'un agent à naviguer dans des environnements GUI réels.

GLM-5V-Turbo se classe en tête dans la plupart des catégories de codage multimodal et d'utilisation d'outils. Claude Opus 4.6 se démarque dans certains benchmarks comme Flame-VLM-Code et OSWorld.

Dans les tâches de codage uniquement textuelles, GLM-5V-Turbo maintient ses performances malgré ses capacités visuelles supplémentaires, se classant bien sur les trois principaux benchmarks CC-Bench-V2 (backend, frontend, exploration de repo). Il affiche également de bons résultats sur PinchBench, ClawEval et ZClawBench, qui mesurent la qualité d'exécution des tâches. Des évaluations indépendantes sont encore en attente.

Dans les benchmarks de codage et d'agents uniquement textuels, Claude Opus 4.6 est en tête, mais GLM-5V-Turbo surpasse son propre modèle textuel GLM-5-Turbo et Kimi K2.5 dans plusieurs catégories.

Des maquettes de design à des projets front-end complets

GLM-5V-Turbo cible plusieurs cas d'utilisation spécifiques. Le modèle est capable de prendre des maquettes de design ou des images de référence et de générer un projet front-end complet et exécutable. Il reconstruit la structure et la fonctionnalité des wireframes, visant une cohérence visuelle parfaite avec des designs haute résolution.

Associé à des frameworks comme Claude Code, le modèle gère l'exploration autonome des GUI : il recherche des sites web cibles de manière autonome, cartographie les transitions de page, collecte des actifs visuels et des détails d'interaction, et écrit du code basé sur ce qu'il trouve. Zhipu AI qualifie cela d'amélioration par rapport à "recréer à partir d'une capture d'écran" à "recréer par exploration autonome".

Pour le débogage, le modèle capture des captures d'écran de pages cassées, repère automatiquement des problèmes de rendu comme des décalages de mise en page, des chevauchements de composants et des discordances de couleur, puis génère du code de correction. Avec GLM-5V-Turbo intégré, OpenClaw peut également comprendre les mises en page de sites web, les éléments GUI et les diagrammes, l'aidant à s'attaquer à des tâches plus complexes qui combinent perception, planification et exécution.

Zhipu AI propose des compétences officielles, y compris la légende d'images, l'ancrage visuel, la rédaction basée sur des documents, le filtrage de CV et la génération de prompts, toutes disponibles sur ClawHub. GLM-5V-Turbo est pour l'instant disponible uniquement sous forme d'API via la plateforme Zhipu AI, au prix de 1,20 $ par million de tokens d'entrée et 4 $ par million de tokens de sortie, le même tarif que le GLM-5-Turbo uniquement textuel et légèrement au-dessus du modèle de base GLM-5. Zhipu AI n'a pas encore annoncé de poids de modèle ouverts.

Les fondations posées par GLM-5-Turbo et GLM-5

Zhipu AI a récemment lancé GLM-5-Turbo, un modèle uniquement textuel conçu pour le cadre d'agent OpenClaw qui améliore les appels d'outils, le suivi des instructions, les tâches contrôlées par le temps et l'exécution de chaînes de tâches longues.

Parallèlement, Zhipu AI a introduit ZClawBench, un benchmark de bout en bout pour les tâches d'agents dans l'écosystème OpenClaw. Les résultats montrent que GLM-5-Turbo surpasse significativement son prédécesseur, GLM-5, et bat Claude Opus 4.6, Gemini 3.1 Pro, MiniMax M2.5 et Kimi K2.5 dans plusieurs catégories. L'utilisation des compétences dans l'écosystème OpenClaw a bondi de 26 à 45 % en peu de temps, signe d'un élan croissant pour les systèmes d'agents modulaires, selon Zhipu AI.

Avant cela, Zhipu AI a lancé GLM-5 à la mi-février : un modèle open-source avec 744 milliards de paramètres sous licence MIT que la société dit rivaliser avec Claude Opus 4.5 et GPT-5.2 sur les tâches de codage et d'agents. GLM-5 a atteint 77,8 % sur SWE-bench Verified, juste derrière Claude Opus 4.5 à 80,9 %. Le modèle fonctionne également sur des puces chinoises de Huawei et d'autres, ainsi que sur des GPU Nvidia, un avantage majeur compte tenu des restrictions à l'exportation américaines.

Alibaba adopte une approche similaire avec Qwen3.5-Omni, un modèle omnimodal qui traite le texte, les images, l'audio et la vidéo. Comme GLM-5V-Turbo, il génère du code à partir d'entrées visuelles mais accepte également des instructions vocales.