Snowflake : GLM-5.2 défie Opus 4.7 avec un coût réduit

Snowflake : GLM-5.2 défie Opus 4.7 avec un coût réduit

Le PDG de Snowflake considère que GLM-5.2 est compétitif par rapport à Opus 4.7 à une fraction du coût.

Dans un benchmark de programmation réalisé par Snowflake, le modèle d'IA chinois GLM-5.2 et l'Opus-4.7 d'Anthropic ont obtenu des performances presque identiques, résolvant respectivement 66 et 67 pourcents des problèmes lors de trois tentatives par tâche.

Opus a un léger avantage en termes de précision lors de la première tentative avec 53,7 pourcents contre 47,6 pourcents pour GLM, et est également plus efficace dans l'ensemble : GLM nécessite en moyenne 99 itérations par tâche, contre 80 pour Opus, et consomme presque deux fois plus de tokens.

Malgré ces écarts d'efficacité, GLM-5.2 est considérablement moins cher à 4,40 dollars par million de tokens de sortie, créant une pression tarifaire significative qui pourrait remettre en question les évaluations élevées des entreprises d'IA occidentales comme OpenAI.

Snowflake a comparé GLM-5.2 et Opus 4.7 dans un benchmark pratique. Le modèle chinois a su se défendre.

Le test a couvert 103 tâches, chacune exécutée trois fois, où les modèles devaient écrire du code fonctionnant à la fois sur DuckDB et Snowflake. Lorsque chaque modèle a eu trois tentatives par tâche, les deux étaient au coude à coude : 66 % contre 67 % des tâches résolues.

La précision lors de la première tentative diverge : Opus a atteint 53,7 %, tandis que GLM n'a obtenu que 47,6 %, montrant que la sortie de GLM est moins cohérente. Le modèle chinois a également en moyenne 99 exécutions par tâche contre 80 pour Opus et a consommé 860 millions de tokens, presque le double des 439 millions d'Opus.

Opus 4.7 est le meilleur modèle, mais GLM est compétitif dans le benchmark de code de Snowflake et coûte beaucoup moins cher.

La force de GLM réside dans sa capacité à valider le code de manière fiable sur les deux plateformes (DuckDB et Snowflake) en même temps. Selon le PDG de Snowflake, Sridhar Ramaswamy, c'est pourquoi seul GLM a pu résoudre certaines tâches.

Ses faiblesses incluent une tendance à abandonner trop tôt et à vérifier de manière obsessionnelle les mauvaises choses. Lors d'une tâche, GLM a effectué 411 appels d'outils en 24 minutes, vérifiant les comptes de lignes, les distributions, les valeurs nulles et les types de colonnes, et a échoué à toutes ses trois tentatives. Opus a résolu la même tâche avec 49 appels en 9 minutes.

L'affirmation selon laquelle GLM produit un code plus propre n'a pas tenu, a déclaré Ramaswamy. Plus de vérifications ne conduisent pas à plus de résultats corrects. Malgré cela, l'équipe est enthousiaste à propos de GLM-5.2 et souhaite le rendre disponible pour les clients.

La tarification de la Chine met une pression réelle sur la bulle de l'IA occidentale

Les résultats sont particulièrement significatifs dans le contexte des prix. GLM-5.2 coûte 1,40 dollar par million de tokens d'entrée et 4,40 dollars par million de tokens de sortie, selon la fiche tarifaire officielle de Zhipu. Certains fournisseurs tiers proposent des tarifs encore plus bas que ceux de Zhipu.

• Claude Opus 4.7 coûte 5 dollars pour l'entrée et 25 dollars pour la sortie.
• GPT-5.5 coûte 5 dollars pour l'entrée et 30 dollars pour la sortie.

L'utilisation plus élevée de tokens par GLM réduit quelque peu cet écart de prix. Cependant, Anthropic et OpenAI font face à une pression tarifaire sérieuse, et cela touche directement le codage, le cas d'utilisation phare sur lequel parient les deux laboratoires d'IA occidentaux.

Si cette pression ralentit la croissance des revenus, ou pire, les réduit, le marché de l'IA déjà gonflé fait face à un véritable test de résistance. Les évaluations d'OpenAI et d'Anthropic reposent sur l'hypothèse que les revenus continuent de croître rapidement. Ces évaluations sont liées à des milliards de dollars d'investissements dans le développement d'infrastructures d'IA, allant des centres de données aux commandes de puces.