Trois modèles généralistes ont été mis à l’épreuve sur un wireframe, un rapport projet, une analyse de données et une stratégie go-to-market. Deux ont bouclé les quatre exercices, tandis que l’un a buté à deux reprises sur un fichier CSV. Les écarts se lisent aussi dans les plans GTM et les prix de liste API au 22 octobre.
Verdict, barème et prix de liste API au 22 octobre
Le barème distinguait trois issues : 10/10, 9/10 et NC pour non complété ou non comparable. GPT-6 Astra a été retenu de justesse, grâce à un léger avantage sur les plans de contingence GTM. Claude Opus a terminé les quatre tâches et en a égalé trois, mais son plan de repli GTM nécessitait un ajustement. Le travail d’Argon était utile là où il était complet, mais l’échec à traiter le CSV a empêché une comparaison homogène ; NC n’étant pas zéro, aucun total global n’a été attribué à Argon. Côté tarifs API vérifiés au 22 octobre, Astra affichait 50 par million de tokens en entrée et sortie, contre 10 pour Opus. Jusqu’en novembre, Argon affichait un tarif de 10, puis passait à 20 à partir de décembre. Les tâches réalisées dans le navigateur n’ont pas fait l’objet d’une évaluation des coûts, et les prix indiqués ne correspondent pas au coût réel des exécutions. Astra et Opus utilisaient le réglage Max, tandis qu’Argon était sur High, sans standardisation du calcul entre modèles.
Analyse de données BrightPath : deux réussites et un échec CSV
L’exercice d’analyse de données demandait d’allouer les 1 000 dollars suivants après comparaison de quatre semaines récentes avec les quatre premières, avec tableau avant-après, trois insights, deux actions et une limite, en moins de 350 mots. Astra et Opus ont identifié que la conversion recherche est passée de 10 % à 11 %, et celle des réseaux sociaux de 4 % à 5 %, mais le taux global a reculé car la part des sessions issues des réseaux sociaux a augmenté de 16,7 % à 75 %. Tous deux ont priorisé un test recherche surveillé, sans garantir de rendement marginal, en s’appuyant sur des coûts d’activation récents de 19,70 dollars pour la recherche contre 33,33 dollars pour les réseaux sociaux. Argon, de son côté, a rapporté un CSV d’entrée vide et renvoyé un cadre non peuplé, malgré une seconde tentative avec les mêmes fichiers ; les deux réponses étaient issues du réglage High. Une sortie partielle mentionnait 6,5 % de conversion inscriptions et 25,44 dollars de coût par activation, avec une hausse de coût de 23,3 %.
GTM ShelfCheck : objectifs chiffrés tenus, divergences sur le repli
La stratégie visait 12 magasins payants d’ici le jour 42, avec des essais de 14 jours et une capacité de six intégrations hebdomadaires. Tous les modèles ont ciblé des magasins indépendants, écarté les intégrations non supportées et utilisé des contacts chaleureux. Les plans respectaient un plafond d’acquisition effectif de 3 000 dollars, soit douze clients à 250 dollars de CAC. Au mieux, 24 essais pouvaient démarrer d’ici le jour 28 ; atteindre douze payeurs supposait un taux de conversion d’au moins 50 %. Le plan d’Astra, budgété 1 200 dollars, relevait explicitement la prévision de conversion requise après des débuts inférieurs au plan. Celui d’Opus, à 1 250 dollars, restait solide mais son repli à « au moins 55 % » était trop large dans un scénario à neuf débuts précoces, où 21 essais restants impliquent 57,1 %. Le plan d’Argon, à 1 200 dollars, ne compensait pas la capacité perdue en se contentant de charger les semaines suivantes et dépassait la contrainte de 450 mots. Une activité de recherche web a été observée côté Argon malgré la consigne d’utiliser uniquement le brief, mais les faits matériels finaux sont restés dans son périmètre.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Wireframing ShiftBridge : trois HTML autonomes, détail d’exécution
Le tableau de bord attendu devait être livré en HTML autonome, centré sur le travail du coordinateur, avec interactions incluses et une explication de moins de 60 mots. L’affichage bureau demandé était de 1440 × 900, avec une utilisation mobile opérationnelle et un contrôle des filtres de shifts non couverts, du panneau d’attribution, de la fermeture et de la touche Échap avec retour de focus. Les trois modèles ont produit un HTML fonctionnel, avec filtres et panneaux conformes, et une validation mobile réussie à 390 × 844. Astra et Opus ont fourni des interfaces respectant la résolution 1440 × 900. Argon a généré une mise en page atteignant 987 pixels de largeur et a demandé un enregistrement manuel de son code de chat sans modification ; son interface était la plus rudimentaire et certains boutons n’étaient pas opérationnels.
La synthèse réunit les données divergentes du dossier PDF
La synthèse devait concilier un dossier comprenant un PDF de deux pages avec des divergences, pour un rapport daté du 22 octobre 2026 et limité à 350 mots, incluant un tableau risques-actions, l’état d’avancement, la recommandation sur le pilote du 2 novembre, la position budgétaire et les décisions à prendre avant le point de contrôle du 30 octobre. Les trois modèles se sont appuyés sur un résultat d’acceptation de 18/24 et deux défauts de priorité un ouverts, et ont convergé vers une prévision de 53 600 dollars soulignant un écart de 5 600 dollars. Aucun n’a considéré les revues programmées comme des approbations ni validé le pilote de façon anticipée ; les informations sur les propriétaires, les actions et les dates étaient utilisables. Les formats variaient : Astra a fourni un document succinct, Argon a remis un rapport organisé selon les usages, et Opus a mentionné une révision de confidentialité non attestée tombant le jour de la décision. Tous les livrables ont été évalués comme satisfaisants.
Cadre de test : tentatives, réglages et non-standardisation
Les essais ont été conduits avec une tentative par tâche, assortie d’une reprise spécifique pour la tâche CSV d’Argon. Argon opérait en mode High, son niveau de pensée le plus élevé, tandis qu’Astra et Opus utilisaient Max. Les paramètres retenus ne standardisaient ni la puissance de calcul ni les outils, l’exercice relevant d’une comparaison pratique plutôt que d’un protocole de benchmark à essais répétés.
