Sonnet 5 d'Anthropic : un benchmark révélateur pour les développeurs

Sonnet 5 : Un Benchmark Détaillé pour les Développeurs

Claire, une experte en intelligence artificielle, a entrepris de tester le dernier modèle d'Anthropic, Sonnet 5, en le comparant à plusieurs autres modèles de pointe. Elle a utilisé un benchmark qu'elle a elle-même développé, le How I AI Bench, pour évaluer de manière objective les capacités de Sonnet 5. Ce test a été effectué en aveugle, mettant Sonnet 5 face à des modèles comme Sonnet 4.6, Opus 4.8, GPT-5.5 et Gemini 3 Pro. Les critères d'évaluation incluaient les performances sur des tâches spécifiques, la création de prototypes, et l'analyse de la personnalité des agents.

Un Positionnement Tarifaire Stratégique

Sonnet 5 se distingue par son tarif, qui est plus proche des modèles précédents de la gamme Sonnet que de ses concurrents comme Opus. Avec un coût de 2 $ par million de tokens d'entrée et 10 $ par million de tokens de sortie jusqu'à la fin de l'été, Sonnet 5 se positionne dans une fourchette intermédiaire. Cependant, lors des tests de Claire, Sonnet 5 n'a pas brillé, se classant plutôt bas dans son évaluation personnelle. Cela suggère que le coût attractif de Sonnet 5 ne suffit pas à compenser une performance qui doit être jugée en fonction des besoins spécifiques de chaque utilisateur.

L'Importance de la Répétabilité dans les Tests

Les tests ponctuels, bien qu'initialement utiles, manquent souvent de répétabilité, ce qui est crucial pour évaluer réellement la performance d'un modèle. Claire a constaté que des modèles comme GPT-5.5 et GLM-5.2, bien qu'efficaces sur le moment, ne permettaient pas de comparer les résultats de manière fiable dans le temps. Le How I AI Bench de Claire surmonte ce problème en utilisant des entrées standardisées et un cadre fixe, garantissant ainsi que chaque nouveau modèle est évalué de manière cohérente. Claire a utilisé Claude Code pour construire ce benchmark en direct, ce qui a permis une évaluation rigoureuse et répétable.

Exploiter le Contexte avec Claude Code

Une des fonctionnalités intéressantes de Claude Code est sa capacité à utiliser l'historique des sessions pour générer des idées de benchmark adaptées aux besoins réels de l'utilisateur. Claire a pu demander à Claude Code de proposer des tâches d'évaluation basées sur leurs travaux antérieurs, en exploitant des données enregistrées sur son bureau. Cela montre comment les développeurs peuvent tirer parti de cet historique souvent sous-utilisé pour améliorer leurs propres benchmarks.

Évaluer les Sorties avec Intuition

Construire une page de scoring HTML pour évaluer les sorties des modèles selon l'intuition peut sembler fastidieux, mais Claire affirme que cela en vaut la peine. Elle a évalué manuellement 64 générations à travers cinq modèles, attribuant des scores d'intuition de 1 à 5 et exportant les résultats en JSON. Ce processus a révélé que l'intuition humaine reste un élément crucial du benchmark, souvent plus révélateur que les évaluations automatisées.

Les Limites des Évaluations Automatisées

Les évaluations par les modèles de langage, bien qu'utiles, tendent à être trop généreuses et à se concentrer autour de la moyenne. Claire a demandé à GPT-5.5 et Opus 4.8 de juger les sorties, mais ces modèles ont manqué des détails que Claire a immédiatement relevés, comme des prototypes défectueux. Cette observation souligne que les modèles actuels ne peuvent pas encore rivaliser avec l'œil humain pour détecter certains types d'erreurs.

Divergence entre Jugement Humain et Automatisé

Claire a remarqué une divergence significative entre son propre jugement et celui des évaluations automatisées. Les modèles ont classé Gemini 3 Pro en tête et Sonnet 4.6 en bas, alors que Claire avait une opinion inverse. En utilisant un index pondéré de 70/30 en faveur de son jugement par rapport à celui des LLM, Sonnet 4.6 est passé en tête, indiquant que les évaluations automatisées doivent mieux refléter les critères qui importent réellement aux utilisateurs.

Préférences Personnelles et Performances

Malgré des scores de benchmark inférieurs, Sonnet 4.6 reste le modèle préféré de Claire pour ses tâches quotidiennes, principalement en raison de sa personnalité. Elle utilise Sonnet 4.6 pour faire fonctionner son OpenClaw, appréciant la manière dont le modèle interagit avec elle. Claire paie spécifiquement pour des crédits API afin de maintenir cette interaction, aucun autre modèle n'ayant pu égaler Sonnet 4.6 dans l'évaluation de la voix.

Recommandations pour les Développeurs

Pour les développeurs, Claire recommande GPT-5.5 pour les PRD, Sonnet 4.6 pour les prototypes et les discussions, et Opus 4.8 ou Sonnet 5 pour la navigation dans le code. Ces recommandations sont basées sur un index pondéré qui reflète les préférences de Claire. Opus 4.8 reste pertinent pour les travaux UI complexes, tandis que Sonnet 4.6 est suffisant pour les tâches plus simples.

Améliorations Futures du How I AI Bench

Le How I AI Bench est encore en développement, en version un, et Claire prévoit d'y apporter plusieurs améliorations. La tâche de chasse aux bugs agentiques, par exemple, s'est révélée trop facile, chaque modèle l'ayant réussie. Claire envisage de retirer cette tâche et d'intégrer davantage ses préférences personnelles dans le cadre d'évaluation pour rendre le benchmark plus pertinent. Elle prévoit également de continuer à exécuter le benchmark à l'aveugle chaque fois qu'un nouveau modèle sort, afin d'assurer une évaluation continue et objective.

Gestion des Agents de Codage Autonomes avec OpenAI Symphony

Alessio Fanelli, fondateur de Kernel Labs, a partagé avec Claire ses méthodes pour gérer des agents de codage autonomes depuis son téléphone. En utilisant OpenAI Symphony, Linear, et un VPS cloud, il a transformé son approche de la gestion des agents, passant de "prompteur d'agent" à "gestionnaire d'agent". Cette transition a permis de surmonter les limitations des environnements d'exécution locaux et des interfaces encombrées.

La Clé de la Gestion Asynchrone

Alessio a expliqué que le passage à un VPS cloud avec plusieurs canaux de communication a rendu possible la gestion asynchrone des agents. Cela a permis de maintenir l'élan des projets, contrairement aux premiers flux de travail qui s'essoufflaient après quelques interventions.

Symphony : Une Spécification Markdown Opinionnée

Symphony n'est pas une solution magique, mais une spécification Markdown très opinionnée qui guide le comportement des modèles. Claire a souligné que cette simplicité est souvent mal comprise, alors que le cadre est simplement un fichier Markdown auquel les modèles se conforment.

Suivi des Coûts des Tokens

Le suivi des coûts des tokens par tâche est essentiel pour optimiser les configurations d'agents. Alessio a montré des exemples de tâches avec des coûts variant de 15 millions à 221 millions de tokens, soulignant l'importance de ce suivi pour améliorer les spécifications et les outils.

Gestion des Fichiers de Compétences

Alessio recommande de purger régulièrement les fichiers de compétences pour éviter les contradictions. Les modèles ont tendance à accumuler des instructions, ce qui peut devenir problématique. Garder les fichiers courts et précis est crucial pour une gestion efficace.

Opportunités Non Exploitées de l'IA

L'IA offre des opportunités pour les entreprises basées sur des données hétérogènes, comme les cartes à collectionner ou les vêtements vintage. Les modèles de langage sont capables de gérer ces données complexes sans nécessiter de prétraitement extensif, ouvrant de nouvelles possibilités commerciales.

Amélioration des Perceptions des Agents

Pour prolonger les exécutions autonomes, il est crucial de donner aux agents de meilleures perceptions, comme des captures d'écran ou des vidéos. Kernel Labs a développé Glimpse, une extension Playwright, pour améliorer la perception des agents face aux ambiguïtés de l'interface utilisateur.

Déchargement de Contexte

Le déchargement de contexte est une application sous-estimée de l'IA. Alessio a créé un système de surveillance des e-mails qui lui assure qu'aucune information importante ne lui échappe, réduisant ainsi son anxiété.

Compression de l'Avantage Informationnel

L'IA réduit l'avantage informationnel que l'échelle offrait auparavant. Par exemple, trouver des cartes Pokémon sous-évaluées, une tâche autrefois réservée aux experts, est désormais accessible grâce à des outils comme Codex.

L'Impact des Petites Entreprises

Les petites entreprises bénéficient grandement de l'IA, souvent sous-estimées dans les récits médiatiques. Alessio a observé au Japon que de petites opérations fonctionnent efficacement grâce à l'IA, offrant un avantage que les grandes organisations ne peuvent pas reproduire au même coût.