Brief IA : Google Argon : 97,5 % sur ARC, mais 49,8 % en test standard

Google Argon : 97,5 % sur ARC, mais 49,8 % en test standard

Brief IA
Tom Levy·4 min

Gemini 4 Argon atteint 97,5 % sur l’ARC-AGI-3 avec un harnais exploitant des fonctions d’API Le score descend à 49,8 % dans le cadre standard, avec des difficultés d’API Epoch AI attribue à Argon 165 points à l’ECI, derrière GPT-6 Astra et Opus 5.5, et relève des faiblesses en mathématiques et en ingénierie logicielle.

En bref
1Gemini 4 Argon atteint 97,5 % sur l’ARC-AGI-3 avec un harnais exploitant des fonctions d’API
2Le score descend à 49,8 % dans le cadre standard, avec des difficultés d’API
3Epoch AI attribue à Argon 165 points à l’ECI, derrière GPT-6 Astra et Opus 5.5, et relève des faiblesses en mathématiques et en ingénierie logicielle
Pourquoi c'est important : Ces résultats illustrent l’influence des méthodes de test sur les performances affichées et la position de Google face à ses concurrents sur des benchmarks clés.

Le modèle Gemini 4 Argon de Google s’approche du sommet sur un indice agrégé et affiche un 97,5 % sur l’ARC-AGI-3. Mais ce niveau repose sur une configuration tirant parti de fonctions d’API, alors que le score tombe à 49,8 % dans un cadre standard. Epoch AI crédite Argon de 165 points à l’ECI, tout en signalant des faiblesses en mathématiques et en ingénierie logicielle.

ECI : 165 points pour Argon, derrière Astra et Opus

Epoch AI suit la progression des modèles de Google et attribue à Argon 165 points sur son Epoch Capabilities Index, à égalité avec Fable 5.1 et juste derrière GPT-6 Astra à 166 et Opus 5.5 à 167. L’ECI agrège plus de 50 benchmarks en une mesure unique, proche de l’approche d’Artificial Analysis pour son score principal. Avec 165 points, Google se situe plus près de la frontière actuelle qu’il ne l’était depuis Gemini 3.1 Pro en février 2026. Argon dépasse au passage Gemini 3.8 Flash, noté 157. D’après Epoch AI, Argon occupe la première place sur divers benchmarks portant sur la connaissance, les agents et la vision, mais les premières évaluations le classent huitième sur l’ECI Math et sixième sur l’indice SWE ECI.

Le cadre standard fait chuter Argon à 49,8 %

Dans le Standard Harness, qui n’autorise que des notes simples entre les rounds, Argon atteint 49,8 % en mode faible raisonnement pour un coût de 5 800 $. Des difficultés d’API ont empêché le modèle de mener à terme l’ensemble des 55 jeux, selon les testeurs. En faible raisonnement, il a terminé 42 jeux (49,8 %) et en mode moyen 46 jeux (46,3 %). Au niveau le plus élevé, seulement 19 jeux ont été complétés, ce qui a conduit ARC Prize à ne pas publier de score. Les résultats agrégés couvrent néanmoins 55 jeux en intégrant des points partiels issus de tentatives interrompues.

Le brief IA que lisent les pros

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Polémique 2026 : paramètres d’API et comparabilité

En juillet 2026, GPT-5.6 Sol d’OpenAI a devancé Claude Opus 5 sur l’ARC-AGI-3 grâce à deux paramètres d’API. Dans l’environnement standard, GPT-5.6 Sol n’atteignait que 7,8 %, un cadre rejetant le raisonnement interne après chaque action et utilisant une interface plus ancienne dépourvue de fonctions récentes de l’API Claude, ce qui plaçait les modèles dans des conditions différentes. Avec l’API Responses d’OpenAI, intégrant le Raisonnement Conservé et la Compaction de contexte, GPT-5.6 Sol est monté à 38,3 % et a dépassé Opus 5 à 30,2 %. OpenAI a défendu l’idée que les benchmarks mesurent aussi l’environnement technique, et Francois Chollet a ensuite ouvert l’usage de paramètres d’API généraux et publics.

97,5 % sur ARC-AGI-3 avec un harnais exploitant l’API

Gemini 4 Argon affiche 97,5 % sur l’ARC-AGI-3 pour 4 800 $ en utilisant le Provider Adapter Harness, qui mobilise des fonctionnalités comme le raisonnement conservé et la compression de contexte. ARC Prize situe ainsi Google comme deuxième laboratoire, derrière OpenAI, à franchir le seuil de 95 %, tandis que GPT-6 Astra pointe à 99,9 %. Sur les 25 jeux publics de l’ARC-AGI-3, Argon et Astra ont requis 62 % d’actions en moins que la référence humaine et se sont souvent rapprochés du record de speedrun. Argon a égalé ou battu ce record dans trois jeux et s’est tenu à 10 % du meilleur temps dans six autres.

Anciennes versions d’ARC : scores élevés et coûts détaillés

Sur l’ARC-AGI-2, Argon a obtenu 91,3 % avec un coût estimé de 0,32 $ par tâche. Pour l’ARC-AGI-1, le modèle affiche un score de 98,5 % avec un coût de 0,16 $ par tâche. Ces valeurs sont calculées à partir d’un tarif initial de 2 $ pour un million de tokens en entrée et de 10 $ pour un million de tokens en sortie.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires