Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une nouvelle évaluation pour les IA
Le 27 mars 2026 marque la sortie de la dernière version du benchmark ARC-AGI, intitulée ARC-AGI-3. Ce test vise à évaluer les systèmes d'intelligence artificielle dits "agentiques", qui sont conçus pour agir et apprendre dans des environnements interactifs. Bien que ces modèles aient montré des performances impressionnantes sur d'autres benchmarks, ils échouent largement à ce test spécifique.
Historique des benchmarks ARC-AGI
Les tests précédents, ARC-AGI-1 et ARC-AGI-2, ont été développés par le chercheur français François Chollet. Ils avaient pour objectif de mesurer la capacité des modèles d'IA à abstraire et à généraliser à partir de quelques exemples. ARC-AGI-1 proposait des puzzles simples pour les humains mais complexes pour les modèles d'IA. Avec ARC-AGI-2, lancé en mars 2025, la difficulté a été augmentée avec des tâches plus complexes. Bien que les performances des IA se soient améliorées au fil du temps, cette progression semble aujourd'hui atteindre ses limites.
Les résultats décevants d'ARC-AGI-3
Dans ARC-AGI-3, les modèles d'IA sont confrontés à des environnements interactifs où ils doivent agir étape par étape sans instructions explicites. Ce benchmark est conçu pour que 100 % des environnements soient résolus par des humains, et des volontaires non entraînés y parviennent effectivement. En revanche, les systèmes d'IA de pointe affichent des taux de réussite inférieurs à 1 %. Par exemple, Gemini 3.1 Pro atteint seulement 0,37 %, GPT-5.4 obtient 0,26 %, Claude Opus 4.6 est à 0,25 %, et Grok-4.20 ne réussit aucun test.
Objectifs et méthodologie d'ARC-AGI-3
ARC-AGI-3 se compose de mini-jeux abstraits joués au tour par tour. Les agents doivent observer l'état de l'environnement, choisir une action, et évaluer le résultat avant de décider du coup suivant. Le test ne repose pas sur des connaissances du monde ou du langage, mais sur des capacités de raisonnement de base, telles que la détection de régularités, la manipulation d'objets, et l'anticipation des conséquences de leurs actions.
La définition de l'AGI selon l'équipe ARC
Pour l'équipe ARC, l'intelligence artificielle générale (AGI) est définie comme la capacité d'un système à acquérir n'importe quelle compétence humaine avec la même efficacité qu'un humain. L'intelligence n'est pas simplement la somme des compétences, mais réside dans la rapidité et l'économie d'apprentissage de nouvelles compétences.
Une conclusion révélatrice
ARC-AGI-3 sert de thermomètre pour mesurer l'écart entre les modèles d'IA et l'intelligence humaine. Malgré les avancées technologiques, toutes les IA vedettes échouent à ce test, soulignant les défis persistants dans le domaine de l'intelligence artificielle. Toutefois, cela pourrait n'être qu'une question de temps avant que des progrès significatifs ne soient réalisés.
