Sur ARC-AGI-3, lancé le 25 mars 2026, tous les modèles de pointe évalués obtiennent moins de 1 %, tandis que les humains résolvent tous les environnements. Cette évaluation porte sur l’apprentissage, le raisonnement et l’adaptation face à l’inconnu. D’autres expériences documentent des écarts entre réussite d’un modèle isolé, application d’une règle et assistance à des utilisateurs.
Les utilisateurs ne retrouvent pas les scores médicaux
À Oxford, un essai réunissant 1 298 participants a comparé plusieurs façons d’identifier des affections médicales. Les chercheurs ont mesuré 94,9 % de bonnes réponses lorsque les grands modèles de langage travaillaient seuls. Les participants assistés par ces mêmes outils n’ont pas dépassé 34,5 %, contre 47 % pour le groupe témoin qui effectuait ses propres recherches.
L’automatisation complète de travaux réels fait également l’objet de mesures distinctes. Selon Scale AI, les agents les mieux classés réalisaient intégralement 2,5 % des projets freelance évalués au lancement de son index de travail à distance. Il s’agissait surtout de créations sonores ou visuelles, avec certains travaux sur les données ou la rédaction. Au 7 octobre 2026, le modèle en tête du classement atteignait 20,8 %.
Les compétences sur lesquelles les utilisateurs peuvent compter restent difficiles à cerner et varient avec les mises à jour. Une approche émergente consiste à examiner séparément les tâches automatisables à l’intérieur d’un métier, plutôt qu’à considérer celui-ci comme un ensemble indivisible.
Des écarts entre définition, perception et raisonnement
Des systèmes conçus par Google et OpenAI ont résolu cinq des six problèmes de l’Olympiade internationale de mathématiques. Quelques mois après, des chatbots proposaient pourtant de marcher pour conduire une voiture au garage, à 50 mètres. Andrej Karpathy, cofondateur d’OpenAI et ancien responsable de l’IA chez Tesla, a nommé ces capacités disjointes « intelligence ébréchée » en juillet 2024. Le phénomène recouvre des écarts entre tâches, entre difficultés et entre évaluation et usage : une réussite ne permet guère de prévoir la suivante.
Une évaluation menée par des chercheurs du MIT, de Harvard et de l’université de Chicago a porté sur sept modèles, avec des notions de poésie, de psychologie et de théorie des jeux. Ils rapportent environ 94 % de définitions correctes, mais environ 55 % d’échecs lorsqu’il fallait classer des cas relevant des mêmes concepts. GPT-4o a ainsi expliqué correctement les rimes ABAB avant de produire un poème ne respectant pas ce schéma. Contrairement aux compétences humaines, qui tendent à progresser ensemble, celles des modèles ne présentent pas toujours cette cohérence : savoir produire du code fonctionnel ne garantit pas de savoir compter les mots d’un paragraphe.
ClockBench a mesuré en septembre 2025 une autre dissociation : les humains lisaient correctement les horloges analogiques dans 89,1 % des cas, contre 13,3 % pour Gemini 2.5 Pro, alors le meilleur modèle évalué. Cette lecture exige de localiser les aiguilles, d’apprécier leurs angles puis de leur associer des nombres. Les calculs suivants étaient justes lorsque l’heure avait été reconnue correctement : la défaillance observée concernait la perception.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Chez Apple, des chercheurs ont fait varier la difficulté de Tower of Hanoi, River Crossing et Blocks World. Les modèles standard devançaient ceux de raisonnement sur les énigmes faciles ; la comparaison s’inversait à difficulté moyenne. Sur les problèmes difficiles, les deux catégories échouaient, même avec l’algorithme de résolution fourni. Ces résultats, associés à l’évaluation Illusion de Pensée, sont contestés.
Plusieurs explications aux faiblesses des modèles
L’apprentissage par renforcement avec récompenses vérifiables, ou RLVR, est devenu une composante importante de l’entraînement en 2025. Il repose sur des réponses contrôlables, comme un résultat mathématique ou du code passant des tests. Karpathy estime que cette méthode favorise des capacités particulièrement élevées dans les domaines vérifiables ; dans cette explication, les progrès sont plus lents en création littéraire, en philosophie ou dans certaines sciences, dépourvues de vérificateur automatique. Il a déclaré en 2025 ne plus faire confiance aux benchmarks. Leurs exercices vérifiables permettent aux laboratoires d’entraîner les modèles sur des tâches proches, avec une hausse possible du score sans gain général équivalent.
Les chercheurs d’Apple associés à GSM-Symbolic proposent une autre hypothèse : les modèles reproduiraient des séquences apprises plutôt qu’un raisonnement logique, qu’une petite modification pourrait alors interrompre. Avec GSM-NoOp, ils ont introduit des détails inutiles dans des problèmes de mathématiques de niveau primaire. Des modèles ont notamment retiré du total des kiwis simplement décrits comme plus petits que la moyenne. Selon ces chercheurs, l’ajout d’une information apparemment pertinente a entraîné une baisse des performances atteignant 65 % sur des modèles de pointe.
Les chercheurs du MIT, de Harvard et de l’université de Chicago invoquent pour leur part des représentations internes incompatibles : une définition correcte pourrait coexister avec une conception erronée, sans obligation de cohérence. Ils soutiennent aussi que les tests extrapolent une compréhension à partir de quelques réponses justes en supposant des erreurs aussi régulières que celles des humains, alors que les modèles pourraient réussir sans comprendre. Certains chercheurs privilégient une interprétation plus radicale, celle de compétences séparées sans intelligence générale sous-jacente. Aucune de ces explications n’est définitive, et plusieurs peuvent se combiner.
Tester les réponses et mesurer les résultats par catégorie
Un protocole possible consiste à modifier la formulation d’une demande réelle ou à ajouter un détail sans utilité, puis à vérifier la stabilité de la réponse lorsque la solution attendue demeure identique. Un autre consiste à faire appliquer une règle à de nouveaux cas, par classement ou génération d’exemples, plutôt qu’à demander seulement sa définition.
Une précision moyenne peut dissimuler une dégradation sur certaines demandes ; mesurer les résultats par catégorie constitue donc une autre méthode proposée. Les catégories défaillantes peuvent être dirigées vers une version antérieure, avec réexamen de cette règle lors de chaque mise à jour. Dans les domaines sans contrôle automatique, où le RLVR ne peut pas s’appliquer, la méthode proposée reste une vérification humaine.






