Puzzles d’IA : progrès rapides, angles morts persistants

Des études récentes et des exemples concrets opposent capacités et faiblesses des modèles. Ils réussissent des casse-têtes simples, mais trébuchent dès que l’échelle grimpe, peinent sur l’espace et les grilles visuelles, et se laissent piéger par la familiarité d’énoncés. À l’inverse, leurs performances ont bondi sur certains jeux récents.

Au-delà de six éléments, des études constatent un décrochage

Plusieurs travaux pointent un lien entre l’échelle d’un puzzle et la réussite des modèles. Des chercheurs d’Apple rapportent que des LLMs s’en sortent sur des versions simples de la Tour de Hanoï et des traversées de rivière, mais leur performance se dégrade quand la configuration atteint six éléments ou davantage. La Tour de Hanoï impose de déplacer des disques un par un sans poser un grand sur un petit, et les traversées de rivière obligent un groupe à respecter des règles spécifiques. Une autre étude menée à l’Université de Washington, à Stanford et à l’Allen Institute for AI observe des difficultés voisines sur des grilles logiques, où il faut déduire des attributs d’individus à partir d’indices. Apple a largement diffusé ses conclusions, tandis que des commentateurs ont discuté s’il s’agissait d’une limite propre au raisonnement des LLMs ou d’erreurs ordinaires dues à la complexité. Des énoncés pratiques prolongent ces constats, invitant à planifier des trajets de traversée ou à compléter une grille à solution unique.

La familiarité des énoncés induit des erreurs de mémoire

Les LLMs de pointe ont accumulé un très grand volume de faits et excellent dans des contextes de type quiz, mais cette mémoire peut les desservir. Si un puzzle présente une forte similarité avec un exemple rencontré lors de l’entraînement, ils risquent de négliger des distinctions importantes et de produire une réponse issue de leur mémoire. En 2024, des chercheurs de Google et de l’Université de l’Illinois à Urbana-Champaign ont fait l’apprentissage et l’évaluation de modèles sur des variantes très proches de Chevaliers et Vilains, un jeu où certains personnages sont systématiquement véridiques et d’autres systématiquement menteurs. Un fonctionnement analogue est supposé pour SimpleBench, dont les interrogations évoquent des problèmes plus sophistiqués qui ont vraisemblablement été exposés durant l’entraînement. Là où des humains détectent le piège, des modèles de premier plan trébuchent. Les consignes associées rappellent les règles des personnages et encouragent une lecture attentive des énoncés.

L’espace en 3D résiste aux modèles de langage

Le raisonnement spatial demeure un terrain d’avantage pour les humains. Les puzzles de rotation mentale, familiers des tests de QI, restent difficiles pour des modèles pourtant capables d’analyser des entrées visuelles. Malgré les discussions autour de « modèles du monde », les LLMs ne paraissent pas manipuler des objets en trois dimensions comme le font des professionnels aguerris à l’espace. Des exercices proposés demandent d’identifier un même objet vu sous un autre angle, avec une unique réponse correcte.

Grilles et règles abstraites: ARC-AGI expose des failles

Les difficultés ne se limitent pas à la 3D: en deux dimensions aussi, des puzzles posent problème. C’est déterminant sur ARC-AGI, un benchmark de puzzles où il faut inférer des règles générales à partir d’exemples. Les modèles performent mieux quand les grilles sont fournies comme chaînes de chiffres encodant les couleurs plutôt que comme images. Des travaux suggèrent qu’ils recourent alors à des règles byzantines peu généralisables, quand les humains mobilisent des concepts visuels simples. Malgré ces handicaps, leurs scores se sont nettement améliorés sur l’année écoulée, même si certains items continuent de les dérouter. Un exercice type consiste à déduire la règle de transformation entre paires de grilles avant de compléter une quatrième, indépendamment de l’orientation.

Quand les biais humains retournent le piège

L’IA n’est pas seule à se tromper: des limites cognitives propres aux humains ont été exploitées par des psychologues dans des séries de problèmes inversant l’avantage observé ailleurs. Dans ces cas, les réponses humaines sont souvent instinctives quand les modèles produisent des réponses plus délibérées. Certains énoncés surfent sur des erreurs fréquentes en calcul intuitif, d’autres induisent des réponses qui s’effondrent à une lecture attentive. Les consignes demandent une réponse rapide, ce qui accentue ces réflexes.

Des dames à Connections: des jalons et des chiffres récents

Depuis l’algorithme d’Arthur Samuel popularisant l’« apprentissage automatique » en 1959 sur le jeu de dames, les jeux comme les échecs ou le Go servent de bancs d’essai. Les puzzles jouent le même rôle pour évaluer des compétences fines. Sur Connections du New York Times, une équipe de Columbia a observé qu’à la fin de 2024 même les meilleurs modèles n’en résolvaient que 18 %, alors qu’au début de 2025 certains y parvenaient presque systématiquement. Les puzzles révèlent autant les progrès que les failles: subtilités d’énoncés, fragilité face au visuel. Les exercices proposés invitent à constater ces contrastes, chaque puzzle illustrant une différence de cognition, tout en offrant au lecteur la possibilité — pour l’instant — de surpasser des modèles.