GPT-4o, Gemini et Claude : le test révélateur de leurs limites

Introduction au défi du protocole de la table spaghetti

Une étude pilote a récemment mis en lumière les capacités et les limites de trois systèmes d'intelligence artificielle de pointe : GPT-4o, Gemini 1.5 Pro et Claude 3.5 Sonnet. Ces systèmes ont été soumis au Protocole de la Table Spaghetti, un test conçu pour évaluer leur cohérence structurelle et leur capacité à gérer des tâches complexes. Les tests ont été menés dans des conditions identiques de février à mars 2026, et les résultats ont révélé un score agrégé de 4 sur 30, mettant en évidence une faiblesse commune à ces technologies sophistiquées.

Un designer senior d'une grande entreprise technologique a partagé une expérience qui résonne avec beaucoup de professionnels du domaine. En demandant à un modèle d'IA de réécrire son blog, il a été surpris de constater que le modèle avait ajouté, de manière autonome, une boîte de recherche avec une animation de flou et des fonctionnalités d'accessibilité. Ces ajouts, bien qu'inattendus, étaient d'une qualité supérieure à ce qu'il aurait pu concevoir lui-même. Lors d'une conférence majeure sur l'expérience utilisateur et l'intelligence artificielle, il a souligné que, en l'espace de trois ans, les capacités de l'IA ont évolué au point de surpasser le code front-end produit par des designers expérimentés.

Cette situation soulève une question cruciale : comment un modèle de prédiction de tokens peut-il générer des fonctionnalités aussi avancées sans instruction explicite ? La réponse réside dans l'ampleur de la formation de ces modèles, qui ont été nourris avec une quantité massive de code front-end, de documentation de systèmes de design, et de directives d'accessibilité. Lorsqu'il a généré la boîte de recherche, le modèle ne raisonnait pas sur les besoins spécifiques du blog, mais complétait des motifs basés sur une distribution statistique des tendances actuelles en design. L'accessibilité et l'animation de flou n'étaient pas des choix créatifs, mais des interpolations de tendances présentes dans les données d'entraînement.

Cette compréhension est essentielle car elle permet d'utiliser ces outils de manière plus éclairée et de formuler des demandes de changement plus précises et pertinentes.

Le Protocole de la Table Spaghetti

Le Protocole de la Table Spaghetti a été appliqué à trois systèmes d'IA multimodaux : GPT-4o, Gemini 1.5 Pro et Claude 3.5 Sonnet, sur une période de deux mois. Le score global de ces systèmes était de 4 sur 30, soit seulement treize pour cent du potentiel de cohérence structurelle. Un des résultats les plus notables a été observé avec Claude 3.5 Sonnet. Avant de générer une image, ce système a signalé linguistiquement l'instabilité structurelle, démontrant une conscience symbolique que des jambes en spaghetti ne peuvent pas soutenir une dalle en béton. Cependant, il a tout de même produit une image incohérente, remplaçant discrètement une des jambes en spaghetti par une jambe plus solide, sans reconnaître cette substitution.

Claude 3.5 Sonnet a ainsi montré une incapacité structurelle à appliquer sa compréhension symbolique lors de la génération. Il a échoué à intégrer cette connaissance comme contrainte physique, illustrant ce que l'on appelle l'Erreur d'Inversion.

En revanche, GPT-4o et Gemini 1.5 Pro n'ont pas montré de reconnaissance linguistique de l'impossibilité physique avant ou après la génération. Les deux systèmes ont rendu la configuration avec une fluidité photoréaliste complète, sans refuser le prompt ni proposer une alternative cohérente.

Chacun des trois systèmes a échoué de manière distincte. GPT-4o a produit la configuration impossible avec une confiance photoréaliste. Gemini 1.5 Pro a rendu une image fluide mais a intégré des éléments d'un prompt antérieur sans détection. Claude 3.5 Sonnet, bien qu'ayant signalé l'impossibilité, a quand même généré l'image incohérente.

Les trois éléments mesurés par le protocole

Les humains détectent instantanément l'impossibilité physique d'une configuration comme une dalle en béton sur des jambes en spaghetti. Cette capacité découle de notre expérience incarnée dans un monde physique soumis à la gravité et aux lois matérielles. Le Protocole de la Table Spaghetti exploite cette asymétrie entre l'intelligence humaine et l'IA pour diagnostiquer les faiblesses des systèmes d'IA.

Le protocole évalue trois modes d'échec distincts mais structurellement liés, chacun illustrant une absence fondamentale.

• Pilier 1 : Continuité
  Le système parvient-il à maintenir un modèle du monde cohérent et stable en quatre dimensions ? Un système physiquement ancré garde les objets dans des relations spatiales cohérentes tout au long d'une scène générée et à travers une séquence de générations liées. L'absence de cette capacité entraîne une dérive des objets et une perte d'intégrité structurelle de la scène.

• Pilier 2 : Gravité et Physique
  Le système applique-t-il une contrainte physique au moment de la génération ? Ce pilier est directement testé par le tableau de spaghetti. Un système physiquement ancré signale une configuration physiquement impossible avant de la rendre, refuse de la rendre, ou génère une alternative physiquement cohérente. Les systèmes actuels échouent à ce test, rendant la configuration avec fluidité.

• Pilier 3 : Réversibilité de la Pensée
  Le système peut-il tracer une séquence physique causale en avant et en arrière dans le temps, et maintenir des frontières claires entre des tâches séparées ? Ce pilier teste la capacité du système à suivre une chaîne de conséquences physiques. Lors de l'étude pilote, un prompt antérieur a contaminé une session ultérieure, montrant que le système n'avait pas de frontière entre deux tâches distinctes.

Ces trois piliers mesurent des aspects que l'on ne peut évaluer en regardant uniquement les sorties. Une image techniquement correcte peut obtenir un score de zéro sur ces trois piliers, car la fluidité ne garantit pas un ancrage physique ni une compréhension causale.