La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
L'importance du raisonnement sur la taille
Depuis une dizaine d'années, l'industrie de l'intelligence artificielle a été dominée par une idée reçue : plus un modèle est grand, plus il est intelligent. Cette croyance a conduit à la création de réseaux neuronaux toujours plus vastes, avec des milliards de paramètres, nécessitant des infrastructures énergivores pour leur entraînement. Cependant, cette course à la taille pourrait nous faire passer à côté d'une approche plus efficace. Et si l'intelligence ne dépendait pas de la taille du modèle, mais de sa capacité à raisonner sur une durée prolongée ? Un modèle plus petit, mais capable de réitérer ses solutions, pourrait-il surpasser un géant ?
La tendance actuelle à l'agrandissement des modèles a conduit à l'empilement de blocs de transformateurs et à l'ajout de milliards de paramètres, le tout nécessitant des centres de données massifs et énergivores. Pourtant, cette approche pourrait nous aveugler à une alternative plus efficiente. La véritable intelligence pourrait résider non pas dans la taille, mais dans la capacité d'un modèle à raisonner sur une période prolongée. Un modèle réduit, mais doté de la faculté de réitérer ses solutions, pourrait potentiellement surpasser un modèle mille fois plus grand.
La fragilité des géants
Pour comprendre pourquoi une nouvelle approche est nécessaire, il faut d'abord analyser les limites des modèles actuels comme GPT-4, Claude et DeepSeek. Ces modèles sont principalement conçus pour prédire le prochain mot dans une séquence, une tâche appelée prédiction du prochain token (NTP). Même avec des techniques comme la "Chaîne de Pensée" (CoT), ils ne font que deviner le mot suivant, ce qui n'est pas du véritable raisonnement.
Cette méthode présente deux principaux défauts. Premièrement, elle est fragile : une erreur dans les premières étapes peut entraîner une réponse incorrecte. Le modèle ne peut pas revenir en arrière pour corriger ses erreurs. Deuxièmement, elle repose sur la mémorisation plutôt que sur la déduction logique. Les modèles réussissent souvent parce qu'ils ont déjà rencontré des problèmes similaires, mais échouent face à des défis inédits.
Les modèles actuels, bien qu'impressionnants par leur taille, montrent des faiblesses notables. Ils sont entraînés principalement pour prédire le prochain token dans une séquence, ce qui les rend vulnérables à des erreurs dès les premières étapes du raisonnement. Une fois engagés sur un chemin, ils ne peuvent pas revenir en arrière pour corriger leur logique, ce qui peut mener à des erreurs de raisonnement. De plus, ces modèles s'appuient fortement sur la mémorisation des données d'entraînement plutôt que sur une véritable déduction logique, ce qui les rend inefficaces face à des problèmes qu'ils n'ont jamais rencontrés auparavant.
Modèles récursifs miniatures : échanger espace contre temps
Le Modèle de Récursion Miniature (TRM) propose une approche différente en décomposant le raisonnement en un processus cyclique et compact. Contrairement aux architectures traditionnelles qui traitent l'entrée en un seul passage, le TRM fonctionne comme une machine récurrente, améliorant sa sortie de manière itérative. Avec moins de 7 millions de paramètres, il parvient à surpasser les modèles actuels.
Le TRM se distingue par sa capacité à échanger l'espace contre le temps, en utilisant un processus de raisonnement cyclique et compact. Plutôt que de traiter l'entrée en un seul passage, comme le font les réseaux de transformateurs traditionnels, le TRM fonctionne comme une machine récurrente. Il s'appuie sur un petit module MLP unique qui améliore sa sortie de manière itérative, permettant ainsi de surpasser les modèles de raisonnement actuels avec un nombre de paramètres bien inférieur.
La configuration : la "Trinité" de l'état
Dans les modèles standard, l'état se limite à l'historique de la conversation. Le TRM, lui, utilise trois vecteurs d'information : la Question Immutable, l'Hypothèse Actuelle et le Raisonnement Latent. Ces vecteurs interagissent pour permettre au modèle de raffiner ses réponses.
Le TRM maintient trois vecteurs d'information distincts qui s'alimentent mutuellement : la Question Immutable, qui reste constante tout au long du processus ; l'Hypothèse Actuelle, qui est la meilleure estimation du modèle pour la réponse et qui est mise à jour au fil des itérations ; et le Raisonnement Latent, qui contient les pensées abstraites ou la logique intermédiaire utilisée par le modèle pour dériver sa réponse.
Le moteur central : la boucle d'un seul réseau
Au cœur du TRM se trouve un réseau neuronal simple, souvent à deux couches, qui fonctionne comme une fonction répétée. Le processus de raisonnement se déroule en deux étapes : le Raisonnement Latent et l'Affinement de la Réponse. Cette boucle permet au modèle d'affiner sa sortie sur plusieurs itérations.
Le TRM utilise un réseau neuronal central, souvent constitué de seulement deux couches, qui n'est pas une couche-modèle au sens traditionnel, mais fonctionne plutôt comme une fonction appelée de manière répétée. Le processus de raisonnement est divisé en deux étapes distinctes : le Raisonnement Latent, où le modèle met à jour sa compréhension interne du problème, et l'Affinement de la Réponse, où il projette ces insights dans son état de réponse.
Le bouton "Sortie" : Temps de calcul adaptatif simplifié
Le TRM innove également en adaptant le temps de calcul en fonction de la difficulté du problème. Grâce au Temps de Calcul Adaptatif (ACT), le modèle décide quand s'arrêter, optimisant ainsi l'utilisation des ressources.
Une autre innovation majeure du TRM réside dans sa gestion efficace du processus de raisonnement. Le modèle utilise le Temps de Calcul Adaptatif (ACT) pour décider dynamiquement quand s'arrêter, en fonction de la difficulté du problème d'entrée. Le TRM traite l'arrêt comme un problème de classification binaire, basé sur la confiance du modèle dans sa réponse actuelle, permettant ainsi une allocation efficace des ressources de calcul.
Le benchmark Sudoku-Extreme
Le TRM a été testé sur le benchmark Sudoku-Extreme, un ensemble de puzzles nécessitant une déduction logique profonde. Avec seulement 5 millions de paramètres, le TRM a atteint une précision de 87,4 %, surpassant largement les modèles traditionnels et récursifs plus grands. Cela démontre que la simplification de l'architecture et la focalisation sur une boucle récursive peuvent améliorer significativement la performance tout en réduisant la taille du modèle.
Le modèle récursif précédent à la pointe de la technologie (HRM) utilisait 27 millions de paramètres et a atteint une précision de 55,0 %. Les LLM de raisonnement standard d'aujourd'hui comme Claude 3.7, GPT o3-mini et DeepSeek R1 n'ont pu compléter aucun problème de Sudoku de l'ensemble de données, résultant en une précision de 0 %.