Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Les modèles de langage de grande taille (LLM) démontrent une capacité impressionnante à résoudre des problèmes complexes en programmation et en mathématiques, mais peinent lorsqu'il s'agit de questions plus simples du quotidien. Andrej Karpathy, une figure influente dans le domaine de l'intelligence artificielle, explique pourquoi cette situation n'est pas aussi contradictoire qu'elle pourrait le sembler.
Karpathy identifie deux groupes distincts dans la perception des progrès des LLM. Le premier groupe est constitué d'utilisateurs qui ont testé des versions gratuites de ChatGPT ou son mode vocal, souvent déçus par des erreurs manifestes et des hallucinations. Selon Karpathy, ces modèles ne reflètent pas l'état actuel des avancées technologiques.
Le second groupe, en revanche, utilise des modèles plus récents et performants, tels que GPT-5.4 Thinking d'OpenAI ou Claude Opus 4.6, dans des environnements professionnels comme Codex ou Claude Code. Ces outils ont permis des avancées significatives cette année, notamment en restructurant des bases de code entières ou en détectant des vulnérabilités de sécurité de manière autonome. Karpathy souligne que ces deux groupes discutent en réalité de sujets fondamentalement différents.
Il est intéressant de noter que, tandis que le mode vocal gratuit d'OpenAI peut échouer sur des questions simples, des modèles avancés comme Codex peuvent passer des heures à restructurer de manière cohérente une base de code ou à identifier des failles de sécurité dans des systèmes informatiques.
La vérifiabilité, clé des progrès de l'IA
Karpathy met en lumière un aspect crucial : les domaines où il est possible de vérifier clairement la justesse d'une réponse, comme le code ou les mathématiques, bénéficient davantage des progrès de l'IA. Cela est dû à l'apprentissage par renforcement, qui s'appuie sur des récompenses vérifiables pour optimiser les performances. En revanche, des domaines plus subjectifs, comme l'écriture ou le conseil, ne disposent pas de métriques claires à optimiser.
Cette situation soulève une question centrale : une intelligence générale peut-elle émerger des modèles de langage, ou ces modèles sont-ils destinés à exceller uniquement dans des domaines spécifiques ? Karpathy a déjà abordé ce problème dans un essai antérieur, soulignant que dans le paradigme du "Software 2.0", la capacité à vérifier un résultat est plus importante que la spécification de la tâche elle-même.
L'été dernier, des rumeurs ont circulé concernant un vérificateur universel d'OpenAI, qui pourrait rendre l'apprentissage par renforcement applicable à tous les domaines. Cependant, aucune avancée concrète n'a été réalisée à ce jour. Parallèlement, Jerry Tworek, une figure clé de la stratégie d'apprentissage par renforcement d'OpenAI, a récemment quitté l'entreprise, déclarant que "la recherche en apprentissage profond est terminée".
