OpenAI rend publiques ses mesures internes de perplexité, avec une série retraçant ses progrès depuis GPT‑3.5. Ce critère de qualité des prédictions est proposé comme repère pour comparer les modèles et définir des exigences communes de sécurité. Les valeurs publiées restent toutefois liées aux données d’évaluation propres à l’entreprise.
Les limites d’une comparaison entre laboratoires
Les développeurs n’entraînent pas leurs modèles sur les mêmes mélanges de données et ne les évaluent pas sur des corpus identiques. Les chiffres dévoilés par OpenAI proviennent de son propre jeu principal d’évaluation : ils ne constituent donc pas, en l’état, une comparaison commune aux laboratoires. L’entreprise estime néanmoins qu’un engagement de transparence permettrait de construire des méthodes de comparaison transférables entre modèles de base.
La mesure présente une autre restriction : elle ne correspond directement à aucune tâche pratique. Selon OpenAI, le raisonnement en chaîne peut améliorer fortement les capacités sans modifier la perplexité atteinte par le modèle. Les progrès obtenus après le préentraînement ne sont donc pas tous reflétés par cet indicateur.
Son minimum reste également indéterminé. Une perte de 0 supposerait de prédire les données de façon entièrement déterministe, une possibilité écartée par OpenAI, tandis que leur entropie intrinsèque demeure inconnue. À l’approche de ce plancher, l’entreprise estime que de faibles baisses supplémentaires pourraient correspondre à des gains d’intelligence plus importants, malgré un ralentissement apparent de l’indicateur.
OpenAI rapproche ses scores des capacités observées
La perplexité évalue la qualité moyenne de prédiction du prochain token : plus elle diminue, meilleure est la prédiction. OpenAI indique suivre ce critère depuis des années sur des données conservées pour l’évaluation. L’entreprise rapproche son évolution de plusieurs capacités apparues au fil des générations, sans affirmer que leurs seuils précis étaient prévisibles.
GPT‑2 avait, selon OpenAI, obtenu une performance alors inégalée sur d’anciens corpus ; l’entreprise le présente, avec réserve, comme le premier modèle sachant composer des paragraphes cohérents. GPT‑3 pouvait ensuite apprendre une tâche dans le contexte fourni, à partir de quelques exemples. Pour GPT‑3.5, fondation du ChatGPT initial et capable de conversations fluides, OpenAI annonce une log-perplexité d’environ 0.99 sur son actuel corpus principal.
GPT‑4 se situait, selon l’entreprise, autour de 0.91. Son aptitude à tirer parti du raisonnement en chaîne a encouragé le travail ciblé sur cette capacité, puis le développement des modèles de raisonnement modernes. Sous 0.8, OpenAI rapporte des capacités qu’il qualifie de transformantes en cybersécurité comme en mathématiques, tout en précisant que leur apparition à ces valeurs n’avait pas été anticipée.
L’entreprise affirme soumettre des problèmes mathématiques ouverts à ses modèles depuis plus d’un an pour les évaluer. Avec un modèle situé vers 0.76, elle dit avoir obtenu des résultats mathématiques majeurs. Des solutions successives ont circulé dans un même fil Slack, à la surprise de membres des équipes ayant travaillé en mathématiques ou dans des disciplines voisines.
Le préentraînement sert de repère aux progrès
Cette attention portée à la prédiction repose sur une description particulière du développement de l’IA. OpenAI présente l’entraînement d’un compresseur, également décrit comme un prédicteur, sur un vaste corpus comme la principale origine des capacités exploitées par les méthodes modernes. Dans ce schéma simplifié, un grand ordinateur sert au préentraînement sur des données non structurées ; les instructions, l’ajustement fin et l’apprentissage par renforcement font ensuite ressortir les aptitudes latentes.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Les avancées algorithmiques peuvent brouiller cette séparation. OpenAI distingue néanmoins la formation de capacités difficiles à anticiper, précédemment qualifiées de « mentalité alien », du travail ultérieur visant des comportements précis. L’entreprise présente aussi la perte d’entropie croisée comme une mesure équivalente à la perplexité.
Les évaluations de tâches, elles, changent avec les modèles. OpenAI considère la plupart des tests actuels comme peu pertinents pour GPT‑2 ou GPT‑3, alors que les épreuves plus anciennes étaient déjà largement saturées au stade de GPT‑4. Le suivi du préentraînement lui paraît susceptible de rester instructif plus longtemps : l’entreprise souligne que de nombreuses équipes travaillent depuis longtemps à optimiser la perplexité et lui associe des gains réguliers d’intelligence générale.
La recherche sur le préentraînement pourrait accélérer
OpenAI rapporte une participation croissante de l’IA à son propre développement. Les discussions portent souvent sur l’assistance aux chercheurs humains ou leur remplacement à chaque étape, jusqu’à l’auto-amélioration récursive complète : un processus entièrement automatisé, sans supervision humaine. Le maintien d’un contrôle humain est précisément invoqué pour écarter cet aboutissement.
Mais une accélération pourrait survenir avant cette automatisation générale, par la seule contribution des modèles à la recherche algorithmique sur le préentraînement. OpenAI envisage pour l’apprentissage profond une rupture comparable à celle qu’il rapporte en mathématiques. L’entreprise reconnaît que ce domaine dépend davantage de l’expérimentation, tout en rappelant que des idées simples peuvent y rester ignorées pendant des années.
Un afflux d’avancées fondamentales est ainsi envisagé dès 2027, et non annoncé comme acquis. OpenAI s’attend également à des contributions importantes de l’IA à l’alignement et à la surveillance. L’entreprise estime toutefois que ces progrès de sécurité risquent de ne pas être assez rapides pour autoriser une accélération complète du préentraînement.
Des limites communes liées aux progrès de surveillance
La proposition formulée chez OpenAI consiste à faire de la perplexité un repère partagé de l’intelligence générale, indépendamment du degré d’automatisation du développement, et à l’utiliser pour comparer les développeurs comme pour établir des normes de sécurité. L’entreprise reconnaît que ses mesures renseignent ses concurrents sur ses performances. Elle invoque néanmoins l’urgence d’exigences communes pour justifier cette transparence et en souhaite davantage dans l’industrie.
En prolongeant les tendances récentes, OpenAI envisage d’autres capacités transformantes vers une log-perplexité de 0.68-0.7, sans pouvoir préciser lesquelles. Ces aptitudes pourraient ne pas être couvertes par les évaluations actuelles. L’entreprise anticipe aussi une efficacité moindre des audits d’alignement dominants et une meilleure reconnaissance, par les modèles, des situations où ils sont entraînés ou évalués.
La proposition comprend des règles communes d’évaluation, de transparence et d’examen des garanties de sécurité dès la première utilisation des modèles concernés. Des limites fondées sur la perplexité et sur d’autres mesures ne pourraient être franchies qu’après des progrès concrets dans la compréhension et la surveillance de leur comportement. Le développement d’un successeur aux dispositifs surveillant le raisonnement en chaîne figure parmi les conditions envisageables. Une première limite industrielle pourrait ensuite être suivie d’autres seuils régissant la poursuite du développement.






