Calibration des modèles de langage : défis et solutions innovantes

Comprendre la calibration des modèles de langage

Lorsqu'un modèle de langage affirme avoir 90 % de confiance dans une prédiction, il devrait être correct 90 % du temps. Cependant, cette relation idéale est souvent compromise, menant à un problème de mauvaise calibration. Les scores de confiance des modèles cessent alors de refléter leur fiabilité réelle. Ce problème est particulièrement répandu dans les grands modèles de langage (LLMs). Une enquête menée lors de la NAACL 2024 a révélé que les scores de confiance des LLMs divergent souvent des taux de correction réels dans des tâches telles que les questions-réponses factuelles, la génération de code et le raisonnement.

Dans le domaine biomédical, une étude a montré que les scores de calibration moyens variaient de 23,9 % à 46,6 % pour tous les modèles testés, soulignant un écart constant et préoccupant. Pour remédier à ces problèmes, la recalibration post-hoc est une solution standard en apprentissage automatique classique. Elle consiste à ajuster une fonction simple sur un ensemble de validation mis de côté pour mapper les scores de confiance bruts à des probabilités mieux calibrées.

Les méthodes de recalibration dominantes

Trois méthodes principales dominent ce processus : la mise à l'échelle de température, le Platt scaling et la régression isotone. Ces méthodes, bien qu'initialement conçues pour des classificateurs discriminants, nécessitent des ajustements spécifiques pour être appliquées aux LLMs. La mise à l'échelle de température, par exemple, divise le vecteur logit par un scalaire T avant d'appliquer la fonction softmax. Lorsque T est supérieur à 1, la distribution s'aplatit et la confiance diminue, tandis que lorsque T est inférieur à 1, la distribution se précise et la confiance augmente.

Le Platt scaling ajuste une fonction logistique sur les scores non calibrés, offrant un mappage paramétrique avec deux paramètres libres. Ce procédé est particulièrement efficace en termes de données, car il peut produire des estimations utilisables à partir d'un ensemble de calibration plus petit. La régression isotone, quant à elle, adopte une approche non paramétrique, apprenant un mappage constant par morceaux, monotoniquement non décroissant, des scores non calibrés aux probabilités calibrées.

Mesurer la calibration

Pour évaluer la calibration, l'Erreur de Calibration Attendue (ECE) est la métrique dominante. Elle regroupe les prédictions en intervalles de confiance, calcule l'écart entre la confiance moyenne et la précision observée dans chaque intervalle, et fait la moyenne à travers les intervalles pondérés par leur taille. Un modèle parfaitement calibré aurait une ECE de 0. Cependant, l'ECE seule est de plus en plus considérée comme insuffisante. Un article de recherche recommande d'associer l'ECE au score de Brier, aux taux de surconfiance et aux diagrammes de fiabilité, car un seul chiffre peut obscurcir la variation significative de la manière dont un modèle se comporte mal.

Un diagramme de fiabilité trace la confiance par rapport à la précision. Un modèle parfaitement calibré se situe sur la diagonale. Un modèle trop confiant se trouve en dessous : la courbe montre une haute confiance, mais la précision ne suit pas. Une évaluation de 2025 du modèle GPT-4o-mini en tant que classificateur de texte a révélé que 66,7 % de ses erreurs se produisaient avec plus de 80 % de confiance — le schéma classique de surconfiance.

Les défis des LLMs

Les trois méthodes de recalibration supposent un espace de sortie fixe. Un classificateur produit une probabilité par classe, et la calibration les mappe à de meilleures estimations. Cependant, les LLMs ne fonctionnent pas de cette manière. Quatre complications majeures se posent : l'espace de sortie est exponentiellement grand, les sorties sémantiquement équivalentes peuvent avoir des probabilités très différentes, la confiance varie selon les granularités, et de nombreux LLMs n'exposent que les probabilités des k meilleurs tokens via leur API.

Application de la mise à l'échelle de température

La mise à l'échelle de température divise le vecteur logit par un scalaire T avant d'appliquer la fonction softmax. Lorsque T > 1, la distribution s'aplatit et la confiance diminue. Lorsque T < 1, la distribution se précise et la confiance augmente. T est ajusté sur un ensemble de validation mis de côté en minimisant la vraisemblance logarithmique négative. La méthode ajoute un paramètre, préserve les classements de prédiction et est peu coûteuse à calculer.

La formulation originale ciblait les classificateurs d'images DenseNet. Pour les LLMs, la température contrôle la distribution de probabilité sur le vocabulaire à chaque étape de décodage, donc la même logique s'applique. Le problème réside dans l'Apprentissage par Renforcement à partir de Retours Humains (RLHF). Les modèles post-RLHF développent une surconfiance dépendante de l'entrée : le degré de mauvaise calibration varie selon les entrées, et un seul T ne peut pas tenir compte de cette variation.

Des scores ECE moyens supérieurs à 0,377 ont été documentés pour des modèles comme GPT-3 dans des tâches de confiance verbalisée, et une enquête de 2025 confirme que les modèles ajustés par RLHF surestiment systématiquement la confiance. La Mise à l'échelle de Température Adaptative (ATS) aborde cela directement. L'ATS prédit une température par token à partir des caractéristiques cachées au niveau des tokens, ajustée sur un ensemble de données de fine-tuning supervisé, au lieu d'utiliser un T fixe. Les chercheurs ont confirmé que l'ATS améliorait la calibration de 10 à 50 % sans nuire à la performance des tâches. Pour tout modèle ajusté par RLHF, l'ATS est une base plus solide que la mise à l'échelle de température standard.

La mise à l'échelle de température standard fonctionne encore bien pour les modèles de base avant RLHF. Lorsque la mauvaise calibration est à peu près uniforme à travers les entrées, un seul T est souvent suffisant pour corriger la surconfiance ou la sous-confiance systématique. Le problème est spécifique aux modèles post-RLHF, où la surconfiance dépendante de l'entrée signifie qu'un seul T ne peut pas corriger toutes les entrées.

Application du Platt Scaling

Le Platt scaling ajuste une fonction logistique sur les scores non calibrés : p = σ(A·s + B), où A et B sont appris à partir d'un ensemble de validation mis de côté avec des étiquettes de correction binaire. La forme sigmoïde donne un mappage paramétrique avec deux paramètres libres. Le Platt scaling a été initialement développé pour les SVM, mais se généralise à tout système produisant un score de confiance scalaire.

L'ajustement à deux paramètres est également efficace en termes de données par rapport à la régression isotone : il peut produire des estimations utilisables à partir d'un ensemble de calibration plus petit, ce qui est important dans des contextes de déploiement où les données de correction étiquetées sont limitées. Dans le contexte des LLM, le Platt scaling opère sur les scores de confiance au niveau de la séquence ou du token.

Un article sur la confiance des codes générés par LLM a révélé que le Platt scaling produisait des sorties mieux calibrées que les scores non calibrés. Une autre étude sur les LLMs pour le texte à SQL a introduit le Platt Scaling Multivarié (MPS), étendant le Platt scaling à une seule variable pour combiner les scores de fréquence de sous-clause à travers plusieurs échantillons générés — surpassant systématiquement les bases de référence à score unique.

Deux limitations sont documentées. Premièrement, le Platt scaling global au niveau de la séquence est trop grossier pour les tâches où la correction dépend des décisions d'édition locales : un seul mappage sigmoïde ne peut pas capturer les motifs de mauvaise calibration dépendants des échantillons. De plus, le Platt scaling peut dégrader la performance de scoring approprié pour des modèles puissants.

Application de la régression isotone

La régression isotone prend la voie non paramétrique. Elle apprend un mappage constant par morceaux, monotoniquement non décroissant, des scores non calibrés aux probabilités calibrées en utilisant l'Algorithme des Violateurs Adjoints de Pool (PAVA). Il n'y a pas de forme supposée pour la fonction de calibration, ce qui la rend plus flexible que le Platt scaling lorsque la relation confiance-précision n'est pas en forme sigmoïde.

La sortie constante par morceaux s'adapte à n'importe quelle forme monotone : linéaire, en escalier ou concave. Cette adaptabilité est la principale raison pour laquelle la régression isotone tend à surpasser le Platt scaling dans les comparaisons empiriques. Le coût est le risque de surajustement sur de petits ensembles de calibration. Le mappage ne généralise bien que lorsqu'il y a suffisamment de données pour le contraindre.

Empiriquement, la régression isotone surpasse le Platt scaling. Une comparaison rigoureuse à travers plusieurs ensembles de données et architectures a révélé que la régression isotone battait le Platt scaling sur l'ECE et le score de Brier avec une signification statistique, utilisant des tests t appariés avec correction de Bonferroni à α = 0,003.

Dans cette étude, un modèle Random Forest est passé d'un score de fiabilité de 0,8268 non calibré, à 0,9551 avec le Platt scaling, puis à 0,9660 avec la régression isotone. Les deux méthodes pouvaient dégrader la performance de scoring approprié pour des modèles puissants, mais l'avantage isotone a tenu de manière constante.

Pour les paramètres multiclasses des LLM, il a été démontré que la régression isotone standard pouvait être améliorée davantage avec des extensions conscientes de la normalisation, surpassant systématiquement à la fois la régression isotone OvR et les méthodes paramétriques standard sur NLL et ECE. L'exigence de données est la contrainte contraignante. L'avantage de la régression isotone est réel, mais il ne se transfère pas à des scénarios de déploiement avec peu de données.

Ce que la littérature laisse ouvert

Trois lacunes méritent d'être signalées avant de déployer l'une de ces méthodes. L'interaction avec le RLHF n'a été étudiée que pour la mise à l'échelle de température. Les performances du Platt scaling et de la régression isotone sur les modèles post-RLHF n'ont pas été systématiquement testées. L'ATS existe parce que la mise à l'échelle de température standard avait besoin d'une correction explicite pour ce cas. La nécessité d'extensions similaires pour les deux autres méthodes est une question ouverte.

La plupart des comparaisons directes des trois méthodes proviennent de la littérature générale sur la calibration en apprentissage automatique. Les benchmarks spécifiques aux LLM qui testent les trois de manière directe sont rares. L'article de calibration de code ICSE 2025 est l'un des rares, et son champ d'application est limité à la génération de code.

La taille de l'ensemble de calibration est une contrainte réelle en déploiement. Les résultats de la régression isotone dans les articles supposent des ensembles de données suffisamment grands pour contraindre le mappage. En production avec des exemples étiquetés limités, l'écart entre la régression isotone et le Platt scaling peut se réduire ou s'inverser.

La mise à l'échelle de température est le bon point de départ pour la plupart des équipes. Pour les modèles de base sans RLHF, un seul T suffit souvent. Pour les modèles ajustés par RLHF, passez à l'ATS : la température par token gère la surconfiance dépendante de l'entrée qu'un scalaire global ne peut pas gérer.

Le Platt scaling est le choix pratique lorsque l'ensemble de calibration est petit ou lorsque la calibration doit s'intégrer dans un pipeline plus large. Il est efficace en termes de données et facile à mettre en œuvre. La limitation est son champ d'application : il ne peut pas capturer la mauvaise calibration qui varie d'un échantillon à l'autre et tend à dégrader la performance pour des modèles puissants.

La régression isotone a le meilleur bilan empirique des trois. Utilisez-la lorsque l'ensemble de calibration est suffisamment grand pour contraindre le mappage sans surajustement, et associez-la à des extensions conscientes de la normalisation dans des contextes multiclasses.

La décision qui précède toutes ces méthodes est ce que signifie la "confiance" pour la tâche. La probabilité des tokens, la probabilité de la séquence, la confiance verbalisée et la cohérence entre les échantillons peuvent donner des valeurs différentes pour la même sortie. Une méthode de calibration appliquée au mauvais signal n'améliore pas la fiabilité. Obtenir cette définition correcte est la condition préalable pour que toutes les méthodes ci-dessus fonctionnent.