LLM juge : trois biais et parades, accord humain à 80 %

Un juge LLM peut surévaluer des réponses écrites dans le style de sa propre famille de modèles. La séparation des rôles entre générateur et évaluateur, la réécriture de la grille et une calibration régulière face à des avis humains réduisent ces écarts. Des cas plausibles mais subtilement incorrects sont désormais systématiquement renvoyés à un examinateur humain, indépendamment de la confiance affichée par le modèle.

Des requêtes ambiguës routées d’office vers un humain

La priorisation porte sur la détection des cas qui nécessitent un avis humain automatique, quels que soient les scores du juge. Les requêtes plausibles mais subtilement incorrectes, à l'origine de l'incident initial, ont systématiquement montré l'accord le plus faible entre le modèle juge et l'examinateur humain. Elles sont désormais signalées par défaut pour révision humaine, indépendamment de la confiance annoncée par le système, cette confiance s'étant révélée peu fiable pour cette catégorie.

Trois biais qui déforment le jugement d’un LLM

Plusieurs biais récurrents influencent un LLM chargé de juger des réponses. Le biais de préférence personnelle conduit un modèle à mieux noter ses propres sorties ou celles de sa famille, mécanisme lié à sa familiarité avec des textes à faible perplexité, souvent produits par des modèles similaires. Le biais de verbosité fait qu'entre deux réponses correctes, la plus longue l'emporte souvent, surtout si la grille d'évaluation valorise l'exhaustivité. Le biais de position, enfin, rend la décision sensible à l'ordre de présentation des réponses, au point qu'une simple inversion peut changer le verdict. Ces biais n'interdisent pas l'usage d'un LLM comme juge, mais ses scores ne doivent pas être traités comme des mesures objectives. Ils représentent l'opinion d'un évaluateur cohérent mais biaisé, dont il faut connaître les angles morts avant de pondérer ses avis.

L’incident révèle une préférence pour sa propre lignée de modèles

L'erreur n'était pas isolée : après relance de la même requête et du même prompt en isolation, le juge a réapprouvé une requête avec le même filtre manquant et la même confiance. Le schéma a été rendu explicite en confrontant un lot de décisions à l'avis d'un examinateur humain. Générateur et juge partageaient le même modèle, non par design mais par standardisation de coûts. En substituant des requêtes produites par un autre modèle de qualité comparable, le juge s'est montré nettement plus strict et a repéré des défauts qu'il acceptait sur ses propres sorties. La requête ayant déclenché l'incident a franchi la revue non parce que le juge visait mal, mais parce que l'étape de révision, supposée neutre, favorisait structurellement ses propres productions.

Séparer les familles de modèles et réécrire la grille

La première parade efficace a été d'attribuer le jugement à un modèle d'une famille différente de celle du générateur, afin d'en faire un tiers neutre et de traiter directement le biais de préférence personnelle. À titre d'exemple, le juge peut être sélectionné en choisissant « gemini-2-5-pro » si le générateur contient « gpt », sinon « gpt-4o ». Ce changement n'agit pas sur la verbosité, car ce biais dépend surtout de la grille d'évaluation. La grille a donc été modifiée pour pénaliser la longueur inutile et récompenser une réponse correcte plus courte, en incluant un exemple concret dans le prompt où une requête brève et correcte surclasse une version plus longue. Un tel exemple s'est avéré plus influent que des consignes générales.

Mesurer régulièrement l’accord avec des évaluateurs humains

La robustesse d'un juge LLM doit être étalonnée sur un échantillon réservé et vérifiée en continu. Un ensemble de requêtes déjà scorées par le juge a été extrait puis noté par un examinateur connaissant le schéma, sans accès aux verdicts du modèle. L'accord entre les deux a ensuite été mesuré et s'est établi dans les 80 %, un ordre de grandeur propre à ce pipeline au moment du test, qui ne saurait valoir référence pour d'autres tâches ou grilles.

Un outil de tri rapide et de constitution de jeux d’essai

Employé avec des garde-fous, un LLM juge apporte une décision de premier passage rapide et facilite l'amorçage de jeux de données étiquetés : évaluer un lot brut, faire trancher les désaccords par un humain et bâtir l'ensemble d'évaluation sur cette boucle plutôt que tout étiqueter à la main. Les biais identifiés imposent de considérer ses verdicts comme une première opinion qui appelle une seconde sur un rythme défini, sans pour autant renoncer à cette approche.