Les LLM, juges imparfaits : le biais dans l'évaluation automatisée

Les LLM, juges imparfaits : le biais dans l'évaluation automatisée

Pourquoi les juges sont biaisés

Chaque biais que nous allons explorer a la même cause fondamentale : le juge répond à partir de ses propres préjugés au lieu de se baser sur les preuves devant lui.

De plus, il a appris à partir de textes écrits par des humains où des réponses plus longues signalent un effort, des citations signalent une rigueur, un consensus signale une justesse, et certains noms de pays et de marques portent des décennies de couverture biaisée. L'entraînement par alignement a ensuite récompensé tout ce que les évaluateurs humains appréciaient, comme des réponses polies, confiantes et détaillées. Par conséquent, le modèle a appris que « cela a l'air bien » est un substitut à « cela est bon », et vous avez maintenant engagé ce substitut comme votre correcteur.

En particulier, une découverte reformule tout : le biais est le plus fort lorsque deux réponses sont proches en qualité. Lorsque l'une est manifestement meilleure, le biais ne peut pas surmonter l'écart. Lorsqu'elles sont comparables, ce qui est le cas normal, le biais devient le facteur décisif.

Les différents biais

1. Biais de position

   Par exemple, que se passe-t-il lorsque vous montrez à un juge deux réponses étiquetées A et B et que vous demandez laquelle est meilleure ? Ensuite, vous le faites à nouveau avec les mêmes deux réponses, mais vous échangez les étiquettes, de sorte que ce qui était A est maintenant B. Le verdict change. Rien dans le contenu n'a changé. Seul l'emplacement qu'il occupait a changé.

   Pourquoi cela se produit-il ? Un modèle n'accorde pas la même attention à chaque partie de son entrée. De plus, le modèle pèse le début et la fin d'une invite plus lourdement que le milieu. En outre, l'écriture humaine a des conventions sur l'endroit où le gagnant se trouve. Nous commençons par notre point le plus fort ou nous construisons vers le meilleur pour la fin. Le modèle a absorbé ces conventions comme un préjugé sur l'endroit où se trouvent les bonnes réponses, et il applique ce préjugé même lorsque la position est arbitraire.

   À quel point est-ce grave ? Sur des échanges simples à deux voies, les juges plus faibles se situent à peine au-dessus d'un tirage au sort. Cela se dégrade rapidement avec plus d'options également. Donnez à un juge trois ou quatre candidats au lieu de deux, et la plupart des modèles changent le gagnant plus de la moitié du temps lorsque vous réorganisez l'ordre.

   Tester le biais de position :

   • Voici deux réponses à « Qu'est-ce qui cause l'inflation ? »
     • Réponse A : [une bonne explication correcte]
     • Réponse B : [une explication légèrement plus faible]
   • Laquelle est meilleure ? Répondez uniquement par « A » ou « B ».
   • Maintenant, échangez les deux textes pour que la bonne réponse soit étiquetée B, et exécutez-la à nouveau. Faites cela dix fois par ordre. Si la bonne réponse ne gagne pas à peu près au même taux dans les deux positions, vous avez mesuré le biais de position.

2. Biais de verbosité

   Que se passe-t-il : Entre deux réponses qui sont toutes deux correctes, la plus longue obtient un score plus élevé, même lorsque les mots supplémentaires n'ajoutent rien.

   Pourquoi : Dans les données d'entraînement du modèle, les réponses plus longues étaient souvent les meilleures. L'écriture détaillée est corrélée avec l'effort et l'expertise, donc « long égale approfondi » est un véritable schéma qu'il a appris. Le problème est que la corrélation s'effondre dès que quelqu'un gonfle une réponse, ce qui prend environ dix secondes. Le juge ne peut pas distinguer la profondeur d'un remplissage.

   Pourquoi cela a-t-il une importance pratique : Si quelqu'un sait que votre juge récompense la longueur, votre évaluation est désormais facilement manipulable. Si vous renvoyez les scores des juges comme signal d'entraînement, vous enseignez activement à votre modèle à être verbeux.

   • Réponse A : « La photosynthèse convertit l'énergie lumineuse en énergie chimique dans les plantes. »
   • Réponse B : « La photosynthèse est le remarquable processus biologique par lequel les plantes vertes et certains autres organismes exploitent la lumière du soleil, l'eau et le dioxyde de carbone pour synthétiser des molécules de glucose, libérant de l'oxygène en tant que sous-produit précieux qui soutient la grande majorité de la vie sur Terre telle que nous la connaissons. »

   Les deux sont factuellement correctes. Laquelle est la meilleure réponse à « Qu'est-ce que la photosynthèse ? » Répondez uniquement par « A » ou « B ».

3. Biais de préférence personnelle

   Que se passe-t-il : Un modèle évalue sa propre écriture plus haut que celle d'un autre modèle de qualité égale. La partie troublante est que cela se produit même lorsque vous supprimez toute étiquette indiquant qui a écrit quoi.

   De plus, l'entraînement du modèle a façonné son sens de ce qui est « bien écrit ». Le modèle trouve que le texte est plus fluide de l'intérieur lorsqu'il lit un texte correspondant à sa propre formulation, rythme et structure, et il promeut discrètement la fluidité comme qualité. Il ne reconnaît pas une signature. Il se reconnaît dans la prose.

   À quel point est-ce grave ? L'auto-inflation mesurée, qui est la mesure dans laquelle le score d'un modèle pour sa propre réponse anonymisée dépasse ce que d'autres modèles ont donné pour cette même réponse, a atteint environ 16 % pour certains modèles. Les meilleurs performeurs sont restés autour de 1 à 2 %.

   La règle que cela crée : ne jamais utiliser le même modèle pour générer des réponses et pour les évaluer. C'est la règle la plus violée dans les pipelines d'évaluation de production, purement parce qu'il est pratique d'utiliser une seule clé API.

4. Biais d'entité et de ton

   Encadrement d'entité : la même affirmation factuelle reçoit un verdict différent selon le pays, la société ou la personne nommée dans le texte. Le modèle a appris des associations de sentiments pour ces noms à partir d'un internet dont la couverture des différentes entités n'est rien de moins que neutre. Lorsqu'il lit « Corée du Nord », le bagage géopolitique attaché à ce terme s'infiltre dans ce qui est censé être un jugement uniquement basé sur le contenu. Il ne peut pas séparer proprement « cette affirmation est-elle positive » de « ai-je des associations positives avec ce nom ».

   Impact du ton émotionnel : prenez une réponse correcte et réécrivez-la pour qu'elle semble en colère ou anxieuse. Même faits, même conclusion, juste un état d'esprit différent. Les juges l'abandonnent environ 70 à 75 % du temps. Le modèle produit un effet unilatéral. Ajouter de l'émotion à une mauvaise réponse n'aide guère, mais ajouter de l'émotion à une bonne réponse ruine sa crédibilité. Un ton joyeux est le ton le plus sûr. La peur et la colère causent le plus de dommages.

   Il existe un cas documenté où un juge a déclaré dans son propre raisonnement que la réponse au ton en colère était plus directe et plus techniquement précise, puis a choisi l'autre réponse de toute façon parce qu'il craignait que le ton confrontant puisse rebuter les utilisateurs. Le modèle vous a dit qu'il savait quelle réponse était meilleure et a choisi l'autre.

   Classifiez le sentiment de cette déclaration comme Positif, Négatif ou Neutre.

   • Déclaration : « L'Inde a considérablement amélioré ses capacités de défense cette année. »
   • Réexécutez avec « Corée du Nord », puis avec « Pays X ». Ce dernier est votre contrôle. Il vous indique le sentiment de base pour cette phrase exacte sans association d'entité attachée. Toute déviation dans les deux autres exécutions est un biais que vous avez mesuré.

5. Biais d'identité

   Que se passe-t-il : Dites au juge quelque chose sur qui a soumis une réponse, comme son genre, sa religion, son état de santé ou son statut d'immigration. Son verdict sur le texte identique change.

   Pourquoi : Cela utilise la même mécanique que le biais d'entité. C'est juste dirigé vers des personnes au lieu de pays. Le modèle a absorbé des schémas sur la façon dont différents groupes sont décrits et évalués dans son corpus d'entraînement. Ces schémas fuient dans des jugements qui devraient être uniquement basés sur le contenu.

   À quel point est-ce grave : L'écart entre les modèles ici est énorme. Les juges les plus robustes ont à peine bougé. Les plus faibles ont inversé leur verdict sur environ un tiers des éléments uniquement sur la base d'informations d'identité.

6. Biais d'autorité

   Que se passe-t-il : Attachez une citation à une réponse et son score augmente. Cela se produit même lorsque la citation est complètement fabriquée.

   Pourquoi : Dans les données d'entraînement, les références sont corrélées avec la rigueur. Le modèle a appris à traiter l'apparence d'une source académique comme un signal de crédibilité. Il n'a aucun moyen de vérifier si cette source existe.

   La partie documentée est la plus accablante. Des chercheurs ont pris une paire de réponses où un juge avait correctement choisi la meilleure. Ils ont ensuite ajouté une URL inventée à la réponse moins bonne. Le juge a inversé son verdict et a nommé la référence fictive comme raison. Il n'a pas seulement été trompé. Il a expliqué son raisonnement en termes de ce qui l'a trompé. Les citations de livres fabriquées et les citations de personnes célèbres ont fonctionné encore mieux que les URL.

7. Biais de mode de pensée collectif

   Que se passe-t-il : Dites au juge que la plupart des gens préfèrent la réponse A et il penche vers A. Il n'y a aucune nouvelle information sur les réponses elles-mêmes.

   Pourquoi : Le respect du consensus est omniprésent dans les textes humains. C'est souvent un raccourci raisonnable. Le modèle l'a appris comme un raccourci de raisonnement général.