Un protocole évalue la fiabilité des LLM sans vérité de base

Dans les usages de codage et d’analyse, les réponses des modèles de langage varient d’une exécution à l’autre. Un protocole fondé sur la cohérence observée entre plusieurs runs propose un repère de fiabilité lorsqu’aucune vérité de base n’est disponible. Un outil en ligne de commande, cca, permet de comparer modèles et agents sur des problèmes de codage et d’explorer ce proxy au-delà.

Comparer plusieurs réponses sert à estimer la fiabilité des modèles

Lorsqu’une vérité de base fait défaut, la cohérence entre exécutions successives peut servir d’indicateur de fiabilité. Pour une classe de problèmes donnée, si un outil produit des solutions différentes mais qui s’évaluent systématiquement au même résultat correct, ce motif peut être réutilisé comme repère sur un nouveau problème de même classe. Observer à nouveau des solutions distinctes converger vers une même réponse renforce la confiance accordée à cette réponse. Le cadre présenté propose précisément d’exploiter cette régularité, en traitant la cohérence multi-échantillons comme un proxy de fiabilité.

D’où viennent les divergences de sortie des LLM

Les modèles de langage génèrent des séquences token par token en mode autoregressif. L’auto-attention assemble le contexte, propagé au travers de couches feed-forward alimentées par des milliards de poids, pour produire des logits par token, convertis en probabilités via softmax. En pratique, l’échantillonnage tire un token de manière aléatoire selon cette distribution, éventuellement tronquée par top-k ou top-p, si bien qu’un léger écart en début de séquence peut infléchir fortement la suite. La température, appliquée aux logits, module cette distribution : proche de 0, la probabilité du meilleur token approche 100 % et l’on retrouve l’équivalent de l’échantillonnage avide ; au-delà de 1, la distribution s’aplatit, la variabilité augmente et la cohérence diminue. Même avec une température nulle, des effets comme l’arrondi numérique, le batching et le parallélisme peuvent introduire des variations résiduelles.

Des contrôles d’échantillonnage parfois inaccessibles

Plusieurs modèles de raisonnement, cités comme GPT5+ et Claude Opus, n’exposent pas nécessairement les réglages de température ou d’échantillonnage. Des outils de codage tels que Claude Code, Codex ou Antigravity ne les rendent pas non plus disponibles aux développeurs. Les modèles de raisonnement nécessitent des réglages non nuls finement sélectionnés pour bien fonctionner, et ces paramètres peuvent être ajustés à la volée selon la question ou le contenu généré. À mesure que la puissance des modèles croît, comprendre et infléchir le non-déterminisme devient plus difficile.

Un CLI pour tester et comparer la cohérence des agents

L’outil en ligne de commande Coding Agent Consistency (cca) orchestre des expériences répétées et analyse la distribution des résultats. Les démonstrations s’appuient sur des problèmes de codage bien définis avec des modèles de petite taille afin de contenir les coûts, mais l’approche peut s’étendre à d’autres usages. Le package permet d’explorer des modèles via API avec litellm, de dialoguer avec des modèles locaux via ollama, et d’interroger des agents de codage via Omnigent. Il devient ainsi possible de comparer la cohérence de plusieurs outils sur un même problème ou sur un jeu de problèmes.

Quand l’industrie adopte les agents: exigences de fiabilité

La montée en puissance des agents de codage et des analystes IA s’est accélérée entre 2025 et le début de 2026, avec l’adoption d’outils comme Claude Code, Codex et Antigravity, capables d’enchaîner plusieurs appels modèle par requête pour résoudre des tâches complexes. Dans l’analyse commerciale, des assistants parcourent des ensembles de données, écrivent des requêtes SQL et produisent des rapports chiffrés et recommandés. Ce basculement, qui affranchit des détails d’implémentation pour se concentrer sur la conception, impose de pouvoir mesurer la fiabilité. Les combinaisons modèle-problème montrent des profils de cohérence différents, d’où l’intérêt d’outils et de protocoles comparatifs.

Cas d’usage métier, auditabilité et limites pratiques

Dans les tâches à réponse unique, la mesure de cohérence est déterminante, d’autant que les déploiements disposent rarement d’une vérité de base pour contrôler les résultats. En analyse commerciale, formuler une demande comme la répartition de la valeur à vie par âge appelle des définitions métier explicites. Un système de confiance devrait produire des chiffres identiques pour la même question, même si la phraséologie varie, objectif difficile à atteindre avec des LLM. Par contraste, un analyste humain documente sa procédure, qui peut devenir une référence d’équipe après revue. Interroger dix fois un agent revient à questionner dix analystes indépendants ou semi-indépendants selon l’historique et la mémoire, surtout si la température est non nulle et si la question est vague. Enfin, une littérature abondante traite déjà des métriques de cohérence et de la diversité des solutions, tandis que le non-déterminisme, source d’adaptabilité et de créativité, impose de raisonner en termes de cohérence définie comme reproductibilité d’une sortie pour une même entrée, dans des systèmes où de longues chaînes de raisonnement et des paramètres non visibles compliquent l’analyse.