Les LLM d'entreprise doivent expliciter les choix analytiques

Dans les systèmes de données d'entreprise, la bonne réponse ne dépend pas seulement d'un calcul juste. Des benchmarks et études récents soulignent les limites des classements par similarité et des contextes très longs. L'enjeu est d'expliciter les choix analytiques avant toute exécution.

Des benchmarks et études pointent des limites nettes

Spider 2.0, un benchmark texte-à-SQL d'entreprise qui couvre 632 cas concrets et dont la publication remonte à la fin de l'année 2024, a initialement enregistré un taux de résolution d'environ 17 % pour son système le plus performant, un agent basé sur o1-preview, tandis que les meilleurs systèmes sur le Spider d'origine atteignaient près de 91 %. La hiérarchie a ensuite changé, une piste Snow ayant vu un fournisseur soumettre un score de 96,7 % pour un agent. Ces benchmarks mesurent principalement la réussite sur des tâches définies et apportent peu d'informations sur l'aptitude à reconnaître une question ambiguë avant d'y répondre. De son côté, une recherche menée par Chroma sur la diminution de la pertinence contextuelle a révélé que l'efficacité des modèles baissait à mesure que la taille de l'entrée augmentait, même pour des tâches élémentaires, et que la présence de distracteurs proches des données pertinentes accentuait ce phénomène. Ajouter plus de documents peut donc enrichir la quantité d'informations disponibles sans pour autant améliorer la capacité à repérer les preuves pertinentes, alors que la véritable question consiste à identifier quelles données sont cruciales, pour quelles raisons et de quelle manière elles se rapportent à la demande.

Le problème racine : une question cache un programme analytique

Une requête métier apparemment simple, telle que « Quelle marque a amélioré la confiance ce trimestre ? », exige plusieurs décisions implicites. Il faut définir la mesure de la confiance dans le questionnaire, préciser les vagues d'enquête constituant le trimestre, délimiter la population des répondants, statuer sur l'application d'une pondération et convenir de ce qui compte comme amélioration. Autrement dit, la question encapsule un programme analytique dont les paramètres n'ont pas encore été fixés. Sans ces choix, deux analystes peuvent produire des réponses différentes sans erreur de calcul.

Calcul correct, réponse fausse : l'ambiguïté s'immisce avant l'exécution

Face à une requête, un LLM d'entreprise peut identifier une table intitulée « Confiance de la marque », extraire les dernières valeurs et comparer deux périodes. Le calcul et l'explication peuvent être irréprochables, tout en répondant à une interprétation différente de celle attendue. La table peut en effet refléter la part de notes maximales alors que l'attente porte sur un KPI global. La période disponible peut, elle, ne couvrir qu'une partie des vagues nécessaires pour une comparaison trimestrielle. Un résultat semblant pertinent par similarité n'est pas nécessairement valide pour la tâche visée.

À l’échelle, la multiplicité des candidats complique découverte et résolution

Dans un environnement d'entreprise, plusieurs tables peuvent porter la même métrique et plusieurs vagues ressembler à la période demandée, tandis que des tableaux croisés existent par marché, segment, variante de question ou schéma de pondération. La bonne réponse se trouve, mais noyée parmi des alternatives. Le système affronte alors deux difficultés distinctes : localiser où pourrait se trouver la réponse et décider quel candidat correspond effectivement à l'intention de l'utilisateur.

Le « génie du contexte » vise les choix analytiques en amont

Anthropic présente le génie du contexte comme une forme avancée d'ingénierie des invites, axée sur la gestion du contexte d'un agent et considérant ce contexte comme une ressource limitée dont l'efficacité décroît à mesure qu'elle est sollicitée. Cette approche s'intéresse aux éléments inclus dans la fenêtre de contexte ainsi qu'aux méthodes permettant de la maintenir pertinente et focalisée. Le problème abordé ici intervient en amont : préciser le sens de la question et les preuves admissibles. Ni la récupération de contenus similaires ni une couche sémantique ne déterminent forcément la définition voulue par l'utilisateur ni la table adéquate parmi des candidates proches. Il faut un chemin structuré, de l'intention à la preuve. Concrètement, cela suppose d'établir les définitions, les périodes de reporting valides, les populations incluses, l'application éventuelle de pondérations et les sources autoritaires, puis de solliciter des clarifications en cas d'ambiguïté. L'objectif est d'expliciter l'opération analytique prévue, pas seulement d'assurer la compréhension des mots. L'exemple des « heures par jour » illustre qu'un calcul juste peut reposer sur un mauvais dénominateur ; les contrôles conventionnels valident l'arithmétique mais pas toujours les décisions analytiques, qui exigent de vérifier population, filtres, dénominateur et relations entre sources.