LLM et variables générées : une illusion d'observation directe

Les thèmes des LLM : une construction conditionnelle

Les thèmes générés par les modèles de langage (LLM) ne doivent pas être interprétés comme des observations directes de l'état des clients. Ils représentent des variables générées, issues d'un processus complexe et conditionnel. Ce processus dépend de l'existence d'une action textuelle de la part du client et de la capacité du modèle d'extraction à capturer cette trace. Chaque étape de ce processus conditionnel influence la signification de la variable dans un modèle causal, bien que ces influences soient souvent invisibles dans les données finales.

Les quatre problèmes majeurs

Plusieurs problèmes peuvent affecter l'interprétation des thèmes LLM :

• Sélection : Un thème est associé à un client parce qu'il a interagi d'une manière spécifique, comme appeler ou se plaindre. Cette action est souvent corrélée avec le traitement ou le résultat, modifiant la population analysée. Le remplissage des valeurs NULL rend ces quatre problèmes visibles simultanément, en réduisant "n'a pas généré de texte" à une catégorie de référence. Cela signifie que l'analyse ne mesure plus un effet sur l'ensemble des clients, mais sur une population redéfinie.

• Timing : Le moment où le texte est généré par rapport au traitement est crucial. Un texte pré-traitement peut être un facteur de confusion, tandis qu'un texte post-traitement peut être un médiateur ou un résultat, introduisant des biais si mal interprété.

• Mesure : Les étiquettes comme "frustration de facturation" ne capturent pas directement la frustration, mais ce que le pipeline identifie comme tel. La précision de ces classifications peut varier selon les groupes de traitement.

• Rôle : Le rôle d'un thème dans un modèle causal est déterminé par le graphe acyclique dirigé (DAG), et non par le nom de la colonne. Cela influence comment le thème doit être intégré dans l'analyse.

Ces quatre problèmes ne sont pas indépendants et interagissent. Un thème détecté par un LLM hérite d'une empreinte de sélection, d'une empreinte de timing et d'une empreinte de mesure. La régression en aval voit une colonne de zéros et de uns.

Le problème ne réside pas dans le fait que le pipeline a produit une mauvaise étiquette, mais dans le fait que l'étiquette a hérité d'un processus de génération de données que l'analyse en aval n'a jamais modélisé.

Rôle et timing : la même question

Le premier mouvement qu'un analyste effectue avec un thème dérivé d'une transcription est implicite : il le traite comme un covariate. Les thèmes sont intégrés dans le côté droit de la régression. Le traitement est la variable d'intérêt, le résultat est à gauche, et le thème est « contrôlé ».

Cette phrase, « contrôlé pour », implique un travail que l'analyste n'a pas vérifié. Contrôler une variable ajuste la partie de la relation traitement-résultat qui passe par elle. Que cet ajustement soit bénéfique ou nuisible dépend entièrement de la position de la variable dans le graphe causal, et cette position est déterminée par le timing.

Le texte pré-traitement peut jouer le rôle d'un facteur de confusion. Si un client a appelé au sujet de la facturation en janvier et que l'offre de fidélisation a été envoyée en mars, l'appel capture quelque chose sur l'état du client qui peut influencer à la fois qui a reçu l'offre et qui a quitté. Conditionner sur le thème ici peut réduire le biais des variables omises, à condition que le thème proxy réellement le construct pertinent.

Le texte concurrent, généré dans le cadre du traitement lui-même, n'est pas un covariate. Si le traitement est un appel d'un agent de fidélisation et que le thème provient de cet appel, le thème fait partie de l'intervention. Conditionner sur celui-ci ne corrige pas le biais ; cela supprime une partie de l'effet que l'analyste essaie de mesurer.

Le texte post-traitement est la catégorie la plus dangereuse, car elle est la plus susceptible d'être mal classifiée comme un facteur de confusion par un analyste travaillant à partir d'une table plate sans index temporel. Un client ayant reçu une offre de fidélisation en mars et ayant appelé pour se plaindre en avril a produit une transcription qui reflète, au moins en partie, sa réponse au traitement. Conditionner sur un thème extrait de cet appel est conditionner sur une variable post-traitement.

Un exemple concret

Considérons un scénario synthétique mais réaliste. Les clients sont ciblés pour une offre de fidélisation en fonction d'un modèle qui détecte la sensibilité au prix. Tant l'attribution de l'offre que le départ des clients dépendent de cette sensibilité au prix sous-jacente, que l'analyste ne peut pas observer. Les clients plus sensibles aux prix sont plus susceptibles de recevoir l'offre et de quitter, et ils sont également plus susceptibles d'appeler le support et d'exprimer un choc de facturation. Le thème « choc de facturation » est généré à partir de ces appels post-traitement.

L'analyste naïf joint le thème à la table des clients, remplit les valeurs NULL par zéro, et exécute une régression logistique du départ sur l'offre plus le choc de facturation.

Le véritable effet de l'offre sur le départ est de −0,50 en log-odds. L'offre est censée réduire le départ, et dans le processus de génération de données, elle le fait. Voici ce que quatre spécifications retournent :

• Spécification naïve (avec choc de facturation) : +0,12 (l'offre semble nuisible)

• Spécification supprimée (sans choc de facturation) : +0,24 (l'offre semble toujours nuisible)

• Spécification oracle (avec sensibilité au prix) : −0,55 (l'offre réduit le départ)

• Véritable effet (DGP) : −0,50 (l'offre réduit le départ)

Parce que l'attribution de l'offre est déjà confondue par la sensibilité au prix, supprimer le mauvais contrôle ne rend pas le design valide. Cela ne fait qu'éliminer une source de distorsion supplémentaire.

Le mécanisme derrière le retournement de signe dans la spécification naïve mérite d'être examiné. Le départ influence la probabilité d'appeler, car les clients qui partent sont plus susceptibles d'appeler. Le choc de facturation n'est observé que pour les clients qui ont appelé, puisque le thème nécessite qu'une transcription existe. Conditionner sur le choc de facturation conditionne donc sur une conséquence en aval du départ. Parmi les clients avec un choc de facturation égal à un, la relation entre l'offre et la sensibilité au prix a été distordue, car les deux variables aident maintenant à expliquer pourquoi le client a été signalé.

Le point méthodologique se généralise. Une variable dérivée d'une transcription a une position dans le graphe causal déterminée par le moment où le texte a été généré par rapport au traitement, qui l'a généré et quel processus a produit l'étiquette. Le rôle et le timing sont la même question vue sous différents angles. Ces variables viennent avec une empreinte structurelle que l'analyste doit prendre en compte.