Étude : Les chatbots IA perdent en humanité en devenant plus utiles

Une étude à grande échelle, menée par un consortium international incluant des chercheurs de Helmholtz Munich, a révélé que le processus de transformation des modèles de langage bruts en chatbots utiles affaiblit leur capacité à imiter le comportement humain. Cette tendance s'accentue avec chaque nouvelle génération de modèles.

Les modèles de langage sont de plus en plus utilisés pour remplacer les sujets humains dans diverses applications, telles que la prédiction des réactions aux politiques, la simulation de formations cliniques pour les psychiatres, ou encore la modélisation de l'apprentissage des étudiants. Cependant, cette étude met en lumière une conclusion peu confortable : les étapes de formation qui rendent les modèles de langage en assistants pratiques les rendent moins efficaces pour modéliser le comportement humain.

L'étude repose sur Psych-201, un jeu de données de transcriptions d'expériences comportementales, couvrant environ 208 000 participants et environ 26 millions de réponses individuelles issues de centaines d'expériences. Ce jeu de données est plusieurs fois plus vaste que toute autre collection précédente de ce type. Chaque point de données capture le parcours complet d'un participant à travers une expérience, incluant des métadonnées détaillées telles que l'âge, la nationalité, les réponses aux questionnaires et d'autres caractéristiques. Ce vaste ensemble de données a été assemblé grâce à une collaboration de recherche ouverte impliquant des chercheurs de plus de 35 institutions.

Les modèles de base surpassent leurs homologues ajustés

Les chercheurs ont comparé des modèles des familles Qwen3, Llama3 et OLMo 3, en testant à la fois les modèles de base et leurs diverses variantes post-entrainées. Les modèles de base sont uniquement formés pour prédire le mot suivant dans un texte. À partir de là, un entraînement supplémentaire produit les versions ajustées pour suivre des instructions, un raisonnement étape par étape ou le traitement d'images. La métrique utilisée était la capacité de chaque modèle à prédire les réponses réelles données par les participants humains.

À travers les trois familles de modèles, les modèles de base ont montré une meilleure capacité à prédire le comportement humain que leurs versions assistantes post-entrainées. Ce résultat est constant à travers toutes les familles et tailles de modèles. Les modèles de base surpassent systématiquement leurs descendants post-entrainés, et cet effet se manifeste pour chaque objectif d'entraînement courant, atteignant son paroxysme avec les modèles de raisonnement, suivis de l'ajustement des instructions et des extensions visuelles. Dans presque chaque comparaison directe, le modèle de base surpasse sa variante spécialisée.

Une contre-explication évidente pourrait être que les modèles assistants répondent simplement de manière plus déterministe et échouent à capturer la diversité naturelle du comportement humain. Les chercheurs ont testé cette hypothèse avec une analyse de précision sur un sous-ensemble de tâches avec des options de réponse discrètes. Les modèles post-entrainés ont tout de même obtenu de moins bons résultats, rendant peu probable que le déterminisme accru soit la seule explication.

L'écart se creuse avec chaque génération

Alors que les modèles de base s'améliorent progressivement de Qwen2 à Qwen2.5 puis à Qwen3, devenant meilleurs pour prédire le comportement humain à chaque génération, l'écart avec leurs modèles assistants dérivés continue de se creuser. Les avancées continues en post-entrainement aggravent la divergence par rapport au comportement humain.

La plus grande distorsion se manifeste dans les tâches linguistiques et le raisonnement. Les chercheurs avancent une explication plausible : les modèles de base sont, à leur cœur, des modèles de langage humain et donc bien calibrés pour les tâches de traitement du langage. Les techniques de post-entrainement, comme l'apprentissage par renforcement basé sur les retours humains, les éloignent de cet objectif initial vers des réponses plus conviviales ou normativement correctes.

La même chose se produit avec le raisonnement. Les décisions humaines sont façonnées par des heuristiques et des biais systémiques que les modèles de base semblent capter. L'entraînement au raisonnement optimise pour des réponses logiquement correctes, écrasant exactement les particularités humaines qui comptent pour la simulation comportementale.

Un raccourci populaire ne fonctionne pas

Une deuxième découverte concerne une technique largement utilisée : fournir aux modèles de langage des informations spécifiques aux participants pour les placer dans un rôle particulier. Dans l'étude, cela prenait la forme d'un format d'interview où des détails démographiques sur chaque personne étaient ajoutés avant l'expérience. Lorsque cela était possible, les invites comprenaient l'âge, le sexe, la nationalité, l'éducation, les diagnostics cliniques et les scores des questionnaires.

Ajouter de véritables profils démographiques n'améliore pratiquement pas les prédictions du comportement individuel. L'effet était pratiquement nul. Cela s'est maintenu même lorsque l'analyse était limitée aux expériences en psychologie du développement, où les différences liées à l'âge devraient être informatives. Des travaux antérieurs avaient montré que les invites de persona pouvaient produire des distributions de réponses semblables à celles des humains au niveau de la population. Mais la nouvelle étude remet en question leur capacité à prédire le comportement individuel ou simplement à sembler plausibles en surface.

Centaur montre que l'entraînement ciblé peut encore aider

Les auteurs considèrent leurs résultats comme une variation d'un problème connu : un entraînement supplémentaire vers des objectifs spécifiques peut dégrader les capacités acquises lors du pré-entraînement. Pour tester s'il s'agit d'une limite stricte, ils ont examiné Centaur - un modèle spécifiquement ajusté sur une partie des données comportementales.

Centaur a montré un accord beaucoup plus élevé avec le comportement humain même sur de nouvelles tâches qui ne faisaient pas partie de son entraînement. Ainsi, un entraînement supplémentaire peut aider, mais uniquement lorsqu'il cible la modélisation comportementale plutôt que la correction logique.

Pour la pratique de recherche, la conclusion est claire : les modèles assistants pratiques et facilement disponibles ne sont pas automatiquement le meilleur choix pour les simulations comportementales. Les chercheurs recommandent soit des modèles de base bruts, soit des variantes spécifiquement entraînées pour la simulation comportementale. Le code et les données sont disponibles sur Hugging Face et GitHub.

Le fait que les modèles de chatbots aient leurs limites en tant que sujets de test numériques n'est pas nouveau. Une étude récente sur neuf modèles de langage open-source a révélé qu'optimiser pour des sorties plus humaines se fait au détriment de la précision factuelle, et un classificateur a démasqué les réponses de l'IA avec une précision de 70 à 80 %. Le truc de la persona a également fonctionné moins bien que prévu.

Une autre étude a montré que les modèles peuvent à peine se faire passer pour des apprenants faibles ou forts sur commande, avec des taux de réussite variant de moins d'un point de pourcentage. Et en ce qui concerne le raisonnement, un écart profond persiste : une analyse de plus de 170 000 traces de raisonnement a montré que les modèles de raisonnement pensent différemment des humains, tombant dans une sorte de pilote automatique séquentiel.