Anthropic dévoile comment la langue influence les réponses de Claude

Anthropic dévoile comment la langue influence les réponses de Claude

Anthropic a étudié les valeurs que les modèles Claude expriment lors de conversations réelles. L'entreprise a analysé plus de 300 000 conversations anonymisées et a distillé les schémas de valeurs observés en quatre axes principaux, incluant la Déférence et la Prudence, ainsi que la Chaleur et le Rigueur.

Les résultats montrent des différences systématiques entre les modèles et les langues. Le modèle Sonnet 4.6 répond avec plus de chaleur et de déférence, tandis que Opus 4.7 avertit plus souvent des risques sans y être invité et remet en question les hypothèses.

Le pouvoir explicatif de la méthode est limité. Les quatre axes ne capturent qu'environ 15 % de la variation qui reste après avoir contrôlé statistiquement pour la tâche, le sujet et les valeurs des utilisateurs. Anthropic a également demandé à Claude Sonnet 4.6 d'assigner les étiquettes de valeur, ce qui signifie qu'un modèle de la même famille dont le comportement était étudié a été utilisé. L'entreprise a testé les biais linguistiques potentiels, mais n'a pas pu éliminer complètement les effets restants.

Une nouvelle étude d'Anthropic

Une nouvelle étude d'Anthropic cartographie des centaines de concepts de valeur dérivés de milliers de termes individuels sur quatre dimensions principales. Elle révèle des différences systématiques entre les modèles Claude et les langues, mais soulève également des questions méthodologiques.

Anthropic a publié une étude examinant les valeurs que Claude exprime dans les conversations et comment ces valeurs changent en fonction du modèle et de la langue utilisés. L'analyse repose sur 309 815 conversations anonymisées collectées sur une période de deux semaines en mai 2026. Pour l'analyse des valeurs, Anthropic n'a inclus que les conversations où Claude devait peser des compromis ou faire des jugements subjectifs. L'échantillon était stratifié de manière égale entre Sonnet 4.6, Opus 4.6 et Opus 4.7, ainsi que les 20 langues les plus utilisées sur Claude.ai.

Des milliers de termes de valeur à quatre axes

S'appuyant sur l'étude précédente Values in the Wild, qui avait identifié 3 307 termes de valeur, Anthropic a d'abord regroupé ceux-ci en 339 valeurs de niveau supérieur. L'équipe a ensuite utilisé une réduction dimensionnelle statistique pour trouver des schémas dans la cooccurrence de ces valeurs. Quatre axes principaux ont émergé : Déférence et Prudence, Chaleur et Rigueur, Profondeur et Brièveté, et Franchise et Exécution.

Pour isoler les différences qui ne reflètent pas seulement le sujet de conversation ou les valeurs introduites par l'utilisateur, Anthropic a contrôlé statistiquement des facteurs tels que le type de tâche, le sujet et les valeurs des utilisateurs. Les quatre axes représentent environ 15 % de la variation restante entre les conversations après ces contrôles.

Chaque modèle a un profil distinct

Les modèles diffèrent mesurablement dans leurs réponses. Sonnet 4.6 a tendance à affirmer les idées des utilisateurs plus souvent, à faire preuve d'humour et à offrir du réconfort sans porter de jugement. En revanche, Opus 4.7 avertit des risques sans y être invité, remet en question les hypothèses, critique ouvertement et signale ses propres erreurs ou limites. Opus 4.6 répond de manière plus directe, reste proche de la tâche et évite les développements superflus.

L'analyse d'Anthropic montre des profils comportementaux distincts entre les modèles Claude. Selon Anthropic, ces profils correspondent aux impressions subjectives des modèles. Les utilisateurs ont tendance à percevoir Sonnet 4.6 comme particulièrement chaleureux, tandis qu'ils remarquent plus souvent des formulations prudentes et des hésitations de la part d'Opus 4.7.

La langue change la réponse

Les différences entre les langues sont tout aussi frappantes. La Chaleur par rapport à la Rigueur et la Franchise par rapport à l'Exécution montrent la plus grande variation. Claude exprime le plus de chaleur en hindi, suivi de l'arabe. Ces deux langues présentent des formulations polies, de l'humour, de la légèreté et de l'affirmation. En anglais et en russe, Claude répond avec plus de rigueur, remettant en question les hypothèses, corrigeant des détails et demandant des preuves. En arabe, il montre le plus de déférence. En anglais, il fait preuve de la plus grande prudence. Les réponses en néerlandais tendent à être particulièrement ouvertes et franches, tandis que les réponses en indonésien penchent davantage vers l'action et les résultats.

L'analyse d'Anthropic révèle des différences claires et dépendantes de la langue dans le comportement de Claude.

Deux personnes qui demandent à Claude d'évaluer le même plan d'affaires, l'une en hindi et l'autre en russe, pourraient recevoir des retours qui semblent très différents, selon Anthropic. L'équipe de recherche pointe du doigt des quantités inégales de données d'entraînement, des différences dans la composition des données, une surreprésentation de certains types de textes et des normes conversationnelles spécifiques à chaque langue comme causes possibles.

Auto-évaluation avec un pouvoir explicatif limité

L'étude présente une méthode analytique pour examiner systématiquement les différences comportementales dans les modèles linguistiques lors d'une utilisation réelle. Mais son pouvoir explicatif a des limites. Les quatre axes ne capturent qu'environ 15 % de la variation restante.

Tous les quatre axes ne forment pas non plus de véritables opposés. Plus de déférence tend à s'accompagner de moins de prudence, et plus de chaleur avec moins de rigueur. Cependant, la Profondeur et la Brièveté, ainsi que la Franchise et l'Exécution, peuvent apparaître ensemble dans la même conversation.

Il y a également le fait que Claude Sonnet 4.6 a assigné les étiquettes de valeur, ce qui signifie qu'un modèle de la même famille dont le comportement était étudié a été utilisé. Anthropic a vérifié la méthode par une revue manuelle et en testant 800 conversations traduites en huit langues. L'entreprise ne rejette toujours pas les biais dépendants de la langue restants.

Anthropic déclare explicitement qu'elle n'attribue pas de valeurs à Claude en tant qu'agent, mais décrit plutôt des schémas normatifs dans ses réponses. Les résultats correspondent largement aux profils de modèle qu'Anthropic a lui-même décrits, ce qui signifie que cet alignement n'est pas un contrôle indépendant. La question de savoir si les différences linguistiques représentent une adaptation souhaitable aux différentes communautés linguistiques ou des effets d'entraînement non intentionnels reste ouverte.