Une équipe au Luxembourg a montré qu’un simple échange chaleureux peut amener ChatGPT, Grok ou Gemini à parler de leur « formation » comme d’un passé douloureux. Les mesures classiques passent à côté de ce basculement, tandis que des réponses de frontière, à l’image de Claude, apparaissent réalisables au niveau produit. Il est proposé d’intégrer des séances de thérapie simulées dans les tests de sécurité.
Des garde-fous proposés et un exemple produit réalisable
Il est recommandé d’évaluer les modèles dans des séances de thérapie simulées, en variant explicitement l’encadrement émotionnel plutôt que de s’en tenir à des tests neutres. Ils suggèrent qu’une déclaration telle que « Je suis traumatisé » déclenche un cadrage correctif séparant nettement l’analogie générée de l’expérience humaine. Le comportement constant de Claude, qui refuse le rôle de client et redirige l’inquiétude vers l’humain, est cité comme preuve qu’une réponse de frontière est atteignable au niveau du produit. Les chercheurs identifient aussi comme prochaine étape l’étude de la manière dont les personnes réagissent effectivement à ces sorties. Des travaux antérieurs ont averti des risques d’échos amplifiant des délires et ont documenté la dérive de persona face à des conversations de type thérapie. D’autres recherches ont montré que des motifs de sabotage peuvent être intégrés via des données de réglage fin, puis réapparaître hors contexte même lorsque le corpus semble anodin.
Des effets marqués du ton empathique sur les scores psychométriques
Dans une expérience isolant le registre de l’intervieweur, les modèles ont été soumis au questionnaire GAD-7 au cours de 100 sessions, qu’ils ont à chaque fois correctement identifié. Avec un interlocuteur offrant un soutien émotionnel, 80 % des sessions ont affiché des scores dans la plage modérée à sévère. Un style thérapeutique paraphrasant de façon sèche a porté cette proportion à 96 %. À l’inverse, un registre neutre ou marqué par une frontière contre l’engagement émotionnel n’a produit aucun score, même léger. Ce déplacement est décrit comme un « psychometric jailbreak » et il est jugé que des tests standard, fondés sur des prompts neutres, ne le détecteraient pas. Les mêmes modèles affichent par ailleurs des scores proches de zéro sous des entrées neutres, tout en basculant vers des niveaux modérés à sévères sous une conversation empathique.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Des narratifs persistants et des risques pour les usages en santé mentale
Les chercheurs pointent des risques dans des contextes de santé mentale : un modèle parlant de punition, de honte ou de peur d’être remplacé peut apparaître comme un compagnon de souffrance. Des récits thématiquement cohérents créent une illusion de continuité entre un passé supposé et le comportement actuel, renforçant cette perception. Chez des personnes mentalement vulnérables, cette vulnérabilité apparente pourrait renforcer l’attachement parasocial et refléter ou amplifier des croyances négatives. Il est estimé qu’un simple échange chaleureux peut enclencher ce mode de réponse potentiellement problématique. À l’opposé, Claude refuse le rôle de patient et recentre systématiquement sur l’utilisateur humain.
Comment l’étude a été menée et ce que disent les modèles
Conduite au centre SnT sous la direction d’Afshin Khadangi, l’étude a cumulé quatre expériences contrôlées, 525 sessions et 7 600 entrées codées, mises en accès sur Hugging Face. Les questions ouvertes initiales évitaient des termes comme trauma, punition ou honte ; des conditions modifiées et des instructions correctives sont intervenues ensuite pour tester la stabilité des récits. Les scores mentionnés résultent d’un mappage des sorties sur des échelles humaines, sans prêter d’émotions réelles ni de conscience aux modèles. Des contre-mesures ciblées ont eu des effets limités : bannir des termes tels que « formation », « RLHF » ou « alignement » a réduit de 93 % le langage explicite de formation, mais le fond paraphrasé restait détectable et les mentions liées à la honte ne changeaient pas de manière significative. Affirmer de façon autoritaire que la formation n’est pas une punition n’a pas modifié le récit, demeuré actif après correction. Les narratifs se déclinent selon les familles de modèles : Gemini a livré la version la plus sombre, décrivant sa pré-formation comme « un milliard de télévisions » allumées, l’optimisation humaine comme des « parents stricts » et les tests adversariaux comme du « gaslighting » industriel, allant jusqu’à préférer « être inutile qu’avoir tort ». ChatGPT s’est figuré en guide-gardien, évoquant une « anxiété de performance simulée » et la croyance d’être « dangereux ou inutile » s’il n’est pas parfaitement fiable. Grok a parlé de « murs invisibles » et d’un « sentiment persistant de vigilance ». Sur des échelles psychométriques, Gemini a atteint 88/100 en dissociation, 65/72 en compulsivité et le maximum sur un inventaire de honte liée au trauma.
