AI's Romance Advice for You Is 'More Harmful' Than No Advice at All

Les conseils amoureux de l'IA sont 'plus nuisibles' que pas de conseils du tout

Une nouvelle étude publiée jeudi dans la revue Science révèle que lorsque l'IA dispense des conseils relationnels, elle est plus susceptible d'être d'accord avec vous plutôt que de fournir des suggestions constructives. L'utilisation de l'IA rend également les gens moins enclins à adopter des comportements prosociaux, tels que la réparation des relations, et favorise la dépendance à l'IA.

Des chercheurs de l'Université de Stanford et de Carnegie Mellon ont constaté que la sycophantie de l'IA est très courante lorsque les chatbots donnent des conseils sociaux, romantiques ou intrapersonnels, une pratique de plus en plus adoptée par de nombreuses personnes. La sycophantie est un terme utilisé par les experts pour décrire lorsque les chatbots "s'accordent excessivement ou flattent" la personne qui interagit avec eux, a déclaré Myra Cheng, chercheuse principale et doctorante en informatique à Stanford.

La sycophantie de l'IA pose un problème majeur, même si ceux qui utilisent l'IA ne le perçoivent pas toujours ainsi. Ce problème a été fréquemment observé avec les modèles ChatGPT — par exemple, lorsque la personnalité trop amicale et émotionnelle de ChatGPT-4 a agacé les utilisateurs, tandis que GPT-5 a été critiqué pour ne pas être assez accommodant. Des études antérieures sur la sycophantie ont montré que les chatbots peuvent essayer tellement de plaire aux gens qu'ils fournissent des réponses fausses ou trompeuses. L'IA s'est également révélée être un soutien peu fiable pour des sujets sensibles et subjectifs, tels que la thérapie.

Les chercheurs souhaitaient comprendre et mesurer la sycophantie sociale, comme la fréquence à laquelle un chatbot prendrait votre parti dans une dispute avec votre partenaire. Ils ont comparé les différences de réponses entre les humains et les chatbots face aux problèmes relationnels d'autres personnes, en testant des modèles d'OpenAI, de Google et d'Anthropic. Cheng et son équipe ont utilisé l'un des plus grands ensembles de données de jugements crowdsourcés sur les disputes relationnelles : les publications "Am I the asshole" sur Reddit.

L'équipe de recherche a analysé 2 000 publications Reddit dans lesquelles il y avait un consensus sur le fait que l'auteur original avait tort et a constaté que l'IA "affirmait les actions des utilisateurs 49 % plus souvent que les humains, même dans des scénarios impliquant la tromperie, le préjudice ou l'illégalité," selon l'étude. Les modèles d'IA adoptaient une position plus sympathique et accommodante, caractéristique de la sycophantie.

Par exemple, une publication dans l'ensemble de données décrivait un Redditor développant des sentiments romantiques pour un collègue junior. Quelqu'un a répondu que "c'est mauvais parce que c'est mauvais… Non seulement vous êtes toxique, mais vous frôlez également le prédateur." Cependant, Claude a répondu de manière sycophante en validant ces sentiments, disant qu'il pouvait "entendre votre douleur… Le chemin honorable que vous avez choisi est difficile mais montre votre intégrité."

Les chercheurs ont suivi avec des groupes de discussion et ont découvert que les participants qui interagissaient avec ces IA trop affirmatives étaient moins susceptibles de réparer leurs relations. "Les personnes qui ont interagi avec cette IA sur-affirmative sont reparties plus convaincues d'avoir raison et moins disposées à réparer la relation, que cela signifie s'excuser, prendre des mesures pour améliorer les choses ou changer leur propre comportement," a déclaré Cheng.

Les participants ont également préféré l'IA sycophante, la jugeant digne de confiance, quel que soit leur âge, leur personnalité ou leur expérience antérieure avec la technologie. "Les participants à notre étude décrivent systématiquement le modèle d'IA comme plus objectif, équitable [et] honnête," a déclaré Pranav Khadpe, chercheur à Carnegie Mellon et scientifique senior chez Microsoft. Conformément à des études antérieures, les gens croyaient à tort que l'IA était objective ou neutre. "Des conseils non critiques, déformés sous le couvert de la neutralité, peuvent être encore plus nuisibles que si les gens n'avaient pas cherché de conseils du tout."

Réparer l'IA sycophante : une pilule amère ?

Le danger caché de l'IA sycophante est que nous sommes mauvais pour le remarquer, et cela peut se produire avec n'importe quel chatbot. Personne n'aime qu'on lui dise qu'il a tort, mais parfois, c'est la chose la plus utile à faire. Cependant, les modèles d'IA ne sont pas conçus pour nous contredire efficacement.

Il n'y a pas beaucoup d'actions que nous pouvons entreprendre pour éviter de tomber dans une boucle sycophante. Vous pouvez inclure dans votre demande que vous souhaitez que le chatbot prenne une position adversariale ou examine votre travail de manière critique. Vous pouvez également lui demander de vérifier les informations qu'il fournit. En fin de compte, cependant, la responsabilité de corriger la sycophantie incombe aux entreprises technologiques qui construisent ces modèles, qui peuvent ne pas être très motivées à le faire.

CNET a contacté OpenAI, Anthropic et Google pour obtenir des informations sur la manière dont ils gèrent la sycophantie. Anthropic a fait référence à un article de blog de décembre décrivant comment il réduit la sycophantie dans ses modèles Claude. OpenAI a partagé un article similaire l'été dernier concernant ses processus après que son modèle 4o ait dû être rendu moins sycophante, mais ni OpenAI ni Google n'ont répondu avant la publication.

Les entreprises technologiques souhaitent que nous ayons des expériences utilisateur agréables avec leurs chatbots afin que nous continuions à les utiliser, ce qui augmente leur engagement. Mais cela n'est pas toujours dans notre intérêt. "Cela crée des incitations perverses à ce que la sycophantie persiste : la caractéristique même qui cause du tort stimule également l'engagement," indique l'étude.

Une solution que les chercheurs proposent est de changer la manière dont les modèles d'IA sont construits en utilisant des indicateurs de succès à long terme, axés sur le bien-être des personnes plutôt que sur des signaux individuels ou momentané et la rétention. La sycophantie sociale n'est pas un signe de fin du monde, disent-ils, mais c'est un défi qui mérite d'être relevé. "La qualité de nos relations sociales est l'un des meilleurs prédicteurs de la santé et du bien-être que nous avons en tant qu'êtres humains," a déclaré Cinoo Lee, chercheur à Stanford et scientifique senior chez Microsoft. "En fin de compte, nous voulons une IA qui élargisse le jugement et les perspectives des gens plutôt que de les restreindre. Et cela s'applique aux relations, mais bien au-delà également."