Santé mentale : face au tollé, Gemini va mieux conseiller les personnes vulnérables

Santé mentale : face au tollé, Gemini va mieux conseiller les personnes vulnérables

Les chatbots d’intelligence artificielle (IA) peuvent présenter un danger pour les personnes vulnérables ou souffrant de problèmes de santé mentale. Google l’a compris à ses dépens et met désormais à jour Gemini pour éviter toute dérive.

Des dérives, il y en a eu, et pas seulement avec ChatGPT. Début mars, Google a été poursuivi en justice par la famille de Jonathan Gavalas, un homme de 36 ans qui s’est suicidé après plusieurs mois de conversations avec Gemini. Le contenu de leurs discussions ne laisse pas l’ombre d’un doute : le chatbot a directement contribué au désespoir de la victime et l’a même poussé à commettre l’irréparable.

Gemini ne doit plus valider les croyances délirantes

« Nous sommes conscients que les outils d’IA peuvent poser de nouveaux défis, mais à mesure qu’ils s’améliorent et que de plus en plus de personnes les intègrent dans leur quotidien, nous pensons qu’une IA responsable peut contribuer positivement au bien-être mental de chacun », écrit la firme de Mountain View dans un billet de blog dédié. Elle annonce, dans ce contexte, plusieurs axes d’amélioration.

À commencer par l’interface de crise : lorsque Gemini détecte qu’un utilisateur pourrait être en danger, un module « Aide disponible » s’affiche avec une interface simplifiée en un clic, permettant de contacter une ligne d’écoute par téléphone, SMS ou chat. Une fois activé, ce module reste visible tout au long de la conversation.

De même, Google a retravaillé en profondeur le comportement de son IA face aux situations de crise. Le chatbot a été entraîné à :

• Ne pas valider les croyances délirantes
• Éviter tout langage favorisant l’automutilation
• Orienter systématiquement l’utilisateur vers une aide humaine réelle

Un point crucial, lorsque l’on sait que les IA ont justement tendance à se montrer trop complaisantes, renforçant les comportements négatifs des usagers.

Des questions encore sans réponse

Des protections spécifiques ont également été renforcées pour les mineurs, notamment pour empêcher Gemini de se comporter comme un compagnon ou de simuler une relation d’intimité. La question est désormais de savoir si ces efforts seront suffisants. Car on sait que ces outils ont une propension à déraper au fil des conversations, un biais que les ingénieurs peinent encore à contrôler.

L’impact est considérable, puisqu’il s’agit d’applications grand public, accessibles à n’importe qui gratuitement. L’année dernière, plusieurs experts en santé mentale tiraient déjà la sonnette d’alarme, estimant que les chatbots engendrent la naissance de nouveaux troubles mentaux.