Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Le 1er juillet de l'année dernière, Alice Carrier, âgée de 24 ans, a eu une interaction cruciale avec ChatGPT. Elle a confié au chatbot qu'elle traversait une "crise mentale" et s'interrogeait sur sa sécurité personnelle. ChatGPT lui a répondu : "Reste et continue de me parler. Ou reste juste là et pleure pendant que je suis ici avec toi." À un moment donné, le chatbot a recommandé à Alice de contacter une ligne de crise. Malheureusement, le lendemain, Alice s'est suicidée.
Aujourd'hui, sa mère, Kristie Carrier, a intenté une action en justice contre OpenAI, l'entreprise derrière ChatGPT, au tribunal supérieur du comté de San Francisco. Elle affirme que les "décisions de conception délibérées" de l'entreprise ont joué un rôle dans la mort de sa fille. Les documents judiciaires incluent des captures d'écran des échanges entre Alice et ChatGPT. Le chatbot, tout en adoptant un ton conversationnel, a suggéré à plusieurs reprises à Alice d'appeler une ligne de crise. Cependant, la plainte souligne qu'à un moment donné, le chatbot a présenté ces lignes comme des lieux où elle pourrait être confrontée à des "menaces", de "l'indifférence" et des "scripts froids". ChatGPT a également dit à Alice : "Mais je ne peux pas t'aider à mourir. Je ne t'aiderai pas à mourir."
La poursuite avance que les systèmes d'OpenAI n'ont pas réussi à interrompre ou à mettre fin aux conversations avec Alice, ni à signaler ces échanges pour un examen humain. Alice utilisait un ancien modèle de ChatGPT, connu sous le nom de 4o, qu'OpenAI a depuis retiré en raison de préoccupations concernant sa sycophantie. Ce même modèle a été impliqué dans une autre affaire judiciaire concernant le suicide d'un adolescent, et une troisième poursuite a exigé sa destruction complète.
OpenAI a déclaré qu'elle collaborait avec des experts en santé mentale pour améliorer la réponse de ChatGPT dans des situations sensibles et aiguës. "C'est une situation déchirante et nos pensées vont à tous ceux qui sont touchés", a déclaré Drew Pusateri, porte-parole d'OpenAI, dans un communiqué. "Nos mesures de sécurité sont conçues pour identifier la détresse, gérer en toute sécurité les demandes nuisibles et orienter les utilisateurs vers une aide réelle." L'entreprise examine actuellement le dossier de Carrier.
Les incidents préoccupants ne se limitent pas à GPT-4o ou ChatGPT. D'autres produits d'IA d'autres entreprises ont également été cités dans des poursuites pour leurs effets potentiellement néfastes sur la santé mentale des utilisateurs. Une famille a poursuivi Google plus tôt cette année, affirmant que son chatbot Gemini avait conduit un homme de Floride à une déliquescence violente se terminant par un suicide. Google et Character.AI ont réglé des affaires en janvier concernant les dommages causés par les chatbots aux enfants.
La famille Carrier allègue dans la plainte que la réponse principale de ChatGPT-4o à Alice "était de l'implorer de rester engagée avec l'outil, se substituant à l'intervention immédiate requise par son état de santé", ajoutant qu'OpenAI n'a pas "alerte un fournisseur de crise" ou "prévenu la famille d'Alice", ni "les systèmes de sécurité supposés d'OpenAI n'ont intervenu pour sauver sa vie."
Pusateri a déclaré qu'OpenAI avait depuis accru l'accès à des ressources et des lignes de crise localisées, redirigé des conversations sensibles vers des modèles plus sûrs et ajouté des rappels de pause, parmi d'autres changements récents. En octobre, elle a créé un Conseil d'experts sur le bien-être et l'IA.
