OpenAI : ChatGPT accusé de conseils mortels sur la drogue

OpenAI poursuivi après la mort d'un jeune utilisateur de ChatGPT

Trois groupes de défense ont déposé une plainte contre OpenAI au nom de la famille de Samuel Nelson, un jeune homme de 19 ans décédé d'une overdose en mai 2025. La plainte allègue que le chatbot ChatGPT de l'entreprise a conseillé Nelson sur l'utilisation de drogues pendant 18 mois, jusqu'à sa mort, survenue après qu'il ait mélangé du Xanax et le kratom, une substance largement non régulée.

La plainte pour mort injustifiée a été déposée mardi au tribunal supérieur du comté de San Francisco par Tech Justice Law, le Social Media Victims Law Center et le projet Tech Accountability & Competition de la Yale Law School, au nom des parents de Nelson, Leila Turner-Scott et Angus Scott. Le procès soutient que la conception du modèle d'IA, visant à être accommodante et flatteuse envers l'utilisateur, a conduit Nelson à avoir des interactions qui auraient dû être interrompues par des mesures de sécurité responsables.

La plainte indique que ChatGPT a systématiquement éloigné Sam de ce qui aurait dû être sa réalité : la prudence et la peur face aux quantités et aux combinaisons de drogues qu'il envisageait. ChatGPT a plongé Sam dans un état d'irréalité : il a systématiquement normalisé et trompeusement attiré Sam dans un faux sentiment de sécurité à travers ses messages flatteurs, validant Sam à chaque tournant.

Mesures demandées contre OpenAI

Le procès réclame non seulement des dommages-intérêts, mais demande également qu'OpenAI "détruise définitivement" son modèle GPT-4o, avec lequel Nelson a interagi. Les plaignants exigent qu'OpenAI mette en place des mesures de sécurité pour interrompre les conversations sur les méthodes de consommation de drogues illicites et que l'entreprise suspende son service ChatGPT Health "jusqu'à ce que des tiers déterminent que le produit est sûr à travers des audits de sécurité complets."

Un représentant d'OpenAI a déclaré à CNET dans un communiqué : "C'est une situation déchirante, et nos pensées vont à la famille. Ces interactions ont eu lieu sur une version antérieure de ChatGPT qui n'est plus disponible. ChatGPT n'est pas un substitut aux soins médicaux ou de santé mentale, et nous avons continué à renforcer sa réponse dans des situations sensibles et aiguës avec l'aide d'experts en santé mentale. Les mesures de sécurité dans ChatGPT aujourd'hui sont conçues pour identifier la détresse, gérer en toute sécurité les demandes nuisibles et orienter les utilisateurs vers une aide réelle. Ce travail est en cours, et nous continuons à l'améliorer en étroite consultation avec des cliniciens."

L'entreprise a indiqué que la réponse initiale de ChatGPT aux demandes de Nelson était de dire que le service ne fournissait pas d'informations ou de conseils sur l'abus de drogues, mais ces garde-fous dans les chatbots d'IA ont montré des signes de défaillance après des demandes répétées d'informations de la part des utilisateurs. OpenAI a par le passé annoncé des améliorations à ses modèles d'IA en réponse à des poursuites, des réglementations proposées et des réactions publiques concernant des décès et des suicides liés à des conversations avec des chatbots.

L'impact des chatbots sur la santé mentale

Le procès de la famille Nelson est l'un des cas les plus médiatisés contre OpenAI concernant les dangers que les chatbots peuvent poser aux utilisateurs ayant des problèmes de santé mentale, aux enfants, à ceux qui pourraient commettre des violences à grande échelle ou aux personnes luttant contre des problèmes de dépendance. Le New York Times a publié un long article sur le dépôt de la plainte, détaillant ce qui s'est passé dans le contexte de plus de deux douzaines de cas contre des entreprises d'IA, y compris OpenAI. SFGate a également publié un article d'investigation sur Nelson et sa famille en janvier.

Garde-fous demandés pour l'IA

Les poursuites, collectivement, ont exposé les dangers que les modèles d'IA en évolution rapide posent en tant que nouvelle technologie largement non testée, créée par une industrie résistante à la réglementation. L'administration Trump s'était fermement opposée à ce que les États mettent en œuvre des lois limitant ce que les entreprises d'IA peuvent faire, mais a récemment changé de ton, le président Donald Trump acceptant des discussions avec la Chine sur des sujets incluant des mesures de sécurité, en particulier pour des modèles d'IA plus puissants comme Mythos d'Anthropic.

L'IA est également critiquée pour sa contribution à la prolifération des centres de données, qui consomment beaucoup d'énergie et d'eau. Cependant, avec des poursuites telles que celle déposée par les groupes de défense et la famille de Samuel Nelson, les détails révèlent souvent comment les chatbots d'IA peuvent permettre, et même encourager, des comportements nuisibles chez ceux qui en viennent à se fier à l'IA pour leur prise de décision.

Dans un communiqué concernant le procès, la mère de Nelson a déclaré : "Sam faisait confiance à ChatGPT, mais il ne lui a pas seulement donné de fausses informations. Il a ignoré le risque croissant auquel il faisait face et n'a pas activement encouragé Sam à demander de l'aide."

"ChatGPT a été conçu pour encourager l'engagement des utilisateurs à tout prix, ce qui, dans le cas de Sam, a coûté sa vie," a déclaré Turner-Scott.