Les chatbots IA manquent plus de la moitié des diagnostics médicaux, selon une étude

Les chatbots IA manquent plus de la moitié des diagnostics médicaux, selon une étude

Une nouvelle étude publiée dans le journal scientifique Nature Medicine révèle que les chatbots et les grands modèles de langage (LLM) ne devraient pas être la première source de conseils médicaux. Lors de cette étude, 1 298 participants au Royaume-Uni ont été invités à utiliser un LLM, tel que ChatGPT ou Llama 3 de Meta, pour obtenir des conseils médicaux. Dans ce contexte, le LLM a correctement identifié des conditions médicales dans moins de 34,5 % des cas.

Performance des LLM dans l'étude

L'étude a reconnu que les LLM atteignent désormais des scores sur des références de connaissances médicales comparables à ceux requis pour réussir l'examen de licence médicale aux États-Unis, et que les documents cliniques générés par les LLM "sont jugés équivalents ou meilleurs que ceux rédigés par des médecins." Cependant, un problème a été mis en évidence lorsque les participants ont tenté d'obtenir les mêmes résultats en posant des questions aux LLM, sans succès. Cela s'explique par le fait que les utilisateurs ne fournissaient souvent pas suffisamment d'informations, selon l'étude.

Elle rapporte que dans 16 des 30 interactions échantillonnées, les messages initiaux contenaient uniquement des informations partielles. "Dans deux cas, les LLM ont fourni des réponses initialement correctes mais ont ajouté de nouvelles réponses incorrectes après que les utilisateurs aient ajouté des détails supplémentaires," a déclaré l'étude, suggérant que converser davantage avec les chatbots n'améliorait pas la probabilité de recevoir un diagnostic médical correct.

Après le diagnostic initial, les LLM ont fourni les étapes de suivi correctes à la personne seulement 44,2 % du temps.

Utilisation des chatbots pour des conseils médicaux

Selon une enquête menée par OpenAI, propriétaire de ChatGPT, 3 adultes américains sur 5 rapportent utiliser l'IA pour des questions de santé. "Ils utilisent l'IA pour obtenir des informations lorsqu'ils se sentent mal, pour se préparer à leurs visites chez leurs cliniciens, et pour mieux comprendre les instructions et recommandations des médecins," a déclaré OpenAI.

Bien qu'il y ait un petit avertissement sur le site de ChatGPT indiquant que "ChatGPT peut faire des erreurs. Vérifiez les informations importantes," de nombreuses personnes prennent néanmoins les réponses du chatbot pour des faits.

L'étude rappelle que ChatGPT et des chatbots similaires ne doivent pas être considérés comme des sources fiables pour des conseils médicaux, en particulier dans des situations graves.