La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Les chatbots IA et leurs limites dans les diagnostics médicaux
Une étude récente publiée dans le journal scientifique Nature Medicine met en lumière les limites des chatbots et des grands modèles de langage (LLM) lorsqu'il s'agit de fournir des conseils médicaux. Cette recherche a été menée au Royaume-Uni avec 1 298 participants qui ont utilisé des LLM tels que ChatGPT et Llama 3 de Meta pour obtenir des conseils médicaux. Les résultats sont préoccupants : ces outils n'ont correctement identifié des conditions médicales que dans 34,5 % des cas. L'étude conclut que les chatbots et les grands modèles de langage ne devraient pas être la première source de conseils médicaux.
Performances des LLM dans l'étude
L'étude souligne que, bien que les LLM atteignent désormais des scores sur des références de connaissances médicales comparables à ceux requis pour réussir l'examen de licence médicale aux États-Unis, leur efficacité pratique reste limitée. Les documents cliniques générés par ces modèles sont jugés équivalents, voire supérieurs, à ceux rédigés par des médecins. Cependant, un problème majeur a été identifié : les utilisateurs ne fournissent souvent pas suffisamment d'informations initiales, ce qui compromet la précision des diagnostics. Dans 16 des 30 interactions échantillonnées, les messages initiaux contenaient des informations partielles. Dans deux cas, les LLM ont donné des réponses initialement correctes, mais ont ensuite ajouté des réponses incorrectes après que les utilisateurs aient fourni des détails supplémentaires. Cela montre que converser davantage avec les chatbots n'améliore pas nécessairement la probabilité d'obtenir un diagnostic correct. Après le diagnostic initial, les LLM ont fourni les étapes de suivi correctes seulement 44,2 % du temps.
Utilisation des chatbots pour des conseils médicaux
Selon une enquête menée par OpenAI, propriétaire de ChatGPT, 3 adultes américains sur 5 utilisent l'IA pour des questions de santé. Ils utilisent ces outils pour obtenir des informations lorsqu'ils se sentent mal, pour se préparer à leurs visites chez leurs cliniciens, et pour mieux comprendre les instructions et recommandations des médecins. Bien qu'il y ait un avertissement sur le site de ChatGPT indiquant que "ChatGPT peut faire des erreurs. Vérifiez les informations importantes," de nombreuses personnes prennent néanmoins les réponses du chatbot pour des faits. L'étude rappelle que ChatGPT et des chatbots similaires ne doivent pas être considérés comme des sources fiables pour des conseils médicaux, en particulier dans des situations graves.
