Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une étude de Harvard sur l'IA et les diagnostics médicaux
Une étude récente menée par des chercheurs de la Harvard Medical School et du Beth Israel Deaconess Medical Center a mis en lumière la performance des grands modèles de langage dans le domaine médical. Publiée dans la revue Science, cette recherche a évalué la capacité de ces modèles à fournir des diagnostics dans des contextes réels, notamment aux urgences.
Expériences aux urgences
L'étude s'est concentrée sur 76 patients admis aux urgences de Beth Israel. Les diagnostics de deux médecins ont été comparés à ceux générés par les modèles o1 et 4o d'OpenAI. Ces diagnostics ont ensuite été évalués par deux autres médecins, qui ignoraient leur provenance, qu'il s'agisse de l'IA ou des humains. Cette approche visait à garantir une évaluation impartiale des performances.
Résultats du modèle o1
Les résultats ont montré que le modèle o1 a souvent surpassé ou égalé les performances des médecins, surtout lors du triage initial, un moment critique où les informations sur le patient sont limitées et où les décisions doivent être prises rapidement. Le modèle o1 a réussi à fournir un diagnostic exact ou très proche dans 67 % des cas, tandis que les deux médecins ont atteint cet objectif dans 55 % et 50 % des cas respectivement.
Aucune prétraitement des données
Les chercheurs ont souligné qu'ils n'ont pas prétraité les données avant de les fournir aux modèles d'IA. Les informations utilisées étaient celles disponibles dans les dossiers médicaux électroniques au moment de chaque diagnostic. Arjun Manrai, qui dirige un laboratoire d'IA à la Harvard Medical School et est l'un des auteurs principaux de l'étude, a déclaré que l'IA a été testée selon divers critères de référence et a surpassé à la fois les modèles précédents et les médecins.
Nécessité d'essais prospectifs
Bien que les résultats soient prometteurs, l'étude ne prétend pas que l'IA est prête à prendre des décisions critiques dans les urgences. Les chercheurs insistent sur la nécessité d'essais prospectifs pour évaluer l'efficacité de ces technologies dans des contextes réels de soins aux patients. Ils notent que les modèles actuels ont été évalués uniquement avec des données textuelles, et que des études existantes suggèrent que ces modèles sont plus limités dans leur raisonnement sur des entrées non textuelles.
Perspectives et limites
Adam Rodman, un médecin de Beth Israel et également l'un des auteurs principaux de l'étude, a déclaré qu'il n'existe actuellement aucun cadre formel pour la responsabilité autour des diagnostics d'IA. Il a ajouté que les patients souhaitent toujours que des humains les guident à travers des décisions de vie ou de mort et à travers des décisions de traitement difficiles. Cette étude ouvre la voie à une réflexion approfondie sur l'intégration de l'IA dans le domaine médical, tout en soulignant les défis à relever pour assurer une utilisation sûre et efficace de ces technologies.
