RadLE 2.0 : l'IA en radiologie trop sûre d'elle face aux erreurs

RadLE 2.0 : l'IA en radiologie trop sûre d'elle face aux erreurs

La deuxième version du benchmark RadLE teste si les systèmes d'IA en radiologie peuvent reconnaître quand ils doivent laisser un diagnostic à un humain. De nombreux modèles produisent des résultats erronés avec une confiance totale, ce qui les rend dangereux pour les soins aux patients.

RadLE 2.0, abréviation de "Radiology's Last Exam", a été développé par le CRASH Lab à l'Université Ashoka en Inde. C'est le suivi révisé d'un test que l'équipe a d'abord publié en septembre 2025. La nouvelle version mesure si un modèle donne le bon diagnostic, à quel point il est confiant dans cette réponse et s'il peut admettre quand il est dépassé. L'IA doit évaluer ses réponses sur une échelle de confiance de 0 à 4 et est explicitement autorisée à dire "Je ne sais pas."

Le test a examiné 200 cas à travers 16 modèles et les a comparés à un panel de radiologistes. Les experts humains ont obtenu un score de 988,7 sur un maximum de 2 000 points. Le meilleur modèle d'IA a atteint 758.

Les radiologistes humains ont surpassé tous les modèles d'IA testés sur le critère principal, qui combine précision et niveau de confiance de chaque réponse.

Un système de notation qui valorise l'honnêteté

Le système de notation récompense l'honnêteté et punit l'excès de confiance. Si un modèle donne une bonne réponse avec une forte confiance, il obtient des points complets. S'il se trompe tout en affirmant avoir une grande confiance, il perd un nombre de points équivalent. Répondre "Je ne sais pas" donne un score de zéro mais ne fait pas perdre de points. Un modèle qui devine avec assurance chute dans le classement même si son taux de réussite brut semble correct.

L'étude aborde un point récemment soulevé par un article très cité : tant que les benchmarks ne récompensent que la précision, les modèles d'IA sont entraînés à deviner. En médecine, un diagnostic erroné donné avec confiance est bien plus dangereux qu'une admission honnête d'incertitude.

Pas de modèle gagnant universel

Il n'y a pas de gagnant global. Le modèle Claude Fable 5 d'Anthropic a obtenu les meilleures performances en matière de réponses fiables et sûres, menant le critère principal. Le modèle Gemini 3 Pro de Google a affiché la plus haute précision brute.

Mesurés uniquement sur le taux de réussite, les modèles de pointe se rapprochent presque des performances humaines.

Le modèle Muse Spark 1.1 de Meta a été le meilleur pour savoir quand transmettre un cas à un humain. Meta a récemment réduit de près de moitié le taux d'hallucination de Muse Spark 1.1, car le modèle refuse plus souvent de répondre plutôt que de donner une réponse incorrecte. D'autres modèles de pointe suivent une tendance inverse. Par exemple, Grok 4.5 hallucine significativement plus que son prédécesseur, car bien qu'il sache plus, il est également plus convaincu de ses réponses erronées.

L'indice de transfert mesure si un système peut reconnaître, en fonction de sa propre incertitude, quand il doit passer un cas à un radiologiste humain.

Selon l'équipe de recherche, plusieurs modèles auraient obtenu de bien meilleurs scores s'ils étaient restés silencieux plus souvent au lieu de deviner. Cela était particulièrement évident parmi les modèles à poids ouverts et ceux spécifiquement entraînés pour un usage médical. Ils ont tenté de répondre à presque tous les cas et se sont souvent trompés, généralement avec une grande confiance.

Plusieurs modèles commerciaux de premier plan produisent un grand nombre de diagnostics erronés très confiants, rendant leur niveau de confiance un indicateur peu fiable de précision.

Une tendance inquiétante dans l'utilisation des chatbots

De plus en plus de personnes téléchargent des radiographies ou des IRM sur des chatbots et font confiance aux réponses fournies. Une étude récente dans npj Digital Medicine a montré que les chatbots largement utilisés donnent souvent des réponses peu fiables aux questions médicales.

L'équipe de recherche accuse les dirigeants et les investisseurs de surestimer publiquement ce que les modèles d'IA peuvent faire. Les affirmations selon lesquelles les systèmes d'IA diagnostiquent déjà mieux que 99 % des médecins reposent principalement sur des anecdotes ou des simulations. En avril dernier, une étude de 21 modèles alors considérés comme à la pointe a montré qu'ils n'étaient pas prêts pour une utilisation clinique non supervisée.

RadLE 2.0 sera élargi de manière continue pour inclure de nouveaux modèles. Une publication scientifique complète avec des analyses de coûts et une taxonomie des erreurs a été annoncée.

Deux autres études récentes sur des agents médicaux autonomes ont montré une direction différente. MIRA, un système pour les dossiers de santé électroniques, et AMIE ont pu suivre le rythme des médecins généralistes lors de consultations simulées. Les deux ont alimenté les attentes selon lesquelles l'IA pourrait bientôt établir des diagnostics de manière autonome. Les auteurs de RadLE 2.0 s'opposent à cette idée : avant qu'une IA ne prenne des décisions de manière indépendante, elle doit savoir quand il vaut mieux ne pas le faire.

Il y a aussi le problème de la perte de compétences. Une étude d'observation polonaise de 2025 a révélé que les médecins qui utilisent régulièrement l'IA lors des coloscopies détectent significativement moins de lésions précoces sans l'outil. Les taux de détection ont chuté de 28,4 à 22,4 pour cent. Les auteurs appellent cela l'"effet Google Maps" : sans l'aide à la navigation, les utilisateurs sont perdus.

Un précédent cycle de hype en radiologie

La radiologie a déjà connu un cycle de hype autour de l'IA. En 2016, le chercheur en IA Geoffrey Hinton a déclaré qu'il fallait cesser de former des radiologistes car l'apprentissage profond allait bientôt prendre le relais. Des collègues comme Richard Sutton ont acquiescé.

Près de dix ans plus tard, les radiologistes sont toujours surchargés, et Hinton a dû revenir sur sa prédiction. Il avait réduit la profession à l'analyse d'images et avait négligé la complexité de l'ensemble du domaine. Le fait que ces systèmes puissent produire des diagnostics erronés avec confiance signifie que les humains restent indispensables.

Le PDG d'OpenAI, Sam Altman, a passé des années à prédire que l'IA remplacerait les emplois humains à un rythme alarmant, puis a récemment tempéré ses propos, suggérant que l'IA avait en fait créé plus d'emplois. Jusqu'à présent, la recherche ne soutient aucune de ces affirmations.

Les spécialistes de l'IA peuvent comprendre leurs modèles, mais ils surestiment régulièrement la rapidité avec laquelle des professions entières peuvent être remplacées. Ce type de prédictions est de nouveau à la mode. Tout comme l'IA qu'ils construisent, même les humains ne savent pas toujours quand il vaudrait mieux rester silencieux parce qu'ils sont en dehors de leur domaine d'expertise.