IA médicale : efficacité prouvée mais modèles obsolètes

IA médicale : efficacité prouvée mais modèles obsolètes

Deux nouvelles études publiées dans Nature montrent que des systèmes d'IA spécialisés diagnostiquent des maladies et prennent des décisions de traitement aussi bien que des médecins dans des cas de patients simulés, parfois même mieux. Cependant, ces systèmes reposent sur des modèles de base qui sont déjà obsolètes.

Les programmes d'IA conçus spécifiquement pour la médecine se rapprochent d'une véritable valeur clinique. C'est la conclusion de deux articles publiés simultanément dans Nature. Le système allemand MIRA a surpassé les médecins dans le diagnostic de conditions telles que le cancer du pancréas et la pneumonie. Le système AMIE de Google a produit des plans de traitement et de tests plus précis.

MIRA fonctionne comme un médecin dans un hôpital simulé

MIRA signifie Medical Intelligence for Reasoning and Action. Il a été développé à l'Université de TUD Dresden et à l'Université de Heidelberg, entre autres institutions. Contrairement aux outils de conversation standards, le système fonctionne comme un agent autonome à l'intérieur d'un dossier de santé électronique virtuel et scellé. Selon l'étude, MIRA peut choisir parmi plus de 85 000 options à travers onze outils. Il prend des antécédents médicaux, commande des analyses de laboratoire, des tests de microbiologie et des imageries, interprète les résultats, génère des diagnostics différentiels et rédige des plans de traitement, y compris des prescriptions, des plans chirurgicaux et des admissions à l'hôpital.

L'équipe a testé MIRA sur plus de 500 cas réels du service des urgences à partir du jeu de données public MIMIC-IV. Un deuxième agent d'IA jouait le patient, partageant uniquement des informations provenant du dossier médical réel.

À travers huit catégories de maladies, MIRA a atteint le bon diagnostic 88,9 % du temps, mesuré par rapport aux diagnostics documentés dans le jeu de données. Pour une comparaison directe, les deux parties ont travaillé sur un sous-ensemble de 311 cas dans des conditions identiques. MIRA a obtenu 87,8 % de réussite. Quatre spécialistes expérimentés ont atteint 78,1 %. Une équipe mixte de résidents et de spécialistes a obtenu 71,1 %. MIRA a obtenu les meilleurs résultats pour l'appendicite (98,6 %) et la pancréatite (92,3 %). Tant l'IA que les médecins ont rencontré plus de difficultés avec la pneumonie (72,4 %) et les infections urinaires (77,6 %).

Les chercheurs ont également vérifié la sécurité des recommandations. Des examinateurs spécialistes aveugles, ne sachant pas si une recommandation provenait de MIRA ou d'un humain, n'ont trouvé aucune interaction médicamenteuse dangereuse, aucun dosage incorrect pour les patients ayant une fonction rénale altérée, et aucune prescription de médicaments antidouleur risqués. MIRA était presque parfait pour capturer les médicaments actuels d'un patient. Il a également bien répondu à la question de savoir si un patient devait être admis : il n'a manqué aucun cas nécessitant une hospitalisation. La performance est restée stable même lorsque les patients testés parlaient uniquement allemand ou français, ou agissaient de manière particulièrement anxieuse. Le code source est disponible sur GitHub.

AMIE associe deux agents avec des directives cliniques

Le système AMIE de Google adopte une approche différente : la gestion des patients lors de plusieurs visites. Le système se compose de deux parties. Un agent conversationnel gère le dialogue rapide et amical avec le patient. Un second agent travaille en arrière-plan, réfléchissant plus attentivement et croisant le cas avec les directives médicales.

Dans une étude contrôlée, Google a comparé AMIE avec 21 médecins de soins primaires sur 100 cas s'étalant sur plusieurs visites. La référence était les directives NICE du Royaume-Uni et les meilleures pratiques du BMJ. Des acteurs jouaient le rôle des patients via un chat textuel. Selon l'étude, AMIE a égalé les médecins sur les décisions de traitement et les a surpassés en termes de précision des plans et d'adhésion aux directives. Lors de la première visite, le plan global d'AMIE a été jugé approprié dans 95 % des cas. Pour les médecins, ce chiffre était de 72 %. Tant les examinateurs spécialistes que les acteurs patients ont préféré AMIE plus souvent que les médecins humains.

Pour tester les connaissances médicamenteuses, l'équipe a construit un benchmark dédié appelé RxQA, basé sur deux formulaires nationaux de médicaments et vérifié par des pharmaciens agréés. AMIE a obtenu de meilleurs résultats que les médecins de soins primaires sur les questions les plus difficiles. Le test était difficile pour les deux parties, cependant. Même sur les questions les plus faciles, le meilleur score est resté en dessous de 75 %.

Les deux équipes mettent en garde contre des conclusions hâtives

Les auteurs sont clairs sur les limites de leurs résultats. MIRA a recommandé des "soins qui s'écartaient des meilleures pratiques" pour une "petite mais non nulle" part des patients. Les réponses du patient simulé ont également pu être "plus structurées que la parole réelle des patients dans les services d'urgence". Et il ne peut être totalement exclu que le jeu de données MIMIC-IV, librement disponible, ait déjà fait partie des données d'entraînement pour les modèles utilisés. Si tel est le cas, la performance mesurée serait plus un plafond qu'une estimation réaliste. Les médecins comparés travaillaient également dans le système des urgences allemand, qui diffère de celui d'autres pays.

Les développeurs d'AMIE qualifient leur étude de "jalon" mais soulignent que ni la sélection des cas ni les conversations uniquement textuelles ne reflètent une véritable clinique. Le système montre des "capacités prometteuses" mais n'est "pas prêt pour une traduction dans le monde réel". Un travail supplémentaire est nécessaire pour traiter les "erreurs de raisonnement latentes" qui peuvent s'infiltrer dans les étapes de raisonnement cachées du système.

Jakob Kather, dont le groupe de recherche a co-développé MIRA, a déclaré au Financial Times : "Nous avons un aperçu de la façon dont l'IA pourrait transformer la médecine." Il a comparé ces agents d'IA à l'autopilote d'un avion : "Ces systèmes peuvent soutenir et alléger le travail des professionnels de la santé en prenant en charge des tâches routinières, mais la responsabilité ultime restera toujours entre les mains des médecins."

Des experts indépendants tempèrent l'enthousiasme

Des chercheurs non impliqués dans les deux études ont loué la méthodologie rigoureuse mais ont souligné qu'il s'agissait de simulations. Catherine Pope, professeure de sociologie médicale à l'Université d'Oxford, a déclaré au FT que cela est "un peu éloigné du monde humain, complexe et désordonné des soins de santé quotidiens."

Julie Jacko, professeure d'informatique de la santé à l'Université d'Édimbourg, a déclaré que de nombreux avantages rapportés étaient dus à la "précision et à l'exhaustivité des plans" plutôt qu'à des "différences claires dans la correction clinique." L'étude "démontre la performance par rapport à une norme structurée plutôt que de capturer pleinement la complexité de la prise de décision clinique réelle."

Les structures aident le plus les modèles faibles, les modèles plus forts n'en ont pas besoin

Une des découvertes les plus révélatrices est enfouie dans les expériences supplémentaires d'AMIE. Comme cela arrive souvent avec les études évaluées par des pairs, les deux systèmes reposent sur des modèles d'IA plus anciens. AMIE fonctionne encore sur l'ancien modèle Gemini 1.5 Flash de Google. MIRA utilise GPT-4o et o1-preview d'OpenAI. Tous ces modèles ont depuis été dépassés par de nouvelles générations.

Les chercheurs de Google ont remplacé des composants individuels pour déterminer ce qui motive réellement la performance : l'élaboration de l'architecture à deux agents, l'adéquation aux directives, et la formation spécialisée, ou simplement le modèle de langage sous-jacent.

Avec l'ancien modèle Gemini 1.5 Flash, la configuration spécialisée a fourni le grand coup de pouce de performance décrit dans l'étude. Mais lorsque les chercheurs ont appliqué la même configuration au nouveau modèle Gemini 2.5 Flash, l'avantage a presque disparu.

Le système spécialisé, en d'autres termes, compense les faiblesses du modèle plus ancien en forçant un raisonnement structuré, en le faisant citer des directives et en supprimant les hallucinations. Un modèle plus puissant peut faire tout cela de lui-même. L'article reconnaît que la valeur d'AMIE diminue à mesure que le modèle de base s'améliore. En fait, de nouveaux modèles à usage général comme Gemini 2.5 Pro, o3 et GPT-5 obtiennent déjà des scores "largement comparables" à ceux du système complet d'AMIE sur le test médicamenteux RxQA.

En pratique, AMIE semble avoir été dépassé par le rythme du développement de l'IA. C'est un schéma qui se répète : la structure autour des modèles de langage devient redondante à mesure que des modèles plus puissants apparaissent, parfois parce que la structure elle-même alimente les données d'entraînement pour la génération suivante. Cela ne rend pas les idées qui la sous-tendent sans valeur : dans le codage et de plus en plus dans d'autres domaines, des outils de structure comme Claude Code, OpenAI Codex, et Claude Cowork donnent aux modèles accès à des outils, du contexte et de la mémoire. Même les modèles plus puissants obtiennent encore de meilleurs résultats sur des tâches complexes avec ce type de soutien. Mais la structure doit suivre la performance du modèle, sinon elle devient finalement un poids mort.

MIRA manque de ce type d'analyse. Une partie de son architecture, cependant, concerne moins le comblement des faiblesses du modèle et plus la connexion de l'IA aux systèmes cliniques d'un hôpital. Cette partie ne deviendrait pas obsolète avec des modèles plus puissants.