MIT : l'IA en santé doit s'adapter aux utilisateurs

L'impact de l'IA sur les diagnostics médicaux selon l'expertise des utilisateurs

Des chercheurs du MIT, en collaboration avec d'autres institutions, ont mené une étude approfondie sur l'utilisation des outils d'explicabilité de l'intelligence artificielle (IA) dans le domaine de la santé. Cette recherche a mis en lumière que les résultats produits par ces outils peuvent varier considérablement en fonction de l'utilisateur, qu'il s'agisse de non-experts ou de professionnels de la santé. L'étude a révélé que les non-experts, lorsqu'ils étaient assistés par l'IA, amélioraient leur précision diagnostique. Cependant, cette amélioration était principalement due à leur tendance à se fier aveuglément aux modèles d'IA. En revanche, les prestataires de soins primaires ont montré une préférence pour les prédictions de l'IA sans explication, ce qui a conduit à de meilleurs résultats.

L'étude du MIT et ses implications

Publiée dans la revue Nature Medicine, l'étude s'est concentrée sur le diagnostic dermatologique, un domaine où l'IA est déjà utilisée pour soutenir certains cliniciens et commence à être accessible aux patients via des produits de recherche basés sur l'IA. Marzyeh Ghassemi, professeure associée au Département d'ingénierie électrique et d'informatique du MIT, a souligné l'importance de ces résultats pour la conception des interfaces d'IA en santé. Elle a déclaré que bien que les systèmes d'IA puissent améliorer les performances dans certains contextes, il est crucial de trouver un équilibre avec la déférence algorithmique, qui peut entraîner des erreurs supplémentaires. Ghassemi a également noté que l'IA et les méthodes d'explicabilité peuvent induire un biais d'automatisation chez les utilisateurs, un effet qui doit être pris en compte lors de la conception de ces systèmes.

L'influence des interfaces sur le diagnostic

L'IA explicable a pour objectif de fournir aux utilisateurs des éléments pour évaluer la sortie d'un modèle. Par exemple, un système peut mettre en évidence des zones d'une image médicale qui ont influencé son diagnostic, ou montrer des images similaires pour soutenir une prédiction. Les grands modèles de langage (LLM) offrent une autre approche en produisant un compte rendu en langage clair du raisonnement d'un modèle, présentant un diagnostic dans des termes accessibles à un public général. L'étude menée par le MIT a testé plusieurs de ces approches en présentant aux participants des images médicales accompagnées de prédictions de maladies de la peau.

Les non-experts ont évalué si les images de grains de beauté montraient un cancer, tandis que les cliniciens faisaient face à une tâche plus large : ils devaient fournir un diagnostic différentiel pour les maladies dermatologiques.

Les non-experts et leur dépendance aux explications linguistiques

Les résultats ont montré que chaque approche d'explicabilité testée améliorait la précision des non-experts, notamment dans l'identification des grains de beauté non cancéreux. Cependant, les chercheurs ont également testé un modèle conçu pour traiter le biais contre les teintes de peau plus foncées, qui a amélioré la précision tout en réduisant les disparités diagnostiques basées sur la teinte de peau. Malgré ces améliorations, les non-experts ont montré une forte dépendance aux recommandations du modèle, ce qui a entraîné une baisse de performance lorsque le modèle se trompait. Les explications fournies par les LLM ont eu l'effet le plus fort sur cette déférence, les participants faisant confiance à ces explications, qu'elles soient correctes ou non. Les utilisateurs ayant reçu une assistance LLM ont signalé une plus grande confiance dans les réponses incorrectes.

Roxana Daneshjou, professeure assistante en science des données biomédicales et dermatologie à l'Université de Stanford, a déclaré que les patients ayant des connaissances médicales limitées sont les plus exposés à des sorties erronées de l'IA explicable.

Les prestataires de soins primaires et leur utilisation de l'IA

Contrairement aux non-experts, les cliniciens ont montré une résilience face aux recommandations ou explications erronées de l'IA. Leur meilleure performance a été observée avec une interface plus limitée, où le système fournissait uniquement la prédiction du modèle sans explication. Les explications des LLM ont eu un impact moindre sur l'amélioration de la précision des cliniciens. Cela ne signifie pas que les explications n'ont aucun rôle dans la pratique clinique, mais plutôt qu'un format d'explication adapté à un patient ou à un novice peut ne pas convenir à un utilisateur formé.

Orson Xu, auteur principal et professeur assistant au Département d'informatique biomédicale de l'Université de Columbia, a déclaré : “Tout dépend de la manière dont chaque groupe utilise l'explication. Un clinicien a déjà un diagnostic en tête et vérifie l'IA par rapport à sa propre formation, donc une mauvaise explication est détectée.”

Le timing et le biais d'automatisation

L'étude a également exploré le moment où les utilisateurs recevaient l'assistance de l'IA. Les résultats ont montré que les utilisateurs devenaient plus déférents lorsque le système présentait une explication avant qu'ils n'aient eu l'occasion de faire leur propre diagnostic. Cette découverte souligne l'importance de la conception des interfaces, qui pourrait inclure une demande d'hypothèse diagnostique initiale de l'utilisateur, suivie d'une recommandation de l'IA. Les utilisateurs les plus dépendants de l'IA étaient également ceux qui avaient le plus de difficultés à accomplir la tâche sans assistance, ce qui souligne le besoin d'un soutien adapté à leur niveau d'expertise. La recherche a comparé la performance humaine et celle de l'IA à travers différentes présentations de maladies. Les systèmes d'IA ont surpassé les humains lorsque les symptômes apparaissaient de manière subtile. Les humains se sont mieux comportés lorsque l'image contenait des symptômes atypiques ou des caractéristiques non liées. Les outils pour cliniciens peuvent nécessiter une sortie directe du modèle qui soutienne la révision par rapport au jugement professionnel. Les outils destinés aux patients nécessitent une attention particulière concernant les explications des LLM, en particulier lorsque le système présente un récit confiant pour une recommandation incorrecte.