IA et jugement humain : un équilibre précaire

IA et jugement humain : un équilibre précaire

Le principe fondamental souvent négligé

Dans le développement des technologies d'intelligence artificielle, un principe fondamental est souvent négligé : l'IA doit servir de soutien à la décision, laissant à l'humain le rôle de décideur final. Ce principe repose sur l'idée que l'IA peut fournir des informations précieuses, identifier des risques ou des schémas que l'humain seul pourrait manquer. Cependant, c'est à l'humain de prendre ces éléments en compte pour prendre une décision éclairée. Malheureusement, dans des secteurs critiques comme le droit, la santé ou la justice pénale, ce principe est souvent violé dès la conception des produits.

Les systèmes d'IA sont souvent conçus pour être rapides et attrayants, avec une étape d'approbation humaine ajoutée en surface. Cela crée une illusion de soutien à la décision, alors qu'en réalité, cela transfère la responsabilité à l'humain sans lui donner les moyens de l'assumer pleinement. L'IA obtient le crédit pour les résultats, tandis que l'humain porte le risque des erreurs potentielles.

L'écart entre ces deux éléments est là où les gens se blessent, sont sanctionnés et poursuivis en justice.

Les exigences d'un véritable soutien à la décision

Pour que l'IA joue réellement son rôle de soutien à la décision, elle doit améliorer le jugement humain en mettant en lumière des éléments que l'humain seul ne pourrait pas voir. Cela implique que l'humain doit être capable d'ajouter son propre contexte, son jugement et son expérience pour prendre une décision qu'il peut défendre. Cela nécessite que l'utilisateur soit réellement en mesure d'évaluer les informations fournies par l'IA, et non simplement d'approuver passivement une recommandation.

Cependant, de nombreux produits d'IA ne sont pas conçus pour permettre cette évaluation critique. Souvent, la conception se limite à un modèle performant et une interface utilisateur claire, avec une simple étape de révision qui ne permet pas une véritable interaction critique avec les données fournies par l'IA.

Ce n'est pas ce que la plupart des produits sont conçus pour produire. J'ai observé comment les flux de travail décisionnels assistés par l'IA sont construits, et le schéma est constant : l'équipe produit construit un bon modèle, l'équipe UX crée une interface claire pour la sortie, quelque part dans les spécifications, il y a une étape de révision, généralement un bouton, parfois une fenêtre de confirmation. Le service juridique approuve parce qu'un humain approuve techniquement chaque action. Le produit est lancé.

Ce qui n'est pas conçu : ce dont l'humain a réellement besoin pour évaluer ce qu'il regarde.

Les dangers du biais d'automatisation

Des recherches ont montré que lorsque des recommandations d'IA apparaissent à l'écran, les utilisateurs ont tendance à leur faire confiance, surtout sous pression. Ce phénomène, connu sous le nom de biais d'automatisation, pousse les utilisateurs à accepter les sorties d'un système sans les interroger. Une étude de 2023 a mis à l'épreuve ce biais avec 457 cliniciens répartis sur 13 États. Les résultats ont montré que les prédictions standard de l'IA ont amélioré la précision diagnostique de 4,4 points de pourcentage. Cependant, lorsque l'IA faisait des prédictions biaisées, la précision diagnostique diminuait.

Les explications, telles que les cartes de saillance basées sur des images, n'ont pas aidé. Lorsque le modèle était incorrect, montrer aux cliniciens le raisonnement derrière cette réponse erronée ne les a pas protégés d'être d'accord avec elle. L'explication a échoué parce que l'humain n'était plus engagé dans l'évaluation du cas. Ils évaluaient s'ils devaient faire confiance au système. Ce sont des tâches cognitives différentes, et la conception avait déjà répondu à la seconde au moment où l'explication est apparue.

Une étude de 2023 intitulée « Mettre un humain dans la boucle : augmentation de l'adoption, mais diminution de la précision » a trouvé quelque chose de pire : l'introduction d'un examinateur humain a en fait augmenté la fréquence à laquelle les gens suivaient la recommandation de l'IA, car la présence d'un humain faisait croire aux participants que la décision avait déjà été validée. L'humain ne corrigeait pas les erreurs. L'humain fournissait une couverture.

Zana Buçinca et Krzysztof Gajos à Harvard ont testé si forcer les utilisateurs à former leur propre avis avant de voir la réponse de l'IA changerait cela. Cela a fonctionné, réduisant la fréquence à laquelle les gens suivaient l'IA même lorsqu'elle était incorrecte. Cependant, les participants n'appréciaient pas ces conceptions, car elles les forçaient à réfléchir davantage, ce qui est souvent perçu comme une friction indésirable. Pourtant, dans les décisions à enjeux élevés, l'absence de friction est souvent le mode d'échec.

Exemples concrets de rupture du contrat

Dans le domaine juridique

En 2023, un avocat de New York, Steven Schwartz, a cité des affaires fictives générées par ChatGPT dans un mémoire. Le tribunal a infligé une amende de 5 000 dollars et a exigé que Schwartz informe chaque juge mentionné dans ces affaires fictives. Ce cas n'est pas isolé : d'ici fin 2025, plus de 1 356 incidents d'hallucinations d'IA dans des documents juridiques ont été recensés, avec des amendes allant jusqu'à 30 000 dollars.

En Californie, au moins un tribunal a commencé à suggérer que l'avocat adverse pourrait avoir le devoir de détecter les faux générés par l'IA de l'autre côté. L'avocat était le décideur. La conception ne lui a donné aucun moyen de vérifier l'entrée sur laquelle il se basait.

Dans le secteur de la santé

IBM Watson pour l'oncologie a dépensé plus de 62 millions de dollars sans réussir à s'intégrer efficacement dans les systèmes hospitaliers. Un audit a révélé que ses recommandations n'étaient pas basées sur des preuves actuelles. De même, l'outil de prédiction de sepsis d'Epic a échoué à détecter correctement la majorité des cas, manquant 67 % des cas de sepsis au seuil recommandé, générant des alertes inutiles et inefficaces.

Des centaines de cliniciens étaient nominalement les décideurs sur le sepsis tout en s'appuyant sur un outil dont la performance dans le monde réel était ininterrogeable.

Dans les systèmes autonomes

En 2025, Tesla a été jugée partiellement responsable d'un accident mortel impliquant son système Autopilot. Le jury a estimé que la manière dont le système était commercialisé incitait les conducteurs à lui faire une confiance excessive, contribuant ainsi à l'accident.

Pendant des années, la réponse standard à « qui est responsable lorsque l'Autopilot est engagé ? » était « le conducteur ; le système nécessite une supervision constante ». Le jury a réagi. Lorsque la conception d'un produit entraîne l'humain à abandonner un jugement qu'il était censé conserver, le produit partage le résultat.

Dans la justice pénale

Eric Loomis a été condamné en partie sur la base d'un score de risque généré par COMPAS, un outil dont les algorithmes sont opaques. La Cour suprême du Wisconsin a permis l'utilisation de COMPAS, malgré des biais documentés dans ses prédictions, notamment une tendance à surestimer le risque de récidive chez les défendeurs noirs. L'enquête de ProPublica en 2016 a révélé que COMPAS était presque deux fois plus susceptible de signaler faussement des défendeurs noirs comme futurs délinquants par rapport à des défendeurs blancs au même niveau de risque.

Le juge était le décideur. La conception a mis un chiffre inexamined sur la page et a ensuite supposé que l'humain pouvait raisonner autour de celui-ci.

Les raisons de la persistance du problème

Le biais d'automatisation est une explication immédiate des échecs, mais un autre problème plus insidieux est la détérioration des compétences humaines. Dans l'aviation, la dépendance excessive au pilote automatique a conduit à une diminution des compétences de pilotage manuel, comme l'a montré l'accident du vol Asiana 214 en 2013 à l'aéroport international de San Francisco. Cet incident a conduit la FAA à émettre des directives demandant aux pilotes de piloter manuellement plus souvent pendant les phases de faible charge de travail, afin de maintenir leurs compétences.

Dans le domaine médical, une expérience similaire est en cours. Des essais montrent que l'utilisation de l'IA pour détecter des polypes lors de coloscopies peut affecter la capacité des médecins à effectuer des diagnostics précis sans assistance.

En conclusion, la conception des systèmes d'IA doit évoluer pour véritablement soutenir la décision humaine, en fournissant les outils nécessaires pour évaluer et interpréter les recommandations de l'IA de manière critique.