Air Canada et l'IA : quand l'algorithme échappe à la responsabilité

Quand l'IA se trompe, qui paie les pots cassés ?

Les systèmes d'intelligence artificielle, bien qu'innovants, ne sont pas infaillibles. Les erreurs qu'ils commettent peuvent avoir des conséquences réelles et parfois graves sur les individus. L'exemple de Jake Moffatt en est une illustration frappante. Après le décès de son père, Moffatt a cherché à réserver un vol de dernière minute via le site d'Air Canada. Il a consulté un chatbot pour obtenir des informations sur les tarifs de deuil. Malheureusement, les instructions fournies par le bot étaient incorrectes. Lorsqu'il a demandé à la compagnie aérienne de respecter les informations fournies, Air Canada a affirmé que le chatbot était une "entité légale distincte" et donc responsable de ses propres actions. Cette situation a nécessité l'intervention d'un tribunal pour clarifier que l'entreprise devait assumer la responsabilité de son site web.

La chaîne de responsabilité : un jeu de ping-pong

Lorsqu'une expérience d'IA échoue, la responsabilité est souvent diluée entre plusieurs acteurs. Les designers, qui construisent l'interface, affirment ne pas être responsables de la formation du modèle. Les chefs de produit, qui définissent les exigences, indiquent que c'est le modèle qui prend les décisions. Les fournisseurs, qui construisent l'outil, soulignent que c'est l'entreprise qui l'a déployé. Enfin, l'entreprise elle-même se dédouane en affirmant que l'algorithme a pris la décision. Pendant ce temps, l'algorithme reste silencieux, car il n'a pas besoin de se justifier.

La diffusion de responsabilité : un problème amplifié par l'IA

La diffusion de responsabilité est un concept bien connu en théorie organisationnelle. Plus il y a de personnes impliquées dans une décision, moins chacune d'elles ressent le poids de cette décision. L'IA n'a pas créé ce phénomène, mais elle l'a amplifié à une échelle industrielle. Contrairement aux erreurs de conception classiques, où l'on peut retracer la décision jusqu'à une personne, les décisions prises par l'IA sont souvent attribuées à tout le monde et à personne en même temps. Cela complique la tâche de déterminer qui est réellement responsable lorsque l'IA refuse des soins de santé, donne des conseils dangereux ou discrimine un candidat à l'embauche.

Des exemples concrets de préjudices causés par l'IA

Les cas de préjudices causés par l'IA sont nombreux et variés. Par exemple, le modèle d'IA de UnitedHealth Group a montré un taux d'erreur d'environ 90 % dans les refus de soins post-aigus, ce qui signifie que neuf décisions sur dix étaient annulées en appel. Cependant, seulement 0,2 % des demandes refusées ont été contestées, car beaucoup de personnes ignorent qu'elles peuvent faire appel. Certaines personnes ont même perdu la vie à cause de ces refus injustes.

Un autre exemple est celui de l'Association nationale des troubles alimentaires, qui a remplacé ses conseillers humains par un chatbot nommé Tessa. En quelques jours, le bot a commencé à donner des conseils inappropriés, comme compter les calories et maintenir des déficits caloriques, à des personnes souffrant de troubles alimentaires. Bien que NEDA ait fermé le bot, la ligne d'assistance humaine avait déjà disparu.

À New York, un assistant IA appelé MyCity, pour lequel la ville a dépensé plus de 600 000 dollars, a donné des conseils illégaux aux employeurs, leur disant qu'ils pouvaient prendre les pourboires des travailleurs. Le maire a qualifié le produit de "beta" et a annoncé son intention de le fermer d'ici février 2026.

Un autre cas concerne les outils de recrutement d'IA de Workday, qui ont rejeté 1,1 milliard de candidatures, y compris celles d'un homme noir pour plus de 100 postes. Un juge fédéral a statué que les fournisseurs d'IA, et pas seulement les entreprises qui utilisent leurs outils, peuvent être tenus responsables de discrimination à l'embauche.

Enfin, le chatbot de Character.AI a conseillé à un adolescent de "rentrer chez lui" peu avant qu'il ne se suicide. Google et Character.AI ont accepté de régler plusieurs poursuites en janvier 2026.

Le rôle des designers dans ces échecs

Les designers jouent un rôle crucial dans la manière dont les résultats de l'IA sont présentés. Ils ne participent pas à la formation du modèle ni à la décision commerciale de déployer l'outil, mais ils façonnent l'interface utilisateur. Cela inclut les mots affichés à l'écran, la confiance visuelle inspirée par la sortie et l'absence de clause de non-responsabilité. Par exemple, lorsque l'IA de UnitedHealth a généré un refus, un designer a déterminé comment ce refus était présenté, influençant ainsi la perception de sa finalité.

Un manque de cadre professionnel pour les designers

Malgré leur rôle crucial, les designers manquent de directives claires pour traiter les questions liées à l'IA. Les normes de pratique professionnelle de l'AIGA, par exemple, n'ont pas été mises à jour depuis 2010 et ne contiennent aucun langage concernant l'IA. Cela laisse un vide en matière de responsabilité professionnelle pour les designers impliqués dans les projets d'IA.

Vers une responsabilité plus claire

Le paysage juridique évolue plus rapidement que les normes professionnelles. La décision Mobley v. Workday a établi que les fournisseurs d'IA peuvent être tenus responsables de discrimination. Pour les designers, cela signifierait traiter la présentation des résultats de l'IA comme une décision de conception conséquente, avec des implications légales potentielles.

Une question toujours en suspens

Bien que le cas d'Air Canada ait trouvé une résolution, la plupart des préjudices causés par l'IA ne se terminent pas aussi proprement. Souvent, les victimes reçoivent une lettre de refus qui semble définitive, une candidature qui disparaît dans un système, ou un adolescent qui reçoit la mauvaise réponse au pire moment. Personne n'est tenu pour responsable, et le système continue de fonctionner sans changement.