ChatGPT : quand l'assurance de l'IA mène à l'erreur

Le piège de la confiance des modèles d'IA

Sara A. Metwalli a partagé une anecdote révélatrice sur ChatGPT. Elle a posé une question simple : « Qui a remporté le Prix Nobel de Physique en 2025 ? » ChatGPT a répondu avec assurance, fournissant des noms et des détails sur les travaux des supposés lauréats. Cependant, le Prix Nobel 2025 n'avait pas encore été annoncé. Cette réponse, bien que fausse, a été donnée avec une certitude déconcertante, illustrant un problème fondamental des modèles d'IA : la confiance mal placée.

En tant qu'êtres humains, nous avons tendance à associer la confiance à la justesse. Si quelqu'un affirme avec certitude que la réponse est « 42 », nous avons tendance à lui faire plus confiance qu'à une personne qui hésite, même si les deux peuvent être également incorrects. Pour les systèmes d'IA, cependant, la confiance peut être un narrateur étonnamment peu fiable.

La confiance et les probabilités

Les modèles de langage, comme ceux basés sur l'IA, utilisent une fonction appelée Softmax pour générer des prédictions. Cette fonction transforme les sorties brutes, appelées logits, en valeurs qui ressemblent à des probabilités. Cependant, ces valeurs ne reflètent pas nécessairement une certitude réelle. Par exemple, lorsqu'un modèle prédit qu'une image représente un chat avec 97 % de confiance, cela ne signifie pas qu'il est sûr à 97 % que c'est un chat. Cela signifie simplement que, parmi les options disponibles, le chat a obtenu le score le plus élevé.

La fonction Softmax peut amplifier de petites différences, créant une illusion de certitude. Un modèle ne dit pas nécessairement : « J'ai des preuves écrasantes que c'est un chat », mais plutôt : « Parmi ces options, le chat a gagné de justesse. » Ces déclarations ont des significations très différentes.

La gestion de l'incertitude par les humains et l'IA

Les humains expriment souvent l'incertitude de manière nuancée, utilisant des expressions comme « je pense » ou « peut-être ». En revanche, les modèles d'IA tendent à afficher une certitude absolue, même lorsqu'ils sont confrontés à des inconnues. Cette différence peut conduire à des malentendus, surtout lorsque l'IA est utilisée dans des contextes où la précision est cruciale.

Par exemple, dire « Je pense que Paris est la capitale de la France » et recevoir une réponse de l'IA comme « Paris est la capitale de la France avec une probabilité de 99,8 % » a la même énergie que de dire « Je pense qu'Atlantis est fictif » et que l'IA réponde « Atlantis est situé à environ 400 miles à l'ouest du Portugal avec 98,7 % de confiance. » Bien que les deux cas aient des résultats très différents, le modèle les traite de manière égale.

Le problème du "fou confiant"

Un modèle d'IA peut être spectaculairement incorrect tout en affichant une confiance absolue. Ce phénomène, appelé "problème du fou confiant", se manifeste lorsque les modèles rencontrent des données en dehors de leur distribution d'entraînement. Par exemple, un classificateur d'images entraîné à reconnaître des animaux pourrait identifier à tort un grille-pain comme un chien, faute d'option "aucune des réponses ci-dessus".

Idéalement, le modèle devrait dire : « Je n'ai absolument aucune idée de ce que c'est. » Mais comme il n'a pas été entraîné à reconnaître l'inconnu, il choisit le score le plus élevé parmi les options disponibles. C'est comme forcer quelqu'un à répondre « Quel fruit est-ce ? » en pointant vers un vélo. Finalement, il choisira un fruit juste pour résoudre la situation et dira : « Banane ? »

Vers des modèles plus honnêtes

Pour améliorer la fiabilité des modèles d'IA, la calibration est essentielle. Des techniques comme le Temperature Scaling et l'Isotonic Regression visent à aligner la confiance affichée avec la précision réelle. Cela signifie que si un modèle affirme une certitude de 90 %, cette estimation devrait correspondre à la réalité dans 90 % des cas.

La calibration n'améliore pas nécessairement les prédictions, mais elle améliore l'honnêteté. Ainsi, un modèle bien calibré devrait dire : « Historiquement, les prédictions à ce niveau de confiance étaient correctes environ 90 % du temps. »

L'importance de la calibration dans des contextes critiques

Dans des domaines tels que la santé, la finance ou la conduite autonome, une confiance mal calibrée peut avoir des conséquences graves. Par exemple, un modèle qui prédit un diagnostic médical avec une confiance erronée peut influencer des décisions critiques. Ainsi, il est crucial de ne pas se fier aveuglément aux scores de confiance des modèles d'IA, mais de les considérer comme des estimations nécessitant validation.

Il est facile de rire quand une IA pense qu'un grille-pain est un chien, mais de nombreuses situations moins drôles existent. Utiliser des LLM dans des systèmes de diagnostic médical, des véhicules autonomes, la détection de fraude et la prévision financière nécessite une grande précision.

La quête d'une IA digne de confiance

Alors que les capacités des modèles d'IA continuent de s'étendre, la question de leur fiabilité devient primordiale. Un modèle capable de reconnaître ses propres limites et d'exprimer l'incertitude de manière appropriée pourrait transformer la manière dont nous utilisons l'IA dans des applications sensibles. La véritable avancée réside dans la création de modèles qui ne se contentent pas d'afficher une certitude, mais qui savent quand douter.

Pendant des années, nous avons mesuré les progrès de l'IA en posant des questions de plus en plus impressionnantes : peut-elle écrire du code, générer de l'art, réussir des examens, raisonner ? Ces questions sont utiles, mais elles peuvent parfois nous distraire d'une question plus importante : pouvons-nous lui faire confiance ?

Les humains ne sont pas non plus parfaits face à l'incertitude. Nous devenons trop confiants tout le temps. Nous pensons que nous pouvons terminer un projet en deux jours, assembler des meubles sans lire les instructions, ou n'avoir besoin que d'un seul voyage de la voiture pour apporter les courses. Même lorsque l'histoire suggère le contraire.

Peut-être que l'IA hérite simplement de certaines de nos mauvaises habitudes ? La différence est que lorsque les humains se trompent avec confiance, généralement, seules quelques personnes en souffrent. Lorsque l'IA se trompe avec confiance, l'erreur peut se propager à des millions, et la confiance à grande échelle est un problème très différent.

La confiance elle-même n'est pas le problème. Le problème commence lorsque la confiance devient une performance plutôt qu'une mesure significative de certitude. À mesure que les systèmes d'IA continuent d'entrer dans les domaines de la santé, de l'éducation, de la finance, de la recherche et des pipelines de décision, nous devrions peut-être cesser de traiter les scores de confiance comme des indicateurs de vérité et commencer à les considérer comme des estimations nécessitant validation.

Parce qu'un modèle qui semble certain est facile à concevoir, alors qu'un modèle qui sait quand ne pas être certain pourrait être l'un des problèmes les plus difficiles que nous avons encore à résoudre.