IA : une sortie isolée ne suffit pas à juger un système

Les systèmes d’IA peuvent donner des réponses différentes à une même demande. Une réponse correcte atteste une capacité, pas sa fréquence ni sa fiabilité. Mesurer la performance suppose des entrées représentatives, des exécutions répétées et des intervalles de confiance.

Non-déterminisme : une bonne réponse ne suffit pas

Les systèmes d’IA sont non déterministes : ils peuvent fournir des réponses différentes à partir de la même entrée. Une bonne réponse montre qu’un système est capable d’accomplir une tâche, mais elle ne renseigne ni sur la fréquence ni sur la fiabilité de ce résultat. Une sortie isolée ne suffit donc pas à juger la performance globale.

Évaluer suppose des jeux d’entrées et des répétitions

Une seule sortie ne permet pas d’évaluer la performance d’un système d’IA. Pour une évaluation pertinente, il faut multiplier les entrées représentatives, répéter les exécutions et utiliser des intervalles de confiance. Ce sont l’ensemble des réponses obtenues qui décrivent le système, pas une réponse prise isolément. Par exemple, à la question « Puis-je retourner un produit ouvert après 30 jours ? », une réponse peut expliquer correctement la politique, une autre omettre une exception importante, une troisième promettre un remboursement non dû. C’est la diversité de ces réponses qui reflète le comportement du système.

L’héritage du logiciel déterministe

Il arrive que des équipes évaluent un système d’IA en le testant une seule fois et en tirant des conclusions du résultat. Cette pratique ne relève pas de la négligence, mais s’explique par l’habitude prise avec les logiciels déterministes, où une fonctionnalité qui fonctionne une fois fonctionne toujours de la même façon. Les systèmes d’IA, eux, ne garantissent pas la reproduction d’une sortie identique.