Claude Fable 5 et ChatGPT : l'IA face à l'évaluation UX

L'IA et l'évaluation UX : un duo prometteur mais imparfait

L'intelligence artificielle (IA) s'impose de plus en plus comme un outil puissant dans le domaine de l'évaluation de l'expérience utilisateur (UX). Cependant, elle ne peut pas encore se substituer complètement à l'expertise humaine. La précision des résultats obtenus dépend en grande partie de la qualité des informations fournies à l'IA, plutôt que des capacités intrinsèques du modèle. Dans un projet récent, j'ai été chargé de réaliser une évaluation UX pour les pages de recherche, de résultats et de détails produits d'un portail. Pour ce faire, j'avais à ma disposition un ensemble de questions sur le public cible, les objectifs et l'USP, ainsi qu'un document de recherche sectorielle et des accès à Google Analytics et Clarity.

L'hypothèse de départ, largement répandue, est que l'IA est déjà suffisamment performante pour accomplir ce type de tâche. L'idée est que le designer n'a qu'à vérifier le résultat, et sur des sujets comme celui-ci, l'IA pourrait presque remplacer l'humain. Face à cette opportunité, j'ai décidé de tester cette hypothèse pour voir si elle tenait réellement la route.

Un test rigoureux avec deux modèles IA

Pour mener cette expérience, j'ai utilisé deux modèles d'IA en parallèle : Claude Fable 5 et ChatGPT-5.6 Sol, tous deux accessibles via des abonnements payants. J'ai fourni à chacun d'eux l'ensemble des données disponibles : le brief, les questions et réponses, le matériel de recherche, les exports de Google Analytics, les heatmaps de Clarity, les cartes d'attention et de défilement, ainsi que les URL nécessaires. La tâche était clairement définie : produire un document d'évaluation UX expert avec un objectif précis.

Il est crucial de préciser que je n'ai pas utilisé un seul prompt pour cette tâche. J'ai structuré le travail en plusieurs étapes, demandant aux modèles de justifier leurs conclusions avec les données de Google Analytics et Clarity lorsque cela était possible. L'objectif n'était pas de tester une approche « tout-en-un », mais de voir ce qu'un flux de travail structuré pouvait produire.

Parallèlement, j'ai également réalisé l'analyse manuellement afin de disposer d'une base de comparaison.

Résultats de l'expérience : des analyses perfectibles

Il est important de souligner que ce rapport est basé sur une expérience personnelle et non sur une étude contrôlée. Les résultats obtenus par les deux modèles d'IA étaient pleins de problèmes non pertinents, voire inexistants. Cependant, certaines observations utiles ont émergé, bien qu'elles ne soient exploitables qu'au niveau de la formulation et de la structure. Claude Fable 5 s'est révélé plus précis que ChatGPT-5.6 Sol, du moins en termes de formulation et de structure. Cela reste une impression subjective et non une mesure objective.

Une différence notable entre les deux modèles est que Claude pouvait produire le résultat dans un seul document, tandis que ChatGPT n'y parvenait qu'en partie. Cela semble davantage lié au format de sortie qu'à la qualité de l'analyse.

Il est vrai que certains problèmes que je n'avais pas remarqués ont été mis en lumière par l'IA, ce qui s'est avéré utile. Cependant, l'IA a également manqué de détecter plusieurs autres problèmes.

Ces observations sont en accord avec une étude de 2025 qui a comparé GPT-4o aux heuristiques de convivialité de Nielsen. L'étude a révélé que GPT-4o identifiait environ 21% des problèmes d'utilisabilité repérés par les experts, tout en soulevant plusieurs nouveaux problèmes, parfois erronés. L'IA est donc un excellent outil pour un premier passage, mais ne remplace pas encore l'évaluation d'expert.

Assemblage final et rôle de l'IA

Au final, j'ai choisi de rassembler l'analyse avec l'aide de Claude. J'ai intégré mes propres observations dans une conversation continue avec le modèle, ce qui nous a permis de déterminer ce qu'il fallait conserver ou supprimer. Claude a révisé le texte pour la grammaire, la cohérence et d'autres aspects similaires, suggérant des modifications qui se sont avérées très utiles.

Bien que je n'aie pas mesuré le temps avec précision, j'estime que si j'avais réalisé l'ensemble du travail moi-même, cela aurait pris environ 15% de temps en plus.

Ainsi, l'IA se révèle être un excellent compagnon et un partenaire d'aide qui me permet d'accélérer et d'affiner mon travail. Cependant, elle ne peut pas encore me remplacer. Ensemble, nous formons un duo plus performant que jamais.

Perspectives d'avenir pour l'IA dans l'UX

Il est possible de se demander si une visite guidée du navigateur aurait amélioré les résultats. Aujourd'hui, il existe des outils permettant aux modèles de fonctionner sur le site en direct dans un navigateur, plutôt que de se baser uniquement sur des données statiques et des URL. Je n'ai pas testé cette approche, mais je soupçonne qu'elle n'aurait pas conduit à de meilleurs résultats, car la limitation principale réside dans le jugement, c'est-à-dire la compréhension du contexte et des objectifs, la pondération de la gravité, et la distinction entre les vrais problèmes et le bruit. Une visite guidée en direct ne change pas fondamentalement ces aspects.

Pour l'avenir, je prévois de développer ma propre compétence d'agent pour cette tâche, en intégrant les heuristiques de convivialité établies, la pondération de la gravité façonnée par l'expérience professionnelle, et le regard d'expert qu'un praticien UX apporte à une interface. L'objectif n'est pas de laisser l'IA décider à ma place, mais de transformer mon propre jugement d'expert en une forme réutilisable et cohérente.

Cela rejoint ce que l'on observe dans la recherche sur le sujet : les évaluations heuristiques AI à 95% de précision de Baymard n'ont pas été atteintes grâce à de meilleurs prompts, mais en ancrant le modèle dans leur propre base de connaissances UX recherchée. Certes, dans leur cas, il s'agit des heuristiques d'utilisabilité, ce qui est plus simple qu'une évaluation complexe et contextuelle comme celle-ci, mais le principe reste le même. La précision découle du cadre d'expert que vous fournissez au modèle. C'est pourquoi il est judicieux d'encoder votre propre standard dans une compétence.

L'avenir de l'IA dans le design UX

Je suis conscient que l'IA finira par remplacer notre travail, c'est une certitude. La seule question est de savoir quand cela se produira.

J'ai lu des articles suggérant un certain ralentissement ou plateau dans le développement de l'IA. Selon un article de Reuters de fin 2024, plusieurs chercheurs en IA de premier plan, dont Ilya Sutskever, estiment que l'agrandissement des modèles a atteint ses limites. Les progrès futurs viendront de nouvelles approches, comme les modèles de type "o1" qui raisonnent étape par étape, plutôt que de la taille brute. En d'autres termes, le développement continue, mais l'accent est mis sur des méthodes plus intelligentes plutôt que sur la taille.

Bien sûr, d'autres développements et recherches se poursuivent en arrière-plan, donc il ne fait aucun doute que l'IA continuera de progresser à long terme.

J'ai récemment découvert une page suggérant que nous avons encore quelques bonnes années devant nous, notamment dans la recherche et le design complexe, où l'utilisation de divers modèles d'IA permet d'accélérer, d'affiner et de soutenir le travail.

Conseils pour demain

• Commencez : Utilisez l'IA comme partenaire pour un premier passage, alimentez-la avec vos données réelles, travaillez par étapes et encodez vos propres heuristiques et gravité dans un prompt ou une compétence réutilisable.

• Arrêtez : Ne livrez pas la sortie de l'IA telle quelle, n'espérez pas qu'un seul prompt remplace un flux de travail, et ne déléguez pas votre jugement. La gravité, la priorisation et le contexte commercial restent de votre responsabilité.

Et ne paniquez pas à l'idée que l'IA prendra votre emploi demain. Ce ne sera pas le cas, mais les designers qui apprendront à la diriger surpasseront ceux qui ne le feront pas.