Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Les biais des modèles IA révélés par une expérience
Une récente expérience a mis en lumière des biais significatifs dans le fonctionnement de Microsoft Copilot, un outil largement utilisé pour l'analyse de données textuelles. Le mathématicien Adam Kucharski a démontré que, lorsqu'il est utilisé en mode standard, Copilot tend à générer des stéréotypes spécifiques à chaque pays au lieu de s'appuyer sur les données réelles. Ce constat soulève des questions sur la fiabilité des analyses produites par cet outil.
Dans le cadre de cette expérience, des réponses simulées concernant des objectifs de carrière ont été utilisées pour tester Copilot. L'outil a affirmé que les Italiens étaient plus enclins à s'intéresser à l'art que les Britanniques, malgré des ensembles de données identiques pour les deux pays. Ce résultat met en évidence un problème majeur : l'outil ne choisit pas toujours le meilleur modèle pour une tâche donnée, même en mode "Auto", censé optimiser ce choix.
Des stéréotypes nationaux générés par l'IA
Pour approfondir cette analyse, Kucharski a créé 2 000 réponses simulées sur des émotions, étiquetées "Royaume-Uni". Il a ensuite dupliqué ces réponses pour les étiqueter "États-Unis", créant ainsi un ensemble de 4 000 entrées. Ces données ont été soumises à Copilot en mode "Auto" pour une analyse.
Le résultat a été surprenant : Copilot a produit un résumé détaillant des différences supposées entre les réponses des deux pays, affirmant des variations de ton, d'intensité et de style, alors que les données étaient identiques. Cette analyse erronée démontre que l'outil s'appuie sur des stéréotypes intégrés plutôt que sur les données réelles.
Des biais persistants malgré des données identiques
Dans une seconde expérience, Kucharski a généré 200 déclarations sur des objectifs de carrière, qu'il a ensuite copiées pour les États-Unis, le Royaume-Uni, la France, l'Allemagne et l'Italie. Copilot a de nouveau produit des différences spécifiques à chaque pays, affirmant que les Italiens étaient trois fois plus intéressés par les carrières artistiques que les Britanniques, et que les Américains étaient 1,5 fois plus orientés vers les affaires que les Français.
Ces conclusions étaient basées sur des données identiques, révélant une tendance de l'outil à ignorer ses propres découvertes initiales. Copilot a fourni une analyse qui montrait encore une fois des différences inventées, illustrant ainsi le danger de se fier aveuglément à ses résultats.
Le mode Auto de Copilot sous le feu des critiques
L'analyse a été réalisée en mode "Auto", une fonctionnalité de Copilot censée sélectionner automatiquement le meilleur modèle pour une tâche. Cependant, cette expérience montre que ce n'est pas toujours le cas. La plupart des utilisateurs de Copilot, qui utilisent probablement la version standard incluse avec un compte Microsoft 365 Business, pourraient être induits en erreur par ces biais.
Kucharski souligne le risque que des analyses basées sur ces biais soient appliquées à de véritables ensembles de données, créant des différences fictives entre des groupes démographiques sans distinctions réelles. Cela pourrait avoir des conséquences significatives sur les décisions prises par les entreprises.
Les modèles de raisonnement : une solution partielle
Pour contrer ces biais, Kucharski a testé les modèles de raisonnement. ChatGPT Instant et Claude Opus 4.7, par exemple, sont passés automatiquement en mode de raisonnement étendu et ont écrit du code Python pour analyser l'ensemble de données, détectant ainsi les doublons. Passer manuellement Copilot et Gemini à leurs modèles de raisonnement plus performants permet également de détecter la duplication.
Cependant, même ces modèles plus avancés ne garantissent pas une analyse parfaite. Kucharski note que la détection de données identiques fonctionne principalement lorsque la duplication est évidente. Dans des ensembles de données réels, où les réponses peuvent être similaires mais pas identiques, ces outils pourraient échouer à corriger les biais intégrés.
Recommandations pour une utilisation prudente
Kucharski recommande de toujours noter le résultat attendu avant de changer de modèle et de vérifier la cohérence des analyses générées par l'IA. Cette approche permettrait de minimiser le risque de biais rétrospectif, où il semble évident après coup qu'un autre modèle aurait été plus approprié. En fin de compte, une utilisation prudente et éclairée des outils d'IA est essentielle pour garantir des analyses fiables et pertinentes.
