Détecteurs de texte IA : l'impossible quête de la fiabilité

Depuis que l'intelligence artificielle a acquis la capacité de rédiger des textes complexes de manière autonome à la fin de l'année 2022, le besoin d'un outil fiable pour détecter ces textes générés par l'IA s'est intensifié. Les écoles, universités et autres institutions ont exprimé une demande croissante pour de tels détecteurs afin de préserver l'intégrité académique et professionnelle.

Les détecteurs de texte IA actuels reposent sur plusieurs approches. Initialement, des métriques de prévisibilité telles que la perplexité ont été utilisées. Plus récemment, des classificateurs basés sur des transformateurs ont été développés. Ces derniers cartographient le texte dans un espace d'embedding et calculent une probabilité indiquant si le texte est généré par l'IA ou par un humain. Cependant, même ces modèles avancés ne parviennent pas à établir une règle de détection infaillible.

Les performances de ces détecteurs sont souvent influencées par les choix de référence et les stratégies d'entraînement, qui peuvent introduire des biais et des raccourcis. De plus, les conditions du monde réel, ainsi que les attaques adversariales telles que le paraphrasage et la réécriture guidée par le détecteur, continuent de poser des défis majeurs à la fiabilité de ces outils.

Un résultat théorique important souligne que la détection fiable est fondamentalement limitée par la similarité croissante entre les distributions de texte humain et d'IA. À mesure que les textes générés par l'IA deviennent plus fluides, les détecteurs risquent de se transformer en outils de devinette aléatoire.

Des tests pratiques menés avec un détecteur commercial ont révélé des faux positifs surprenants, même sur des textes purement humains, ainsi que des erreurs sur des textes mixtes pourtant évidents. L'auteur de l'étude conclut que les institutions devraient considérer les scores des détecteurs comme des signaux faibles, plutôt que comme des preuves irréfutables, car le problème de la détection fiable semble être fondamentalement insoluble.