Epoch AI : détecteurs de texte IA trompés par le mimétisme

Epoch AI : détecteurs de texte IA trompés par le mimétisme

Les détecteurs de texte IA peinent lorsque les modèles linguistiques imitent le style d'un auteur.

Une équipe de recherche d'Epoch AI a démontré que des détecteurs de texte IA populaires tels que Pangram, GPTZero et Originality.ai peuvent identifier les textes générés par IA avec une précision presque parfaite dans des conditions standard. Cependant, lorsque les modèles IA sont incités à imiter le style d'écriture d'un auteur spécifique à partir d'échantillons de texte, les performances des détecteurs chutent considérablement, avec en moyenne 13 % des passages générés qui passent inaperçus.

L'écriture scientifique est un point faible : les détecteurs n'ont pas réussi à signaler entre 24 et 29 % des contenus générés par IA imitant le style dans cette catégorie, soulevant des inquiétudes quant à la fiabilité de ces outils dans les environnements éducatifs.

Les détecteurs de texte IA populaires détectent presque parfaitement les textes générés par IA simples. Mais lorsque les modèles linguistiques copient délibérément le style d'écriture d'un auteur spécifique, jusqu'à un texte IA sur cinq échappe à la détection. L'écriture scientifique est celle où les détecteurs échouent le plus.

Une équipe de recherche d'Epoch AI a testé trois des détecteurs de texte IA les plus utilisés : Pangram (version 3.3.2), GPTZero (modèle 2026-05-11-base) et Originality.ai (Turbo 3.0.2). Le test a couvert trois catégories : écriture humaine authentique, texte IA généré à partir de simples incitations, et texte IA qui imite délibérément le style d'un auteur spécifique.

L'équipe a constitué un corpus de 495 passages humains provenant de 99 auteurs, répartis de manière égale entre blogs, fiction et écriture scientifique. Tous les textes ont été rédigés avant la sortie de ChatGPT en novembre 2022, ce qui élimine efficacement la contamination par les modèles linguistiques.

Lorsqu'il s'agit de texte IA généré simple, les trois détecteurs ont presque tous fonctionné sans faille, le taux de faux négatifs atteignant un maximum de 0,7 %. Les textes humains ont également été classés correctement dans la plupart des cas. Pangram et GPTZero n'ont pas produit un seul faux positif. Cependant, Originality.ai a signalé 19 des 495 passages humains comme étant générés par IA, un taux de faux positif préoccupant de 3,8 %.

L'imitation de style fait chuter les taux de détection

Ce résultat change lorsque les modèles linguistiques reçoivent des échantillons d'écriture d'un auteur comme matériel de référence. Pour ce test, trois modèles de pointe (Claude Opus 4.8, GPT-5.5, et Gemini 3.1 Pro) ont chacun reçu cinq passages de texte réels d'un auteur et ont été invités à rédiger de nouveaux textes dans le même style.

Parmi les 297 passages générés de cette manière, en moyenne 38 sont passés inaperçus, selon Epoch AI, ce qui correspond à un taux de faux négatifs d'environ 13 %. Pangram a manqué 10 % des textes imitant le style, GPTZero a manqué 11 %, et Originality.ai a manqué 18 %.

Une fois que l'IA imite des auteurs humains, les taux d'erreur des détecteurs explosent.

Pour la fiction, le taux de faux négatifs de tous les détecteurs se situait entre 1 et 5 %. L'écriture scientifique a révélé une histoire très différente. Pangram n'a pas réussi à détecter 25 % des textes académiques générés par IA imitant le style, GPTZero a manqué 24 %, et Originality.ai a manqué 29 %.

Les pires résultats individuels ont été observés dans des combinaisons spécifiques modèle-genre au sein de l'écriture scientifique. Pangram a manqué 48 % des passages académiques générés par Gemini, selon les données publiées. Chez Originality.ai, 39 % des textes académiques de GPT-5.5 sont passés inaperçus.

Méthodes différentes, mêmes angles morts

Pangram utilise un réseau de neurones entraîné sur des textes humains et générés par machine, bien que son fondateur ait qualifié le système de "boîte noire" puisque ses verdicts ne peuvent pas être retracés. GPTZero mesure à quel point les choix de mots sont prévisibles et comment cela varie au sein d'un texte, basé sur l'idée que les modèles linguistiques écrivent de manière plus uniforme que les humains. Originality.ai recherche des motifs statistiques qu'il a appris lors de son entraînement sur des textes humains et générés par IA.

Malgré ces différences, les trois détecteurs montrent le même schéma. Ils détectent presque toujours les textes issus de simples incitations, mais manquent beaucoup plus souvent les imitations. L'écriture scientifique, le genre où la détection IA est probablement la plus utilisée dans le monde réel, reste la plus difficile à signaler correctement.

Un test antérieur de l'Authors Guild a révélé que Pangram et Originality.ai classifiaient de manière fiable les textes humains comme humains. L'étude d'Epoch AI complète l'autre moitié de ce tableau : un faible taux de fausse alarme sur l'écriture humaine en dit peu sur le nombre de textes IA qui passent réellement à travers les mailles du filet.