ChatGPT et Turnitin : l'essor des détecteurs d'IA sème la méfiance

ChatGPT et Turnitin : l'essor des détecteurs d'IA sème la méfiance

Comment tout a commencé

Longtemps avant que ChatGPT ne devienne populaire, les éducateurs et les éditeurs utilisaient fréquemment des outils anti-plagiat pour vérifier l'honnêteté des rédacteurs. Ces outils comparent un texte écrit à une base de données remplie de contenus provenant du web, d'articles académiques, et plus encore, afin de repérer des phrases et des sentences similaires. Certains, comme Turnitin, fournissent un pourcentage qui prétend illustrer le degré de chevauchement entre le travail de l'étudiant et d'autres œuvres. En raison de faux positifs potentiels et d'incertitudes concernant la duplication intentionnelle, certains éducateurs ont commencé à se détourner de cet outil.

Cependant, la recherche de contenu copié évolue désormais en une guerre contre les travaux générés par l'IA. Tout aussi rapidement que les étudiants ont adopté ChatGPT, Google Gemini et Microsoft Copilot, les enseignants ont intégré des détecteurs d'IA. Un sondage du Center for Democracy and Technology a révélé que 43 % des enseignants de la sixième à la douzième année aux États-Unis utilisaient régulièrement des détecteurs d'IA entre 2024 et 2025. Certaines universités utilisant déjà Turnitin dans leurs systèmes de gestion de l'apprentissage ont constaté que le service activait automatiquement la détection d'IA lors de son lancement en 2023.

Au lieu de comparer des morceaux de contenu écrit, les détecteurs d'IA comme GPTZero, Pangram, et celui créé par Turnitin s'appuient sur leurs propres modèles d'IA pour deviner si un texte pourrait ne pas être écrit par un humain — un processus qui est sans doute encore plus flou que la correspondance de texte sur le web. Comme l'indique GPTZero, les détecteurs d'IA utilisent un algorithme pour analyser le choix des mots, le rythme et la structure d'un texte, ainsi que pour repérer des motifs de longueur et de ton qui pourraient être plus courants dans les textes générés par l'IA. Cette évaluation relativement subjective n'est pas aussi solide que quelque chose que l'on pourrait justifier par une correspondance de texte en ligne et peut être trompée par des rédacteurs dont l'anglais est une seconde langue. Malgré cela, Turnitin affirme que son détecteur d'IA signale faussement moins de 1 % du contenu écrit par des humains comme étant de l'IA, tandis que Pangram prétend que son taux de faux positifs est de seulement 1 sur 10 000. GPTZero revendique également un taux similaire de confusion entre le contenu humain et l'IA.

Comment ça se passe

Les utilisateurs en ligne s'accusent déjà mutuellement de "sonner comme une IA", mais la disponibilité des outils de détection d'IA ne fait qu'ajouter de l'huile sur le feu de la chasse aux sorcières des LLM. Dans certains cas très médiatisés, les accusations de rédaction par IA ont directement impacté les moyens de subsistance et les réputations des personnes. Le mois dernier, l'éditeur Minotaur a annulé un contrat de 2 millions de dollars en raison de préoccupations selon lesquelles son auteur, Jerry Falade, aurait utilisé l'IA — ce qu'il nie avec véhémence.

Il y a aussi Thierry Rignol, un citoyen français qui a poursuivi Yale l'année dernière après qu'un professeur l'ait accusé d'avoir écrit des parties de son examen final avec l'IA, entraînant une note d'échec et une suspension d'un an. Le professeur a utilisé GPTZero pour analyser les écrits de Rignol à la recherche de signes d'IA, mais le procès soutient que "les outils de surveillance et de détection d'IA sont connus pour cibler injustement les non-natifs anglophones" comme Rignol. En février, un étudiant de l'Adelphi University a remporté un procès contre l'établissement après que son professeur ait également affirmé qu'il avait utilisé l'IA pour rédiger un essai. Bien que le procès ne précise pas quel outil d'IA le professeur a utilisé pour examiner l'essai de l'étudiant, l'Adelphi University a un accord de licence avec Turnitin.

Une étude de Stanford en 2023 a révélé que les détecteurs d'IA signalaient faussement des essais écrits par des non-natifs anglophones comme étant de l'IA plus souvent que ceux écrits par des locuteurs natifs. (De nombreux services soutiennent encore que leurs outils sont précis lorsqu'il s'agit de textes rédigés par des non-natifs.) Ces outils peuvent également être biaisés contre les écrivains neurodivergents.

Comme l'a souligné l'Université de Californie, Los Angeles, les outils de détection d'IA sont formés pour repérer des motifs qui pourraient indiquer l'utilisation de l'IA, tels que des termes et des phrases répétitifs, un texte qui semble trop formel ou informel, et des formulations absurdes. Certains, comme QuillBot, mesurent également l'“imprévisibilité” du texte, car "l'IA a tendance à faire les choix de langage les plus 'évidents' ou les plus courants par rapport à l'écriture produite par des humains", selon l'UCLA. Ils peuvent également rechercher une structure de phrase qui reste la même tout au long du texte comme un autre signe d'IA. Mais ces mesures ne sont pas indicatives de l'IA à elles seules, car certaines personnes peuvent simplement avoir un style d'écriture avec ces caractéristiques.

Bien que Turnitin se vante de faibles taux de faux positifs, il maintient que son outil "peut ne pas toujours être précis" et ne devrait pas être utilisé pour prendre des mesures contre un étudiant. Grammarly avertit que les utilisateurs "ne devraient jamais se fier uniquement aux résultats d'un détecteur d'IA", tandis que GPTZero affirme "qu'aucun détecteur d'IA ne peut jamais être véritablement à 100 % parfait." OpenAI a même fermé son propre détecteur d'écriture IA en 2023 en raison de sa faible précision.

Cependant, les accusations de rédaction par IA continuent de circuler sur le web. La semaine dernière, dans une vidéo diffusée à plus de 3,5 millions de followers sur ses réseaux sociaux, Jack Osbourne, le fils d'Ozzy Osbourne, a accusé la journaliste et contributrice de Verge, Kat Tenbarge, d'avoir utilisé l'IA pour rédiger un article pour Rolling Stone, tout en exhibant les résultats d'un détecteur d'IA, Getsolved, comme "preuve" de son affirmation. Tenbarge a réfuté cette accusation dans une vidéo et un post sur son site, mais Osbourne n'a pas retiré son accusation ni supprimé la vidéo, laissant Tenbarge faire face aux trolls.

Il existe de nombreux exemples de fausses accusations, allant des écrivains aux étudiants, avec de nombreux accusateurs négligeant de reconnaître les avertissements qui accompagnent certains de ces outils de détection d'IA.

Que se passe-t-il ensuite

L'incertitude entourant les détecteurs d'IA pousse certaines institutions éducatives à cesser de les utiliser complètement. Yale, Johns Hopkins University, Vanderbilt University, Georgetown University, et d'autres ont désactivé ou restreint l'utilisation des outils de détection d'IA. Le Massachusetts Institute of Technology avertit également que "les détecteurs d'IA ne fonctionnent pas."

Au lieu de s'appuyer sur des outils pour déceler l'IA, de nombreuses écoles encouragent les éducateurs à repenser leurs leçons. L'Université de Chicago, par exemple, suggère de demander aux étudiants de ralentir leur lecture, de fragmenter les longues tâches d'écriture et d'exiger des étudiants qu'ils réfléchissent à leur travail. Stanford University conseille aux professeurs de considérer la possibilité de tenir des évaluations en classe, tandis que le MIT recommande aux professeurs de laisser la possibilité aux étudiants de divulguer s'ils ont utilisé l'IA pour aider à une tâche, sans pénalité.

Avec la prévalence croissante de l'IA dans et en dehors de la salle de classe, les efforts pour distinguer ce qui est écrit par un humain ou une machine se multiplient également. Certaines plateformes en ligne exacerbent les suspicions entourant l'utilisation de l'IA. Substack a intégré Pangram dans son application, permettant aux utilisateurs de scanner des blogs pour détecter un contenu suspecté d'être généré par l'IA, tandis que LinkedIn a ajouté un bouton "semble être de l'IA" sur les publications. Le résultat est une nouvelle ère de méfiance, où les lecteurs remettent constamment en question si ce qu'ils lisent est de l'IA et où les écrivains humains font de leur mieux pour ne pas sonner comme tel.

À propos

La Authors Guild aide les écrivains à anticiper les accusations en leur délivrant des certifications "Human Authored". Il existe également des badges "Not by AI" et "Written by Human" que les utilisateurs peuvent ajouter à leurs œuvres en ligne.

Wikipedia a créé un guide pour aider les éditeurs à repérer l'écriture par IA, qui inclut des éléments à surveiller, comme un texte qui "gonfle" l'importance d'un sujet ou fournit une "analyse superficielle des informations". Le site a également interdit les articles générés par l'IA.

The New York Times propose un quiz amusant qui vous demande de comparer cinq paires de passages et de choisir lequel vous préférez — le piège étant que l'un d'eux est écrit avec l'IA.

Inside Higher Ed a interrogé certains éducateurs sur leur approche de l'IA à l'école, un conférencier exprimant des inquiétudes concernant les coûts et les ressources nécessaires pour rendre les devoirs à l'épreuve de l'IA. Mon collègue Jess Weatherbed a détaillé comment la communauté de la fanfiction traverse également sa propre lutte interne pour déterminer quelles histoires sont générées par l'IA.