Substack et Pangram : l'outil de détection d'IA à l'épreuve

Substack s'associe à Pangram pour détecter l'IA

Dans un monde de plus en plus numérique, la question de l'origine du contenu que nous consommons devient cruciale. Est-ce le fruit d'un esprit humain ou d'une intelligence artificielle ? Substack, une plateforme de publication bien connue, a décidé d'apporter un peu de clarté sur ce sujet en collaborant avec Pangram, un outil de détection d'IA. L'objectif est d'aider les lecteurs à discerner la part d'IA dans les contenus qu'ils lisent sur la plateforme.

Cet outil est accessible à tous les abonnés de Substack et s'applique aux publications, notes, commentaires et réponses, à condition qu'ils dépassent les 100 mots. Les créateurs ont également la possibilité d'analyser leurs brouillons avec Pangram pour évaluer la présence d'IA et peuvent fournir une déclaration expliquant leur processus d'écriture, selon les informations fournies par Substack.

Les utilisateurs de la version web et iOS de Substack peuvent dès à présent tester les fonctionnalités de Pangram, tandis que ceux utilisant Android devront patienter un peu plus longtemps.

Dans un billet de blog annonçant cette nouveauté, Chris Best, co-fondateur et PDG de Substack, a exprimé son intention de contrer le phénomène de "Claudefishing". Ce terme désigne la situation où les lecteurs consomment du contenu sans se rendre compte qu'il a été généré par une IA.

« Lorsque les lecteurs doivent se demander si ce qu'ils lisent est réel, cela sape la confiance dans l'auteur et menace la subsistance des écrivains — y compris ceux qui utilisent des outils d'IA de manière réfléchie pour produire des œuvres auxquelles ils croient », a-t-il écrit.

L'ampleur de l'IA dans le contenu en ligne

Pangram estime qu'environ 40 % du texte sur certaines plateformes de médias sociaux est généré par de l'IA, et ce chiffre grimpe à deux tiers pour le site de réseautage professionnel LinkedIn. Par ailleurs, Graphite, une agence spécialisée dans la croissance de l'IA, a récemment publié un livre blanc indiquant que l'IA produit désormais autant d'articles en ligne que les auteurs humains. Un sondage mené par Gartner a révélé que 68 % des personnes s'interrogent sur la véracité du contenu qu'elles consultent, et que la moitié des consommateurs préfèrent les marques qui n'utilisent pas l'IA dans leur marketing.

Expérimentation personnelle de l'outil

Ayant récemment rejoint Substack, j'ai voulu tester le nouvel outil de détection d'IA de Pangram. L'outil s'applique aux publications, notes, commentaires et réponses, j'ai donc choisi d'utiliser des publications comme terrain d'expérimentation. Tout d'abord, je me suis connecté à mon compte Substack et j'ai publié un nouvel article. J'ai copié et collé un texte que j'avais rédigé moi-même, sans l'aide d'une IA, dans la publication Substack et l'ai mise en ligne.

Quelques minutes plus tard, j'ai consulté la publication en direct. Dans le menu à trois points situé en haut à droite de la page, une option "Scanner pour le texte IA" était disponible. En cliquant dessus, une fenêtre s'est ouverte, indiquant avec précision que mon article était "Entièrement écrit par un humain". Une ligne apparaissait en dessous, précisant le pourcentage de texte généré par l'IA, assisté par l'IA ou entièrement humain.

Ensuite, j'ai modifié la même publication en y ajoutant un long paragraphe généré par l'IA via ChatGPT. Lors du "Scan pour le texte IA", l'outil a signalé que 10 % de l'article était écrit par l'IA, ce qui était une estimation assez précise.

J'ai ensuite publié une publication entièrement générée par l'IA, et le scan l'a correctement identifiée comme étant 100 % générée par l'IA.

Pour un autre test, j'ai ajouté quelques phrases générées par l'IA à une publication par ailleurs purement humaine, et le scan l'a signalée comme étant 100 % générée par des humains. Près, mais pas tout à fait juste. Ainsi, l'outil Pangram a bien fonctionné pour mes expérimentations rudimentaires.

Les défis des faux positifs

Bien que j'aie été globalement satisfait de la performance de l'outil de détection d'IA de Substack sur mon propre contenu, j'ai été surpris d'apprendre que l'un de mes podcasteurs-blogueurs préférés semblait avoir utilisé exclusivement l'IA pour son dernier article. D'autres écrivains que j'ai vérifiés avaient utilisé des textes entièrement rédigés par des humains.

Dans son annonce, Chris Best a reconnu que l'outil de détection d'IA n'est "pas parfait", mais a cité des recherches indépendantes montrant que le logiciel de Pangram est précis à 97,5 % pour détecter du texte entièrement généré par l'IA. L'Université du Maryland a trouvé que Pangram était précis à 99,3 % pour identifier le "texte humanisé généré par l'IA", c'est-à-dire du contenu généré par l'IA qui a été réécrit ou paraphrasé par un humain.

Les écrivains de Substack qui n'utilisent pas d'IA sont naturellement préoccupés par le risque d'être incorrectement étiquetés comme des auteurs assistés par l'IA. Le risque de faux positifs est donc un problème significatif. Substack a déclaré que les créateurs peuvent scanner leur contenu pour voir s'il sera étiqueté comme contenant de l'IA pendant qu'il est encore en forme de brouillon. Si Pangram identifie incorrectement du texte IA, le créateur peut signaler l'erreur à Substack et faire supprimer le faux scan.

Pour promouvoir une plus grande transparence, les éditeurs peuvent désormais inclure une déclaration "Comment je fais cela" s'ils souhaitent que les lecteurs sachent combien, le cas échéant, d'IA ils ont utilisée dans leur contenu. Best a déclaré que Pangram ne peut pas détecter si l'IA a été utilisée pour rassembler des informations ou comme source pour des pièces écrites.

« Nous ne sommes pas contre l'utilisation de l'IA pour aider au travail, et nous pensons que les gens devraient être libres de choisir les outils qu'ils utilisent pour s'exprimer », a déclaré Best. « Mais les gens devraient savoir ce qu'ils obtiennent. »