Pangram : la détection d’IA utilisée pour dénoncer en ligne

Pangram a d’abord recruté puis écarté un « chien de garde » chargé d’exposer en ligne l’usage de l’IA, mais son PDG, Max Spero, continue d’attribuer des scores publiquement. Or ces scores n’indiquent que l’implication de l’IA, sans dire comment elle a été utilisée. De la traduction assistée à la réécriture, l’outil est mobilisé pour des mises en cause qui touchent aussi des chercheurs.

Des rejets académiques fondés sur des pourcentages de détection

Des personnes se réclamant de la police de l’IA s’appuient sur des scores pour affirmer qu’un passage provient d’un modèle et ne reflète pas la pensée de l’auteur. Dans le monde académique, des articles sont rejetés sur la base de pourcentages de ce type. Beaucoup de manuscrits concernés émanent de chercheurs qui écrivent dans une seconde langue ou qui maîtrisent mieux la science que la prose et qui recourent à l’IA pour clarifier l’expression de leurs résultats. Utilisée ainsi, la détection revient à pénaliser une amélioration rédactionnelle. Un score élevé peut toucher aussi bien un texte riche en recherches et en arguments originaux qu’un texte généré rapidement.

Ce que disent (et ne disent pas) les scores de Pangram

Un score de détection indique uniquement la probabilité que l’IA soit intervenue. Il ne permet pas d’identifier si l’intégralité du texte a été produite à partir d’une invite, si l’IA a joué un rôle de soutien à la réflexion, si elle a contribué à la formulation des idées ou si l’auteur s’est contenté d’utiliser un outil pour améliorer la langue ou effectuer une traduction. Pour différencier ces situations, il faudrait analyser le déroulement de la rédaction, ce que Pangram ne réalise pas. Dans un exemple concret, une version anglaise d’un article traduite depuis l’allemand avec l’aide de l’IA, puis éditée à la main et via l’IA, a été notée « 28 % IA », les derniers paragraphes étant signalés, alors que chaque section avait été produite et éditée de façon similaire. L’expression « Pangram shaming » associe pourtant toute implication de l’IA à un défaut d’effort ou de soin de l’auteur.

Du « chasseur » à la responsabilité publique revendiquée

Pangram a recruté un journaliste chargé de faire honte publiquement aux utilisateurs d’IA. Rod Breslau, qui s’était proposé plus tôt dans l’année en raison de sa lassitude face aux contenus générés, a conseillé la société sur sa stratégie tout en traquant des comptes suspectés. Il défend l’idée que des dirigeants et PDG devraient rédiger eux-mêmes leurs publications et que, dans le cas contraire, la moquerie est justifiée. Pangram a ensuite rompu avec lui. Le PDG, Max Spero, a néanmoins continué à publier des scores et à dénoncer des personnes sur cette base, estimant qu’il s’agissait de les tenir responsables lorsqu’ils auraient tenté de dissimuler une implication de l’IA.

Cap sur la détection de modifications légères et pari économique

La séparation avec le « chasseur » s’est inscrite dans un changement de cap. Pangram part désormais de l’idée que l’usage de l’IA deviendra plus accepté et veut détecter même des interventions légères, tout en se positionnant comme une autorité des vérifications d’originalité dans l’édition, l’éducation et d’autres secteurs, selon Max Spero. Le modèle économique de la société dépend toutefois de l’association, par les clients potentiels, entre usage de l’IA et manque de probité ou de travail : si cette stigmatisation s’affaiblit, l’intérêt de payer pour la détection diminue.

Un précédent littéraire : Dumas, Maquet et la valeur du travail

Alexandre Dumas s’appuyait sur Auguste Maquet pour des brouillons qu’il polissait ensuite, y compris pour Les Trois Mousquetaires. La valeur provenait du concept initial et du travail final de révision. Transposée à l’époque actuelle, une détection d’IA aurait pointé la contribution de l’assistant et passé à côté de ce qui fonde la qualité de l’œuvre.