ChatGPT surpasse les auteurs humains, mais l'illusion s'effondre

ChatGPT surpasse les auteurs humains, mais l'illusion s'effondre

Les lecteurs ne parviennent pas à faire la différence entre les nouvelles générées par ChatGPT et celles écrites par des humains. Ils évaluent même les textes générés par l'IA plus haut, mais seulement tant qu'ils ne savent pas qu'une machine les a écrits.

Dans trois expériences impliquant plus de 2 500 participants, les sujets n'ont pas réussi à mieux distinguer les nouvelles écrites par des humains et celles générées par ChatGPT que par pur hasard.

Dans la première expérience, chacun des 1 682 participants a lu l'une des six nouvelles, chacune d'environ 1 000 mots. Trois provenaient de revues littéraires bien connues et de collections de nouvelles. Les trois autres ont été générées à l'aide de ChatGPT 4.0, avec des instructions basées sur le thème, le style et la perspective narrative des originaux humains.

La moitié des participants a été informée que l'histoire avait été écrite par un humain. L'autre moitié a été informée qu'elle provenait de ChatGPT. Cette information était exacte pour seulement la moitié des participants dans chaque groupe, selon les chercheurs Sydney Sears et Deena Skolnick Weisberg dans leur étude publiée dans le journal Judgment and Decision Making.

Les histoires de ChatGPT ont été évaluées significativement plus haut que les textes écrits par des humains en termes de qualité perçue et d'immersion. Pour la qualité, le score moyen des histoires générées par l'IA était de 1,54 contre 0,97 pour les histoires humaines sur une échelle de -3 à +3. Pour l'immersion, l'écart était de 1,42 contre 1,00.

Les attitudes des participants envers l'IA ont également influencé leurs évaluations. Peu importe qui avait réellement écrit l'histoire, les participants attribuaient des scores plus élevés lorsqu'on leur disait qu'un humain en était l'auteur.

Les participants ayant une attitude positive envers l'IA ont généralement donné des évaluations plus élevées dans l'ensemble. Lorsqu'on leur a également dit que l'histoire provenait de ChatGPT, leurs scores ont encore augmenté. Parmi les participants sceptiques envers l'IA, cet effet s'est inversé. Une étude antérieure sur des poèmes générés par l'IA a révélé un biais similaire.

Dans deux autres expériences avec 905 participants, les chercheurs ont rendu la tâche plus difficile. Chaque personne a lu à la fois une histoire écrite par un humain et une histoire générée par l'IA, puis devait déterminer laquelle était laquelle. Même avec une comparaison directe, les participants n'ont pas réussi à faire mieux que par pur hasard.

L'expérience auto-déclarée avec les systèmes d'IA était corrélée positivement avec la capacité à identifier correctement l'origine des histoires. En revanche, l'expérience auto-déclarée avec la fiction n'a pas aidé les participants à les distinguer.

Des évaluations plus élevées ne signifient pas nécessairement une meilleure écriture

Les textes générés par l'IA tendent à être plus fluides, plus faciles à lire et plus optimistes sur le plan émotionnel que les textes écrits par des humains. Selon les auteurs, ces caractéristiques pourraient expliquer les évaluations plus élevées sans que les histoires de l'IA soient réellement meilleures sur le plan littéraire. Les gens ont tendance à préférer des matériaux plus faciles à traiter.

La fiction littéraire de haute qualité, en revanche, est souvent intentionnellement difficile d'accès et pousse les lecteurs à travailler pour en extraire le sens. Une histoire peut être de haute qualité mais peu engageante, et vice versa, suggèrent les chercheurs.

Le format de la nouvelle joue également probablement en faveur de l'IA. Raconter une histoire cohérente en 1 000 mots est un défi très différent de le faire sur des centaines de pages. Néanmoins, la conclusion des chercheurs est claire : l'IA peut générer des œuvres créatives que les gens perçoivent comme au moins au même niveau que celles des humains, mais les gens ne croient pas que l'IA en soit capable.

Toutes les données et matériaux de l'étude sont librement disponibles sur le Open Science Framework.

Une étude de l'année dernière menée par l'Université Stony Brook et la Columbia Law School montre que l'expertise des lecteurs n'a d'importance que jusqu'à un certain point. Avec des instructions simples, les lecteurs professionnels préféraient clairement les textes écrits par des humains. Mais lorsque les modèles étaient spécifiquement entraînés sur les styles d'auteurs individuels, les experts préféraient les textes générés par l'IA huit fois plus souvent pour l'imitation de style et deux fois plus souvent pour la qualité d'écriture.