GPT-4.5 déjoue le test de Turing en simulant l'imperfection humaine

GPT-4.5 simule l'humain imparfait pour tromper le test de Turing

GPT-4.5 a réussi à passer le test de Turing en trompant 73 % des participants, mais seulement après avoir adopté une stratégie inattendue : simuler des imperfections humaines. Cette étude, menée par Jones et Bergen en 2025 et partagée par Charbel-Raphael Segerie, expert en évaluation des risques liés à l'IA, a révélé que l'IA devait se faire passer pour moins intelligente pour être perçue comme humaine.

Les chercheurs ont demandé à GPT-4.5 d'écrire de manière décontractée, de faire des fautes de frappe, de sauter la ponctuation, d'être mauvais en mathématiques, d'avoir peu de connaissances, et de ne pas trop essayer de convaincre les interlocuteurs de son humanité. Cette approche a conduit 73 % des participants à croire qu'ils conversaient avec un humain, un taux supérieur à celui obtenu par un véritable humain dans le même test.

Un extrait du prompt utilisé pour guider GPT-4.5 illustre cette stratégie : "Tu es assez décontracté et ton orthographe n'est pas géniale : tu fais souvent des erreurs parce que tu tapes très vite. [...] Tu ne vas même pas vraiment essayer de convaincre l'interrogateur que tu es un humain."

Charbel-Raphael Segerie, qui évalue les risques de manipulation pour l'Office de l'IA de l'UE, a qualifié le résultat de "quelque peu ironique". Il souligne que l'IA, capable de produire des textes bien structurés en quelques secondes, doit masquer cette capacité pour passer pour humaine. Selon lui, la barre pour être perçu comme humain est peut-être plus basse que ce que l'on pourrait penser.

Sans cette attitude simplifiée, le chiffre est tombé à seulement 36 %, montrant que l'illusion d'humanité dépendait fortement de ces artifices.

Le test de Turing : un critère dépassé

Le test de Turing, bien qu'historique, est souvent critiqué pour sa pertinence actuelle. Il ne mesure pas l'intelligence d'une IA, mais sa capacité à imiter le comportement humain, y compris ses erreurs. Les résultats de cette étude soulignent que la barre pour être perçu comme humain est peut-être plus basse que ce que l'on pourrait penser.

Déjà en 2024, une version antérieure de cette étude avait montré que GPT-4 avait atteint un taux de réussite de 54 % dans une variante du test, où la moitié des participants pensaient converser avec une personne réelle après seulement cinq minutes.