Brief IA : ChatGPT et l'essor des citations fictives en biomédecine

ChatGPT et l'essor des citations fictives en biomédecine

Brief IA
Tom Levy·4 min·2 vues

Un audit de 2,5 millions d'articles biomédicaux révèle que le taux de références fabriquées a augmenté de plus de douze fois depuis 2023. Les chercheurs de l'Université de Columbia soulignent que cette situation, liée à l'utilisation des modèles de langage comme ChatGPT, pourrait compromettre la fiabilité des directives cliniques. 98 % des articles concernés n'ont reçu aucune réponse de leurs éditeurs.

En bref
1Une étude révèle que les références fictives dans les articles biomédicaux ont été multipliées par douze depuis 2023.
2Les modèles de langage comme ChatGPT sont suspectés d'être à l'origine de cette augmentation inquiétante.
3Des chercheurs appellent à des vérifications automatisées pour contrer ce problème systémique dans la recherche scientifique.
💡Pourquoi c'est importantLes citations fictives menacent l'intégrité des directives cliniques, compromettant ainsi la qualité des soins médicaux.
Le brief IA que lisent les pros

Tu suis la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisis ton rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

📄
L'analyse en français

Une explosion des références fictives dans la recherche biomédicale

Une étude récente menée par des chercheurs de l'Université de Columbia, en collaboration avec d'autres institutions, a mis en lumière une augmentation alarmante des références fictives dans les articles biomédicaux. Depuis 2023, le nombre de ces références a été multiplié par plus de douze. Les chercheurs pointent du doigt les modèles de langage avancés, tels que ChatGPT, comme étant probablement à l'origine de ce phénomène préoccupant.

Ces références fictives, bien que fausses, semblent crédibles et posent un risque majeur lorsqu'elles apparaissent dans des articles de revue influençant les directives cliniques. Pour contrer ce problème, les chercheurs préconisent l'instauration de vérifications automatisées des références avant publication, ainsi qu'un dépistage rétroactif des articles déjà parus. Certaines plateformes, comme Arxiv, ont déjà commencé à appliquer des sanctions pour les erreurs liées à l'IA.

L'ampleur du problème révélé par un audit massif

Un audit exhaustif portant sur 2,5 millions d'articles biomédicaux a révélé que les références inventées sont devenues un problème systémique dans la recherche évaluée par des pairs. Depuis 2023, le taux de ces références a connu une augmentation de plus de douze fois. Cette étude, publiée dans The Lancet par une équipe dirigée par Maxim Topaz, a analysé 2,47 millions d'articles de l'archive ouverte PubMed Central, couvrant la période de janvier 2023 à février 2026.

Parmi les 97,1 millions de références vérifiées, 4 046 ont été identifiées comme fabriquées, réparties sur 2 810 articles. Une référence est considérée comme fabriquée si son titre ne peut être trouvé dans aucune des quatre principales bases de données : PubMed, Crossref, OpenAlex et Google Scholar.

Une tendance inquiétante depuis 2023

L'évolution chronologique de ce phénomène est révélatrice. En 2023, le taux de références fabriquées était stable, avec environ quatre références fictives pour 10 000 articles. Cependant, à partir de la mi-2024, ce taux a grimpé en flèche, atteignant 51,3 pour 10 000 à la fin de 2025, et 56,9 pour 10 000 au début de 2026. Cette augmentation coïncide avec l'adoption massive de modèles de langage comme ChatGPT, qui a commencé fin 2022. Les auteurs de l'étude notent que le processus de publication prend généralement entre 100 et 200 jours, ce qui explique pourquoi les effets de l'IA ne se sont manifestés qu'à partir de la mi-2024.

Les chercheurs n'excluent pas d'autres facteurs contributifs, tels qu'une activité accrue des usines de papiers ou des modifications dans les pratiques d'indexation. Cependant, l'augmentation rapide des références hallucinées à partir de l'été 2024 reste préoccupante.

Un défi de détection majeur

Le principal défi réside dans la détection de ces références fictives. Elles sont difficiles à identifier car elles respectent le format attendu, citent de vrais chercheurs et incluent des années de publication plausibles. Par exemple, dans un article d'urologie, 18 des 30 références vérifiées étaient fabriquées, tout en étant étroitement liées au sujet traité.

Les chercheurs ont également découvert des indices d'une activité coordonnée par des usines de papiers. Deux auteurs ont été impliqués dans onze articles du même journal chirurgical, avec un total de 15 références fabriquées sur des sujets tels que les diagnostics CRISPR et le microbiome intestinal.

L'urgence d'une réponse scientifique adaptée

Lors de l'audit, 98,4 % des articles concernés n'avaient reçu aucune réponse de leurs éditeurs. Les articles de revue ont été particulièrement touchés, affichant un taux de fabrication 57 % plus élevé que les autres types d'articles. Cela est particulièrement préoccupant car ces revues servent souvent de base aux directives cliniques. Si une directive repose sur un article contenant des sources partiellement fabriquées, toute la chaîne de preuves derrière les décisions de traitement est compromise.

Bien que la communauté scientifique ait commencé à réagir, la réponse reste inégale. Arxiv a renforcé ses sanctions pour les sorties non vérifiées des modèles de langage dans les manuscrits, menaçant les auteurs en infraction d'une interdiction d'un an. Une analyse des articles acceptés à NeurIPS 2025 a déjà montré que même les meilleures conférences en IA ne peuvent pas détecter de manière fiable les citations fabriquées. Une contre-mesure possible est CiteAudit, un système open-source pour la vérification automatisée des citations, bien qu'il montre également à quel point les modèles de langage commerciaux sont inefficaces pour détecter leurs propres problèmes de référence.

Les chercheurs recommandent quatre étapes pour améliorer la situation :

  • Mettre en place des vérifications automatisées des références avant l'examen par les pairs.
  • Inclure des métadonnées d'intégrité dans les ensembles de données d'articles.
  • Effectuer un dépistage rétroactif des articles déjà publiés.
  • Créer une catégorie dédiée "références fabriquées" dans les bases de données d'intégrité de la recherche.

Pour leur propre étude, les auteurs ont utilisé Claude pour le développement de code et la vérification grammaticale.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires