CiteVQA : l'IA excelle en réponses mais échoue en citations précises

Un nouveau benchmark pour l'attribution précise

Les chercheurs de l'Université de Pékin et du Shanghai Artificial Intelligence Laboratory ont développé un benchmark novateur nommé CiteVQA. Ce nouvel outil a pour objectif d'évaluer la capacité des modèles d'intelligence artificielle à fournir non seulement des réponses correctes, mais aussi à citer précisément leurs sources. Ce phénomène, qualifié d'hallucination d'attribution, met en lumière un problème crucial : les modèles peuvent donner la bonne réponse tout en pointant vers une source incorrecte.

CiteVQA se distingue des autres tests d'analyse de documents comme DocVQA ou MMLongBench-Doc en exigeant que chaque réponse correcte soit accompagnée d'une citation exacte. Une réponse correcte avec une citation incorrecte reçoit un score SAA de 0. Dans des domaines tels que le droit, les audits financiers ou la médecine, où la traçabilité est essentielle, cette précision est indispensable pour garantir l'utilisabilité des sorties d'une IA.

Exigences strictes pour les modèles

Le benchmark CiteVQA impose aux modèles de justifier chaque affirmation par un repère précis dans le document, qu'il s'agisse d'un paragraphe, d'un tableau ou d'une figure. Le simple numéro de page ne suffit pas. Le jeu de données comprend 1 897 questions issues de 711 PDF couvrant sept domaines, avec 451 documents en anglais et 260 en chinois. Les documents ont en moyenne 40,6 pages, ce qui est bien plus long que la plupart des benchmarks habituels.

Pour construire ce jeu de données, l'équipe a mis en place un pipeline automatisé qui décompose les documents en éléments individuels. Des modèles comme Gemini 3.0 Flash suivent ensuite la chaîne de preuves pour déterminer quels éléments sont essentiels. Chaque document est testé pour voir si le modèle peut répondre sans lui, ce qui permet de vérifier son importance. Le jeu de données est entièrement construit de manière automatique, et dans la dernière étape, le pipeline retire chaque document un par un pour vérifier lesquels sont réellement nécessaires.

Performances des modèles actuels

La métrique principale utilisée est la Strict Attributed Accuracy. Un modèle ne gagne des points que si la réponse et la citation sont toutes deux correctes. Parmi les vingt modèles testés, Gemini-3.1-Pro-Preview a obtenu le meilleur score avec 76 sur 100. En revanche, GPT-5.4 a souvent trouvé la bonne réponse mais a échoué à justifier son raisonnement, obtenant 87,1 pour la qualité brute de la réponse mais seulement 59 avec des citations correctes.

Les modèles open-source ont montré des résultats bien inférieurs. Qwen3-VL-235B-A22B, le meilleur modèle gratuit, n'a atteint que 22,5 points, tandis que d'autres modèles open-source ont souvent obtenu moins de 10, ce qui les rend "extrêmement risqués" pour les industries réglementées, selon les chercheurs.

Défis de localisation des sources

De nombreux modèles peinent à identifier la bonne page. La série Gemini 3 réussit dans plus de 87 % des cas, tandis que Qwen3-VL-235B-A22B atteint juste en dessous de 58 %. Les tâches plus complexes, nécessitant des informations de plusieurs documents, réduisent le rappel pour Gemini 3.1 Pro Preview de 69 à 55 %.

Les documents académiques avec des mises en page claires obtiennent les meilleurs scores, tandis que les journaux et magazines désordonnés limitent les performances à environ 63 points. Dans une étude d'ablation, les chercheurs ont délibérément réduit l'espace de recherche, en fournissant aux modèles uniquement les pages pertinentes ou le bon document. Les scores ont rapidement augmenté - de plus de 13 points pour Qwen3-VL-8B.

Importance de l'ingénierie contextuelle

Une étude d'ablation a montré que restreindre l'espace de recherche améliore les scores des modèles. En fournissant uniquement les pages pertinentes, les scores de Qwen3-VL-8B ont augmenté de plus de 13 points. Cela prouve que des citations précises améliorent non seulement la transparence mais aussi l'exactitude des réponses. Les chercheurs ont partagé leur code sur GitHub, et le jeu de données est disponible sur Hugging Face.

Un autre benchmark du Shanghai AI Laboratory en 2024 a révélé des difficultés similaires avec les longs documents, soulignant les défis persistants pour les modèles linguistiques. Google DeepMind s'attaque à un problème connexe avec FACTS Grounding, qui mesure si les réponses proviennent strictement du document fourni ou si le modèle intègre des connaissances externes. Même Gemini 3 Pro et GPT-5.1 n'atteignent pas des scores fiables.

OpenAI a récemment examiné pourquoi les modèles devinent au lieu de dire "je ne sais pas". Dans une analyse, l'entreprise a présenté les hallucinations comme un problème d'incitation systémique. L'entraînement et l'évaluation récompensent les réponses confiantes et punissent l'hésitation. Cette même dynamique alimente probablement l'hallucination d'attribution que CiteVQA détecte désormais dans les citations de sources.