ProactiveBench : les IA échouent à demander de l'aide

ProactiveBench : un test inédit pour les IA multimodales

ProactiveBench est un benchmark innovant qui évalue si les modèles de langage multimodaux peuvent demander de l'aide lorsque des informations visuelles leur manquent. Sur les 22 modèles testés, très peu ont montré cette capacité, préférant souvent deviner ou refuser de répondre. Une approche d'apprentissage par renforcement pourrait cependant offrir une solution.

Lorsqu'une personne ne peut pas voir un objet, elle demande naturellement à ce que l'obstacle soit retiré. Les modèles d'IA, en revanche, hallucinent souvent une réponse incorrecte ou refusent simplement de répondre. ProactiveBench vise à tester cette problématique en évaluant si les modèles actuels peuvent reconnaître leur besoin d'aide et le demander effectivement.

Scénarios de test de ProactiveBench

Le benchmark utilise sept ensembles de données transformés en scénarios nécessitant une intervention humaine. Les modèles doivent, par exemple, identifier des objets cachés, nettoyer des images bruyantes, ou interpréter des croquis approximatifs. ProactiveBench contient plus de 108 000 images réparties sur 18 000 échantillons. Un filtre intégré élimine toute tâche que les modèles peuvent réussir sans aide, forçant ainsi une demande proactive d'informations supplémentaires.

Les scénarios incluent des objets occlus, des points de vue non informatifs, des images bruyantes, et des mouvements de caméra. Les modèles proactifs demandent de l'aide, tandis que les réactifs hallucinent ou abandonnent.

Performance des modèles et taille

Les chercheurs ont testé des modèles tels que LLaVA-OV, Qwen2.5-VL, et GPT-4.1. En conditions normales, les modèles réussissent 79,8 % des tâches, mais ce chiffre chute de plus de 60 % sur ProactiveBench. Par exemple, la précision sur des objets cachés passe de 98,3 % à seulement 8,2 %.

La taille du modèle n'est pas toujours un avantage. InternVL3-1B surpasse InternVL3-8B avec 27,1 % contre 12,7 % de réussite. De même, LLaVA-1.5-7B bat LLaVA-OV-72B avec 24,8 % contre 13 %. Les modèles fermés comme GPT-4.1 affichent les meilleures performances, bien que des scores élevés puissent être dus à une contamination des données.

Proactivité ou simple devinage ?

Certains modèles semblent proactifs mais choisissent souvent des options absurdes lorsqu'elles sont proposées. Par exemple, LLaVA-NeXT Vicuna a augmenté son taux de sélection de 37 à 49 % avec des choix erronés. Cela montre que leur proactivité apparente est souvent du devinage plutôt qu'une véritable compréhension.

Les chercheurs ont soumis ces modèles à des tests de stress en remplaçant des suggestions proactives valides par des options absurdes, telles que "Rembobinez la vidéo" pour une tâche de croquis. Les modèles qui semblaient auparavant proactifs ont choisi ces options sans signification tout aussi volontiers, prouvant que leur prétendue proactivité n'était en fait qu'un seuil plus bas pour deviner.

L'apprentissage par renforcement comme solution

Les chercheurs ont démontré que la proactivité peut être entraînée. En utilisant l'Optimisation de Politique Relative de Groupe (GRPO), ils ont affiné LLaVA-NeXT-Mistral-7B et Qwen2.5-VL-3B, améliorant leurs performances à 37,4 % et 38,6 % respectivement. Cependant, un mauvais équilibre des récompenses peut entraîner une baisse de précision à 5,4 %.

Après l'entraînement, ces modèles ont surpassé chacun des 22 modèles précédemment testés, y compris o4-mini. La proactivité apprise s'est également transférée à des scénarios en dehors des données d'entraînement. Sur ChangeIt, la précision de Qwen2.5-VL-3B est passée de 12,4 à 55,6 %. Mais si l'équilibre des récompenses est mal géré, tout s'effondre : lorsque les suggestions proactives sont récompensées de la même manière que les réponses correctes, le modèle spamme les demandes d'aide sans cesse, et la précision chute à 5,4 %.

Malgré ces progrès, un écart significatif demeure par rapport aux conditions idéales (40,7 % contre 75,1 %). ProactiveBench, désormais open source, est présenté comme un premier pas vers des modèles capables de reconnaître leurs limites et de demander de l'aide au lieu de deviner.

Les modèles d'IA face à l'incertitude

ProactiveBench met en lumière une tendance préoccupante dans la recherche sur l'IA : les modèles de langage multimodaux gèrent mal l'incertitude. Le benchmark WorldVQA de Moonshot AI a récemment révélé que même les modèles les plus avancés plafonnent autour de 50 % en reconnaissance d'objets visuels, soulignant une confiance excessive intégrée.

Une étude de Stanford sur l'effet Mirage a renforcé ce point. Des modèles multimodaux comme GPT-5 et Gemini 3 Pro décrivaient avec assurance des détails visuels et offraient des diagnostics médicaux même lorsqu'aucune image n'était fournie. Sur des benchmarks standards, ils atteignent 70 à 80 % de leur performance normale en utilisant uniquement des motifs textuels et des connaissances antérieures, simulant essentiellement une compréhension visuelle sans réaliser que l'entrée était manquante.

D'autres recherches racontent une histoire similaire. Une étude sur la difficulté des questions d'examen a révélé que les modèles de langage ne peuvent pas évaluer de manière fiable leurs propres limites, tandis que des chercheurs de l'Université de Sapienza à Rome ont utilisé leur méthode "Spilled Energy" pour montrer que les hallucinations laissent des traces mesurables dans les calculs d'un modèle—suggérant que même lorsque les modèles ne savent pas qu'ils devinent, les mathématiques en arrière-plan le savent.