Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Count Anything : une IA révolutionnaire pour le comptage d'objets
Un nouveau modèle d'intelligence artificielle, "Count Anything", a été développé par des chercheurs de l'Université Tsinghua et d'autres institutions. Ce modèle se distingue par sa capacité à compter et étiqueter des objets dans une grande variété d'images, allant des photos satellites aux scans médicaux, en utilisant simplement une invite textuelle.
Le système repose sur le modèle SAM3 de Meta et combine deux approches distinctes : il dessine des boîtes autour des grands objets et place des points sur les cibles petites et denses. Cette méthode permet de fusionner les résultats sans compter deux fois le même objet. "Count Anything" ajoute de petits composants adaptateurs pour la tâche de comptage au lieu de réentraîner l'ensemble du modèle depuis le début.
Une avancée dans le domaine multimodal
Les grands modèles de langage actuels peuvent décrire des images, interpréter des graphiques et extraire du texte à partir de photos. Cependant, compter précisément les objets reste un défi. "Count Anything" vise à combler ce fossé en offrant une solution universelle pour divers types d'images, qu'il s'agisse de têtes dans des foules, de voitures dans des photos satellites, de cellules dans des scans médicaux ou de colonies bactériennes en laboratoire.
Obtenir des comptes précis a de réelles conséquences, que ce soit pour un médecin lisant un scan, un agriculteur estimant les rendements des cultures ou un urbaniste analysant le trafic. Jusqu'à présent, chacune de ces tâches nécessitait son propre système spécialisé.
Méthodologie et ensemble de données CLOC
L'innovation clé réside dans la combinaison de deux approches complémentaires : l'une pour les objets visibles et l'autre pour ceux qui sont petits et denses. Les résultats sont ensuite fusionnés, en ne retenant que la prédiction la plus fiable pour éviter le double comptage.
Pour entraîner ce modèle, les chercheurs ont créé l'ensemble de données CLOC. Les ensembles de données publics existants étaient généralement conçus pour un seul objectif, comme les cellules tumorales ou les images satellites. Les chercheurs les ont fusionnés, nettoyés les étiquettes conflictuelles et ont publié le résultat sous le nom de CLOC. Cet ensemble regroupe environ 220 000 images, 619 catégories, et 15 millions d'objets étiquetés, couvrant six domaines d'images variés, allant des photos quotidiennes aux images satellites et de drones, en passant par des échantillons de tissus médicaux et des images cellulaires microscopiques.
Les métriques d'erreur diminuent fortement à mesure que les données d'entraînement CLOC augmentent, montrant la valeur des grands ensembles de données de comptage inter-domaines.
Performance et défis
Lors des tests de comparaison, "Count Anything" s'est classé bien au-dessus des systèmes concurrents comme CountGD, CLIP-Count et Grounding DINO. En moyenne, le modèle se trompe d'environ neuf objets par catégorie interrogée dans une image, alors que le meilleur modèle concurrent est à plus de deux fois cette marge. Pour le comptage pur de foules, "Count Anything" reste compétitif mais n'égale pas tout à fait les meilleurs systèmes spécialisés.
Dans des comparaisons directes, "Count Anything" se rapproche systématiquement du nombre réel d'objets par rapport à CLIP-Count, CountGD++ et SAM3 sur toutes les requêtes testées.
Les chercheurs reconnaissent cependant certaines limites. Lorsque les termes sont ambigus ou très spécialisés, le modèle peut manquer des objets ou les classifier incorrectement. Dans des scènes extrêmement denses avec une forte occlusion, il devient également difficile de déterminer si deux prédictions se réfèrent au même objet ou à deux objets différents.
Le code de "Count Anything" est disponible sur GitHub.
Un constat sur les limites des systèmes d'IA
À quel point les systèmes d'IA actuels ont encore des difficultés avec des tâches visuelles basiques a été récemment démontré par le benchmark BabyVision. Lors de tests avec 80 enfants, la plupart des modèles de pointe ont obtenu des scores inférieurs à ceux d'un enfant de trois ans en moyenne. Même les meilleurs modèles comme Gemini 3 Pro n'ont atteint que 50 %, tandis que les adultes ont obtenu plus de 94 %. L'écart était particulièrement marqué lors du comptage de blocs 3D occlus, où le meilleur modèle a réussi seulement 20,5 %. Les humains ont résolu cette tâche sans aucune erreur.