La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Qwen3.7-Plus, une innovation d'Alibaba, a démontré sa capacité à identifier avec précision le pixel exact à cliquer sur une capture d'écran désordonnée de la console AWS. En posant simplement la question de savoir où cliquer pour lancer une instance, le modèle a fourni les coordonnées précises : (x=1147, y=283), situées au centre du bouton "Lancer l'instance". Cette prouesse est offerte à un coût de 0,40 $ par million de tokens d'entrée, soit un sixième du tarif du modèle Qwen3.7-Max, qui est uniquement textuel.
Le modèle Qwen3.7-Plus se distingue par son score de 79.0 sur ScreenSpot Pro, un benchmark essentiel pour évaluer l'efficacité des agents d'"utilisation informatique". Ce succès repose sur le concept de GUI grounding, où le modèle, à partir d'une capture d'écran et d'une instruction, doit déterminer les coordonnées exactes des pixels correspondant à l'élément d'interface utilisateur visé.
Applications pratiques de Qwen3.7-Plus
L'article met en lumière quatre utilisations concrètes du modèle :
- De la capture d'écran aux coordonnées JSON : Le modèle convertit les captures d'écran en données exploitables.
- Coordonnées en clics réels : Avec une porte de confiance, les coordonnées sont transformées en actions de clic.
- Boucle d'observation-action avec Playwright : Pour automatiser des tâches de navigateur, le modèle exécute des boucles d'observation et d'action.
- Capture d'écran vers code : Cette fonctionnalité permet de recréer des composants d'interface utilisateur à partir d'images.
Implémentation et Comparaison
Pour implémenter Qwen3.7-Plus, Alibaba propose l'utilisation de son Cloud Model Studio via le SDK compatible OpenAI, facilitant ainsi l'intégration du modèle dans divers systèmes. En comparaison, Qwen3.7-Plus surpasse Qwen3.7-Max et d'autres références en termes de précision et de coût, ce qui en fait une option attrayante pour les développeurs cherchant à prototyper des solutions de screen grounding avancées.
Limites et opportunités
Bien que Qwen3.7-Plus soit une solution propriétaire accessible uniquement via API, sans possibilité d'auto-hébergement, il représente une option rentable pour le prototypage de screen grounding avancé. Cette approche permet de tester des concepts avant de passer à des solutions plus sophistiquées, qu'elles soient gérées ou auto-hébergées.
