Google lance Guided Vision dans Gemini Live avec des limites d'usage

Google met à disposition Guided Vision sur Android pour décrire à voix haute ce que filme la caméra. La fonction arrive dans Gemini Live et s'intègre aussi à TalkBack, avec un raccourci d'accessibilité possible dès Android 9. Le groupe encadre toutefois fortement les usages liés à la sécurité et à la mobilité.

Google exclut la navigation et l’évitement d’obstacles

Google recommande de ne pas utiliser Guided Vision pour la navigation, les conseils de déplacement en toute sécurité ou la détection d'obstacles. L'entreprise précise également que cette fonctionnalité ne remplace ni une canne ni un dispositif d'aide à la mobilité. Par ailleurs, Gemini peut fournir des indications audio pour aider à orienter la caméra si l'objet recherché n'est pas visible à l'écran.

Disponibilité dans Gemini Live, TalkBack et en raccourci

Guided Vision est disponible dès aujourd'hui dans Gemini Live sur les smartphones Android compatibles. La fonctionnalité est également accessible via Google TalkBack. Les utilisateurs peuvent activer Guided Vision à l'aide d'un raccourci d'accessibilité dans l'application Paramètres, à condition d'utiliser un appareil sous Android 9 ou une version ultérieure. Cette nouveauté a été annoncée dans une récente série de mises à jour des Pixel.

Lecture de petits caractères et questions de suivi

En partageant le flux de la caméra dans Gemini Live, l'IA de Google peut aider à lire des textes de petite taille, décrire l'environnement, localiser ou identifier des objets à proximité et fournir des informations sur des éléments précis. L'utilisateur peut également poser des questions complémentaires, par exemple demander à Gemini de lire la date de péremption d'un produit trouvé. Cette fonctionnalité, similaire à VoiceOver Live Recognition d'Apple sur iPhone et Vision Pro, s'adresse aux personnes aveugles, malvoyantes ou à celles qui souhaitent une assistance ponctuelle.