Google enrichit Gemini sur Mac avec des fonctions IA inédites

Google enrichit Gemini sur Mac avec des fonctions IA inédites

Google vient d'enrichir son application Mac de deux fonctionnalités inédites. L'assistant peut désormais retranscrire la voix en texte n'importe où dans le système et exploiter le contenu affiché à l'écran pour répondre à des demandes complexes. Gemini ne se contente plus de répondre : sur Mac, l’IA peut désormais écouter ce que vous dites et comprendre ce qui s’affiche à l’écran.

L'assistant de Google continue de s'enrichir sur Mac. Après le lancement de l'application Gemini sur macOS plus tôt cette année, le géant de Mountain View ajoute deux nouvelles fonctionnalités destinées à faciliter les interactions avec son assistant :

• La dictée vocale accessible depuis n'importe quelle fenêtre
• Une capacité à prendre en compte ce qui apparaît à l'écran

Ces deux fonctions permettent désormais à l'IA d'agir directement sur les tâches de l'utilisateur au lieu de simplement répondre à ses demandes depuis sa propre interface.

Gemini transforme la voix en texte depuis n'importe quelle application

La première nouveauté concerne la dictée. En maintenant la touche Fn du clavier enfoncée, l'utilisateur peut désormais parler depuis n'importe quelle fenêtre ouverte. Gemini retranscrit alors les propos sous forme de texte directement à l'emplacement du curseur, tout en supprimant automatiquement certaines hésitations et mots de remplissage, comme les « euh » et les « hum ».

La fonction est activée par défaut et ne demande donc aucune configuration particulière de votre part. Elle peut servir à rédiger un e-mail, répondre à un message Slack ou encore préparer un document sans avoir à utiliser un outil de dictée distinct. Google déploie cette possibilité à l'échelle mondiale auprès des utilisateurs de l'application Gemini sur macOS. Si, pour le moment, la dictée fonctionne uniquement en anglais, Google prévoit toutefois d'ajouter d'autres langues un peu plus tard durant l'année.

Gemini peut dorénavant exploiter ce qui apparaît à l'écran

La deuxième nouveauté va encore plus loin. Cette fonction permet à Gemini d'analyser le contenu des fenêtres actives et de s'en servir comme contexte pour traiter des demandes élaborées. À titre d'exemple, l'utilisateur peut sélectionner un passage de notes brutes et demander à l'IA d'en produire un résumé exécutif : Gemini réécrit alors le texte et le place directement là où se trouve le curseur.

La firme américaine a présenté un exemple plus élaboré lors de l'annonce. Un utilisateur préparant un dîner d'équipe demande à Gemini de consulter des fichiers ouverts pour identifier les contraintes budgétaires et les restrictions alimentaires, puis de rédiger un e-mail de rappel en intégrant ces informations. La requête inclut également la récupération de suggestions de restaurants dans les environs via Google Maps, ajoutées en post-scriptum au message, le tout depuis une seule instruction.

Pour rappel, la dictée vocale est déployée mondialement, mais se limite pour l'instant à l'anglais. De son côté, la fonction permettant à Gemini d'exploiter le contenu affiché à l'écran nécessite une activation volontaire de l'utilisateur.