Google Lens révolutionne la recherche visuelle avec l'IA multimodale

Google Lens révolutionne la recherche visuelle avec l'IA multimodale

La recherche visuelle a récemment franchi un cap significatif grâce aux innovations de Google, notamment avec les mises à jour de Google Search. Un expert de Google nous éclaire sur ces avancées et les techniques employées pour les réaliser.

Nous avons tous vécu cette situation : apercevoir une image d'un salon magnifiquement décoré ou d'une tenue de rue élégante et vouloir en connaître chaque détail. Jusqu'à peu, la recherche visuelle se faisait élément par élément. Cependant, une mise à jour majeure de Circle to Search et Lens permet désormais à Google de décomposer et d'analyser plusieurs objets dans une seule image en même temps. Cela signifie que si vous utilisez Circle to Search sur Android pour une tenue complète, vous obtiendrez des résultats pour chaque composant du look, et non plus un seul élément à la fois. Au cours des derniers mois, plusieurs mises à jour ont été déployées pour améliorer la recherche visuelle et les résultats d'image en Mode IA, facilitant ainsi la recherche d'inspiration.

Pour mieux comprendre ces avancées, nous avons échangé avec Dounia Berrada, Directrice Senior de l'ingénierie de recherche chez Google.

Sur quel aspect de la recherche travaillez-vous ?

Je me concentre sur la recherche multimodale, également connue sous le nom de Google Lens. L'idée est de permettre à Google de répondre à vos questions les plus complexes concernant les images, les PDF et tout ce que vous voyez. La recherche visuelle redéfinit notre interaction avec l'information ; Lens doit être suffisamment intelligent pour comprendre le "pourquoi" de votre recherche, rendant ainsi facile l'obtention d'aide sur ce que vous voyez à l'écran ou dans le monde qui vous entoure. Cela signifie construire un outil capable d'expliquer aussi facilement un problème mathématique complexe que d'identifier une plante succulente rare ou de vous aider à retrouver une paire de chaussures que vous adorez.

Comment cela fonctionne-t-il ?

Imaginez que vous redessinez une pièce et que vous téléchargez une photo d'un espace de style moderne du milieu du siècle pour vous inspirer. Vous ne cherchez probablement pas seulement la table d'appoint ; vous souhaitez recréer toute l'ambiance. Auparavant, vous deviez rechercher la lampe, puis le tapis, puis la chaise individuellement. Désormais, le Mode IA peut décomposer cette image complexe, identifier chaque pièce individuelle et effectuer plusieurs recherches visuelles simultanément. Vous pouvez voir cela en action dès maintenant en utilisant Circle to Search.

Qu'est-ce qui alimente ces types de réponses de recherche visuelle ?

Nos modèles avancés Gemini rendent le Mode IA possible, et ses capacités multimodales bénéficient de l'expertise visuelle que nous avons intégrée dans Lens au fil des ans. Lorsque vous recherchez avec une image, Gemini analyse l'image en parallèle avec votre question pour décider quels outils utiliser. Supposons que vous faites défiler votre téléphone et que vous voyez une tenue sur les réseaux sociaux que vous aimez. Lorsque vous la recherchez, le modèle sait utiliser Lens pour récupérer simultanément les résultats d'image pour le chapeau, les chaussures et la veste de la tenue. Il tisse ensuite ces résultats individuels en une réponse unique et facile à lire.

Pensez-y de cette manière : le modèle IA agit comme le "cerveau" capable de "voir" l'image, tandis que le backend de recherche visuelle agit comme la "bibliothèque" contenant des milliards de résultats web. L'IA effectue un raisonnement multi-objets pour comprendre ce que vous regardez. Ensuite, elle utilise une technique de "fan-out" qui déclenche plusieurs recherches à la fois, lit les résultats et présente une réponse unique et cohérente avec des liens utiles — le tout en quelques secondes.

Pouvez-vous expliquer la technique de fan-out ?

Le Mode IA effectue essentiellement une douzaine de recherches pour vous en un temps record. Si vous téléchargez une photo d'un jardin que vous admirez, vous pourriez avoir plusieurs questions : ces plantes survivront-elles à l'ombre ? Sont-elles adaptées à mon climat ? Quelle est leur maintenance ? Auparavant, vous deviez poser ces questions une par une. Désormais, le Mode IA identifie toutes ces recherches "fan-out" nécessaires. De cette façon, il rassemble les exigences de soin pour chaque plante sur la photo en utilisant des résultats web utiles, décompose les informations et suggère même les prochaines étapes que vous pourriez vouloir entreprendre. Comme le Mode IA découvre plus de résultats visuels à partir d'une seule recherche, il est plus facile que jamais de trouver exactement ce que vous cherchez, tout en découvrant quelque chose de nouveau qui suscite votre intérêt.

Devez-vous commencer par une image pour obtenir ce type d'aide dans le Mode IA ?

Pas du tout ! Vous pouvez commencer par une simple recherche textuelle dans le Mode IA, comme "inspiration visuelle pour des tenues de travail". Lorsque vous voyez un résultat qui vous plaît, vous pouvez simplement dire : "Montrez-moi plus d'options comme la deuxième jupe." Le système prend immédiatement cette image spécifique et commence le processus de fan-out à partir de là.

Cela semble idéal pour le shopping — à quoi d'autre cela pourrait-il servir ?

Vous pourriez prendre une photo d'un mur dans un musée et demander des explications sur chaque tableau. Ou prendre une photo d'une vitrine de boulangerie et demander ce que sont toutes les différentes pâtisseries. Il s'agit de passer de "Qu'est-ce que cette chose ?" à "Expliquez-moi toute cette scène."

Il semble que j'ai quelques photos à prendre et beaucoup plus à découvrir. Je m'en vais mettre ces outils à l'épreuve !