Google révolutionne l'IA multimodale avec Gemini Embedding 2

Google introduit une avancée majeure avec Gemini Embedding 2

Google a récemment dévoilé Gemini Embedding 2, un modèle d'embedding qui marque une étape significative dans le domaine de l'intelligence artificielle multimodale. Ce modèle innovant permet de cartographier de manière cohérente le texte, les images, les vidéos, l'audio et les documents PDF dans un espace vectoriel unifié. Cette approche facilite les comparaisons directes entre différents types de médias, ouvrant la voie à des applications plus intégrées et efficaces.

L'un des aspects les plus remarquables de Gemini Embedding 2 est sa capacité à gérer l'audio de manière native, sans nécessiter de transcription préalable. Cette fonctionnalité permet de préserver la richesse des données audio, souvent perdue lors des conversions en texte. De plus, le modèle augmente considérablement la limite de tokens, passant de 2 048 à 8 192, ce qui permet de traiter des entrées textuelles plus longues et complexes.

Performances supérieures face à la concurrence

Google affirme que Gemini Embedding 2 surpasse des modèles concurrents tels qu'Amazon Nova 2 et Voyage Multimodal 3.5 dans presque toutes les catégories de référence. Les performances du modèle sont particulièrement impressionnantes dans les tâches de texte à vidéo, où il démontre une supériorité notable. Cette avancée positionne Google en tête dans le domaine des embeddings multimodaux, offrant des résultats de haute qualité sur une variété de tâches.

Le modèle d'embedding multimodal de Google unifie le traitement du texte, des images, des vidéos, de l'audio et des documents dans un espace sémantique partagé. Cette unification simplifie considérablement les pipelines d'IA, qui nécessitaient auparavant des modèles distincts pour chaque type de média.

Un héritage d'innovation continue

En juillet 2025, Google avait déjà lancé gemini-embedding-001, un modèle d'embedding textuel qui supportait plus de 100 langues et avait atteint une place de choix sur le classement MTEB Multilingual Leaderboard. Avec Gemini Embedding 2, Google franchit une nouvelle étape en intégrant des modalités supplémentaires telles que les images, la vidéo, l'audio et les documents PDF dans le même espace vectoriel que le texte.

Les embeddings, qui sont des représentations numériques des données, jouent un rôle crucial dans des applications telles que la recherche sémantique, la génération augmentée par récupération (RAG), l'analyse de sentiments et le clustering de données. En permettant la comparaison directe de différents types de médias, Gemini Embedding 2 élimine le besoin de modèles séparés ou d'étapes supplémentaires, simplifiant ainsi le processus de traitement des données.

Traitement audio natif et entrée entrelacée

Gemini Embedding 2 se distingue par sa capacité à traiter cinq modalités : texte, images, vidéo, audio et documents PDF. Le modèle peut gérer jusqu'à 8 192 tokens d'entrée pour le texte, traiter jusqu'à six images par requête et analyser des vidéos d'une durée maximale de 120 secondes. Les documents PDF peuvent contenir jusqu'à six pages.

L'aspect audio est particulièrement innovant, car le modèle traite l'audio de manière native, sans conversion préalable en texte. Cette approche évite la perte d'informations souvent associée à la transcription. De plus, le modèle permet une "entrée entrelacée", où les développeurs peuvent combiner plusieurs modalités dans une seule requête, comme associer une image à une description textuelle. Cette fonctionnalité améliore la compréhension des relations entre différents types de médias.

Gemini Embedding 2 utilise l'apprentissage de représentation Matryoshka (MRL), une technique qui superpose les informations pour permettre une réduction dynamique des dimensions de sortie. La dimension par défaut est de 3 072, avec des alternatives recommandées de 1 536 et 768, offrant un équilibre entre qualité et coûts de stockage.

Des benchmarks qui confirment la supériorité

Les performances de Gemini Embedding 2 sont soutenues par des benchmarks comparatifs avec des modèles concurrents comme Amazon Nova 2 et Voyage Multimodal 3.5. Selon les données publiées, le modèle de Google se classe en tête dans chaque catégorie testée, qu'il s'agisse de texte, d'images, de vidéo ou de langage parlé.

L'écart est particulièrement notable dans les tâches de texte à vidéo, où Gemini Embedding 2 atteint jusqu'à 68,8 points, surpassant Amazon Nova 2 à 60,3 et Voyage Multimodal 3.5 à 55,2. Dans les comparaisons texte-image, Google maintient également une avance avec 93,4 contre 84,0 pour Amazon.

Des partenaires ayant un accès anticipé exploitent déjà le modèle dans des applications multimodales. Les embeddings sont au cœur de nombreux produits Google, de l'ingénierie contextuelle alimentée par RAG à la gestion de données à grande échelle et à la recherche classique.

Gemini Embedding 2 est accessible via l'API Gemini et Vertex AI. Google propose des notebooks interactifs Colab et prend en charge les intégrations avec des frameworks et bases de données vectorielles populaires, tels que LangChain, LlamaIndex, Haystack, Weaviate, Qdrant, ChromaDB et Vector Search. Une démo légère pour la recherche sémantique multimodale est également disponible pour permettre aux développeurs de tester directement les capacités du modèle.