Gemma 4 de Google DeepMind : IA multimodale sur Hugging Face

Gemma 4 de Google DeepMind : IA multimodale sur Hugging Face

Google DeepMind, en collaboration avec Hugging Face, a lancé la famille de modèles multimodaux Gemma 4. Ces modèles sont désormais accessibles sur la plateforme Hugging Face, offrant une intelligence artificielle de pointe avec des licences ouvertes Apache 2. Ils sont conçus pour être utilisés sur des appareils, intégrant des avancées significatives par rapport aux versions précédentes.

Les modèles Gemma 4 sont véritablement ouverts et de haute qualité, avec des scores impressionnants dans l'arène de Pareto. Ils sont multimodaux, incluant l'audio, et disponibles en tailles adaptées à une utilisation sur appareil. Lors des tests avec des points de contrôle préliminaires, les capacités des modèles ont été si impressionnantes qu'il a été difficile de trouver des exemples de fine-tuning, tant ils sont performants dès leur sortie de la boîte.

Le développement de Gemma 4 a impliqué une collaboration étroite avec Google et la communauté, rendant ces modèles disponibles sur diverses plateformes et bibliothèques telles que transformers, llama.cpp, MLX, WebGPU, et Rust. Cette ouverture permet aux développeurs de construire avec leurs outils préférés et de partager leurs expériences.

Quoi de neuf avec Gemma 4 ?

Tout comme son prédécesseur Gemma-3n, Gemma 4 prend en charge les entrées d'image, de texte et d'audio, générant des réponses textuelles. Le décodeur de texte est basé sur le modèle Gemma avec un support pour de longs contextes. L'encodeur d'image, similaire à celui de Gemma 3, a été amélioré avec des rapports d'aspect variables et un nombre configurable d'entrées de tokens d'image, permettant de trouver le bon équilibre entre vitesse, mémoire et qualité.

Les modèles Gemma 4 prennent en charge les images (ou vidéos) et les entrées de texte, tandis que les variantes plus petites, E2B et E4B, prennent également en charge l'audio. Ils se déclinent en quatre tailles, toutes ajustées pour le fine-tuning de base et d'instruction :

• 2.3B effectif, 5.1B avec embeddings
• 4.5B effectif, 8B avec embeddings
• Un modèle mélange d'experts avec 4B activés sur un total de 26B de paramètres

Aperçu des capacités et de l'architecture

Gemma 4 s'appuie sur plusieurs composants architecturaux des versions précédentes et d'autres modèles ouverts, tout en éliminant des fonctionnalités complexes ou peu concluantes comme Altup. Ce mélange est conçu pour être hautement compatible entre bibliothèques et appareils, capable de supporter efficacement de longs contextes et des cas d'utilisation agentiques, tout en étant idéal pour la quantification.

Les benchmarks montrent que ce mélange de fonctionnalités, combiné avec les données d'entraînement et la recette, permet au modèle dense de 31B d'atteindre un score LMArena estimé de 1452, tandis que le 26B MoE atteint 1441 avec seulement 4B de paramètres actifs. L'opération multimodale est aussi performante que la génération de texte, du moins dans des tests informels et subjectifs.

Les principales caractéristiques architecturales de Gemma 4 incluent des couches d'attention alternées à fenêtre glissante locale et à contexte global complet. Les modèles denses plus petits utilisent des fenêtres glissantes de 512 tokens, tandis que les modèles plus grands utilisent 1024 tokens. Les configurations RoPE duales, avec RoPE standard pour les couches glissantes et RoPE proportionnel pour les couches globales, permettent un contexte plus long.

Per-Layer Embeddings (PLE)

L'une des caractéristiques distinctives des modèles Gemma 4 plus petits est le Per-Layer Embeddings (PLE), introduit précédemment dans Gemma-3n. Dans un transformateur standard, chaque token reçoit un seul vecteur d'embedding à l'entrée, et la même représentation initiale se construit à travers toutes les couches. PLE ajoute un chemin de conditionnement parallèle de dimension inférieure à côté du flux résiduel principal. Pour chaque token, il produit un petit vecteur dédié pour chaque couche, combinant un composant d'identité de token et un composant conscient du contexte.

Chaque couche de décodeur utilise ensuite son vecteur correspondant pour moduler les états cachés via un bloc résiduel léger après attention et feed-forward. Cela permet à chaque couche de recevoir des informations spécifiques au token uniquement lorsqu'elles deviennent pertinentes, plutôt que d'exiger que tout soit empaqueté dans un seul embedding initial. Étant donné que la dimension PLE est beaucoup plus petite que la taille cachée principale, cela ajoute une spécialisation significative par couche à un coût en paramètres modeste.

Pour les entrées multimodales (images, audio, vidéo), PLE est calculé avant que les tokens doux ne soient fusionnés dans la séquence d'embedding. Les positions multimodales utilisent l'ID de token de remplissage, recevant effectivement des signaux par couche neutres.

Le cache KV partagé est une optimisation d'efficacité qui réduit à la fois le calcul et la mémoire pendant l'inférence. Les dernières couches du modèle ne calculent pas leurs propres projections clé et valeur, mais réutilisent les tenseurs K et V de la dernière couche non partagée du même type d'attention.

Capacités multimodales

Les tests ont montré que Gemma 4 prend en charge des capacités multimodales complètes dès la sortie de la boîte. Bien que le mélange d'entraînement exact ne soit pas connu, le modèle a réussi à accomplir des tâches telles que l'OCR, la reconnaissance vocale, la détection d'objets et le pointage. Il prend également en charge l'appel de fonctions uniquement textuelles et multimodales, le raisonnement, la complétion et la correction de code.

Détection d'objets et Pointage

Lors des tests de détection d'éléments d'interface graphique et de pointage, Gemma 4 a été testé avec l'image et le prompt textuel suivants : "Quel est le cadre pour l'élément 'voir la recette' dans l'image ?" Le modèle a répondu nativement au format JSON avec les cadres détectés, sans besoin d'instructions spécifiques ou de génération contrainte par la grammaire. Les coordonnées se réfèrent à une taille d'image de 1000x1000, relative aux dimensions d'entrée.

Détection d'objets

Les modèles ont également été testés pour détecter des objets du quotidien, comme un vélo, en comparant les différentes sorties des modèles. Les cadres ont été analysés à partir du JSON et traduits en coordonnées d'image.

Pensée multimodale et appel de fonctions

Gemma 4 a été utilisé pour écrire du code HTML afin de reconstruire une page réalisée avec Gemini 3. Le code a été généré en activant la réflexion et en demandant à chaque modèle de générer jusqu'à 4000 nouveaux tokens, assurant ainsi un processus infaillible.

Compréhension vidéo

Les modèles Gemma 4 plus petits peuvent traiter des vidéos avec audio, tandis que les plus grands peuvent traiter des vidéos sans audio. Bien que les modèles ne soient pas explicitement post-entraînés sur des vidéos, ils peuvent comprendre des vidéos avec et sans audio. Le modèle est particulièrement performant sur les audios.

Les résultats de l'analyse d'une vidéo de concert ont révélé une scène extérieure avec plusieurs musiciens, un chanteur/guitariste en chemise bleue et pantalon blanc jouant activement, et une atmosphère énergique et dramatique, caractérisée par des lumières de scène vives.