Granite 4.0 3B Vision : Révolution pour les documents d'entreprise

Granite 4.0 3B Vision : Une avancée pour les documents d'entreprise

Granite 4.0 3B Vision marque une étape importante dans le domaine de l'intelligence artificielle appliquée aux documents d'entreprise. Ce modèle de vision-langage compact est spécifiquement conçu pour extraire de manière fiable des informations à partir de documents complexes, incluant des formulaires, des tableaux et des visuels structurés. Il se distingue par sa capacité à traiter efficacement des structures de données variées, ce qui le rend particulièrement utile pour les entreprises cherchant à automatiser et à optimiser leurs processus de gestion documentaire.

Extraction de tableaux et compréhension des graphiques

Une des fonctionnalités clés de Granite 4.0 3B Vision est son aptitude à analyser des tableaux complexes, qu'ils soient multi-lignes ou multi-colonnes, à partir d'images de documents. Cette capacité permet d'extraire des données structurées de manière précise, facilitant ainsi l'intégration de ces informations dans des systèmes de gestion de données. En outre, le modèle excelle dans la conversion de graphiques et de figures en formats lisibles par machine, ce qui permet une interprétation automatisée et précise des données visuelles.

Identification des paires clé-valeur sémantiques

Granite 4.0 3B Vision est également conçu pour identifier et ancrer des paires clé-valeur sémantiquement significatives dans divers formats de documents. Cette fonctionnalité est essentielle pour extraire des informations structurées de documents variés, permettant une analyse plus approfondie et une prise de décision plus éclairée.

Intégration avec Granite 4.0 Micro et Docling

Le modèle est proposé sous forme d'adaptateur LoRA, s'intégrant parfaitement avec Granite 4.0 Micro. Cela permet une flexibilité entre les tâches de vision-langage et les solutions textuelles uniquement, facilitant ainsi l'intégration dans des pipelines mixtes. En tandem avec Docling, Granite 4.0 3B Vision améliore les capacités de traitement visuel des documents, offrant une compréhension visuelle approfondie qui est cruciale pour de nombreuses applications professionnelles.

Construction et innovations de Granite 4.0 3B Vision

La performance de Granite 4.0 3B Vision repose sur trois piliers principaux : un ensemble de données de compréhension des graphiques conçu sur mesure, une architecture innovante nommée DeepStack, et un design modulaire qui maintient le modèle pratique pour le déploiement en entreprise.

ChartNet : Une nouvelle dimension dans la compréhension des graphiques

Les graphiques représentent un défi particulier pour les modèles de vision-langage, car leur compréhension nécessite un raisonnement conjoint sur des motifs visuels, des données numériques et du langage naturel. Pour combler cette lacune, ChartNet a été développé. Cet ensemble de données multimodal à grande échelle, qui sera détaillé dans un article pour la CVPR 2026, comprend 1,7 million d'échantillons de graphiques diversifiés. Ce qui rend ChartNet unique, c'est qu'il utilise un pipeline de synthèse guidé par le code pour générer des échantillons couvrant 24 types de graphiques et 6 bibliothèques de traçage.

Un pipeline de synthèse guidé par le code

Chaque échantillon de ChartNet inclut cinq composants alignés : le code de traçage, l'image rendue, le tableau de données, un résumé en langage naturel et des paires de questions-réponses. Cette approche offre une vue croisée approfondie des graphiques, permettant aux modèles de passer de la simple description à une véritable compréhension des informations structurées qu'ils codent.

DeepStack : Une approche intelligente pour l'injection de caractéristiques visuelles

Contrairement à la plupart des modèles de vision-langage, Granite 4.0 3B Vision utilise l'injection DeepStack. Cette méthode permet de router les caractéristiques visuelles abstraites vers des couches antérieures pour la compréhension sémantique, tandis que les détails spatiaux de haute résolution sont traités dans des couches ultérieures. Cela garantit une compréhension précise des documents, tant sur le contenu que sur la mise en page, ce qui est crucial pour des tâches telles que l'extraction de tableaux, la compréhension des graphiques et l'analyse des paires clé-valeur sémantiques.

Modularité et flexibilité

Granite 4.0 3B Vision est proposé comme un adaptateur LoRA au-dessus de Granite 4.0 Micro, plutôt que comme un modèle autonome. En pratique, cela signifie que le même déploiement peut servir à la fois des charges de travail multimodales et uniquement textuelles, revenant automatiquement au modèle de base lorsque la vision n'est pas requise. Cette modularité simplifie l'intégration en entreprise sans sacrifier la performance.

Évaluation des performances

Granite 4.0 3B Vision a été rigoureusement évalué sur plusieurs benchmarks pour démontrer son efficacité et ses capacités.

Performances sur les graphiques

Sur le benchmark ChartNet, Granite 4.0 3B Vision a obtenu le score le plus élevé de Chart2Summary avec 86,4%, surpassant même des modèles de taille plus importante. Il s'est également classé deuxième sur Chart2CSV avec 62,1%, juste derrière Qwen3.5-9B, un modèle plus de deux fois plus grand.

Extraction de tableaux

Le modèle a été testé sur des tableaux découpés et des documents en pleine page, obtenant des scores élevés sur des benchmarks tels que PubTablesV2 et OmniDocBench. Granite 4.0 3B Vision a obtenu les meilleures performances à travers ces benchmarks, se classant premier sur PubTablesV2 tant pour les découpés (92,1) que pour les pages complètes (79,3), OmniDocBench (64,0) et TableVQA (88,1) parmi tous les modèles évalués.

Extraction de paires clé-valeur sémantiques

Sur le benchmark VAREX, Granite 4.0 3B Vision a atteint une précision de 85,5% en mode zéro-shot, démontrant sa capacité à extraire des informations précises de formulaires complexes. VAREX est spécifiquement conçu pour discriminer entre les petits modèles d'extraction, comprenant 1 777 formulaires gouvernementaux américains allant de mises en page simples à des structures complexes imbriquées et tabulaires.

Cas d'utilisation pratiques

Granite 4.0 3B Vision offre des solutions pratiques pour divers besoins professionnels, transformant la manière dont les entreprises gèrent et analysent leurs documents.

Traitement de formulaires et analyse financière

Le modèle peut extraire des champs structurés de documents tels que des factures, des formulaires et des reçus, ou analyser des rapports financiers pour en extraire des données exploitables. En utilisant Docling, il est possible de traiter des graphiques en utilisant les capacités chart2csv, chart2code et des tableaux en utilisant tables_json pour les convertir en données structurées et lisibles par machine.

Intelligence des documents de recherche

Avec Docling, Granite 4.0 3B Vision permet une gestion efficace des documents académiques, rendant le contenu visuel aussi accessible que le texte. Il permet de gérer l'OCR et l'analyse de mise en page à travers des PDF académiques denses, et de passer les figures extraites à chart2summary et les découpes de tableaux à tables_html pour rendre le contenu visuel découvrable aux côtés du texte libre dans un seul pipeline.

Granite 4.0 3B Vision est disponible dès maintenant sur HuggingFace, publié sous la licence Apache 2.0. Tous les détails techniques, la méthodologie de formation et les résultats des benchmarks sont disponibles dans la fiche technique du modèle. Les utilisateurs sont encouragés à partager leurs expériences et retours dans l'onglet communauté.