OpenWorldLib redéfinit les modèles du monde, Sora exclu

Une nouvelle définition des modèles du monde

Une équipe de recherche internationale, comprenant des membres de l'Université de Pékin, de Kuaishou Technology, de l'Université nationale de Singapour, de Tsinghua et d'autres institutions, a introduit un cadre novateur pour clarifier ce qui constitue un "modèle du monde" en intelligence artificielle. Kuaishou Technology, connu pour son générateur de vidéos Kling, participe à cette initiative. Le terme "modèle du monde", souvent utilisé mais rarement défini de manière cohérente, est désormais précisé : un modèle du monde doit percevoir son environnement, interagir avec lui et conserver une mémoire. Cette définition exclut les générateurs de texte à vidéo comme Sora, qui ne possèdent pas ces caractéristiques essentielles.

Lancement d'OpenWorldLib

Pour soutenir cette nouvelle définition, l'équipe a lancé OpenWorldLib, un projet open-source qui regroupe cinq modules. Ces modules couvrent divers aspects, tels que le traitement des entrées, la synthèse, le raisonnement, la reconstruction 3D et la mémoire. Ce projet vise à unifier et à évaluer les modèles du monde dans un cadre cohérent.

OpenWorldLib intègre un module opérateur qui convertit tous types d'entrées—texte, images, données de capteurs—en un format standardisé. Le module de synthèse génère des images, des vidéos, de l'audio et des commandes de contrôle. Le module de raisonnement gère le contexte spatial, visuel et acoustique. Un module de représentation construit des reconstructions 3D et des environnements de simulation. Enfin, le module de mémoire stocke les séquences d'interaction pour assurer la cohérence du système à travers plusieurs étapes.

Un pipeline de haut niveau orchestre tous les modules et expose une interface standardisée, permettant aux chercheurs de comparer différents modèles et méthodes dans le même cadre, évitant ainsi la nécessité de créer une infrastructure personnalisée à chaque fois.

Exclusion des générateurs de texte à vidéo

L'article des chercheurs souligne que les générateurs de texte à vidéo, comme Sora de OpenAI, ne répondent pas aux critères d'un modèle du monde. Bien que ces modèles puissent simuler des relations physiques, ils manquent de la boucle de rétroaction avec le monde réel, essentielle selon les chercheurs. Des figures de l'industrie, comme Demis Hassabis de DeepMind, avaient pourtant positionné ces technologies comme des simulateurs de monde. Le modèle vidéo Veo de Google a été mentionné par Hassabis comme un pas vers les modèles du monde.

Les chercheurs partagent le point de vue de Yann LeCun, qui affirme que la génération de texte à vidéo manque de la boucle de rétroaction cruciale avec le monde réel. Ils excluent également la génération de code, la recherche sur le web et la génération de vidéos d'avatars de la définition de modèle du monde. Les vidéos d'avatars, par exemple, sont axées sur le divertissement et n'ont que peu à voir avec la compréhension du monde physique.

Les exigences des modèles du monde

Les chercheurs mettent en avant trois domaines clés pour les modèles du monde : la génération vidéo interactive, le raisonnement multimodal et le vision-langage-action. Ces tâches nécessitent une interaction active avec l'environnement, contrairement à la génération passive de médias. La reconstruction 3D et les simulateurs sont également considérés comme cruciaux pour tester les règles physiques dans un environnement contrôlé.

Dans la génération vidéo interactive, un modèle prédit le prochain cadre en fonction des cadres précédents et des entrées de l'utilisateur, réagissant à des actions comme des commandes de contrôle ou des mouvements de caméra. Le raisonnement multimodal couvre la capacité à comprendre les relations spatiales, temporelles et causales à partir d'images, de vidéos et d'audio. Dans le vision-langage-action, le modèle convertit les entrées visuelles et les instructions vocales en commandes de mouvement spécifiques pour des bras robotiques ou des véhicules autonomes.

Les défis matériels

Les auteurs critiquent les limitations des puces actuelles, qui traitent les données de manière inefficace pour les modèles du monde. Les processeurs modernes sont conçus pour gérer des tokens individuels, donc même lorsqu'un modèle doit prédire des cadres vidéo entiers, les données sont toujours traitées token par token en interne. Ils appellent à de nouvelles architectures de puces, éloignées du modèle Transformer, qui alimente actuellement presque tous les grands modèles d'IA, pour répondre aux besoins spécifiques de ces modèles. Les modèles de vision-langage comme Bagel, utilisant l'architecture Qwen, montrent cependant un potentiel pour combler certaines de ces lacunes.

Lors de tests sur les GPU A800 et H200 de Nvidia, Hunyuan-WorldPlay a démontré une qualité visuelle supérieure dans la génération vidéo interactive. Cosmos de Nvidia s'est distingué dans des scénarios interactifs complexes, tandis que des modèles plus anciens comme Matrix-Game-2 étaient plus rapides mais montraient un décalage de couleur notable dans des séquences plus longues.

Disponibilité open-source

OpenWorldLib est accessible en tant que projet open-source sur GitHub, offrant aux chercheurs une plateforme pour comparer et développer des modèles du monde dans un cadre standardisé.