Netflix rend public VOID, un cadre IA qui efface des objets vidéo et réécrit la physique laissée derrière

Netflix rend public VOID, un cadre IA qui efface des objets vidéo et réécrit la physique laissée derrière

Netflix a rendu public un cadre d'IA capable de retirer des objets de vidéos et d'ajuster automatiquement les effets physiques que ces objets avaient sur le reste de la scène. Ce système s'appelle VOID, acronyme de "Video Object and Interaction Deletion". Ce qui le rend spécial, c'est qu'en plus d'effacer des objets d'une scène, il gère également les effets physiques en aval, comme les collisions, que l'objet retiré avait initialement causés.

VOID est construit sur le modèle de diffusion vidéo CogVideoX d'Alibaba, affiné avec des données synthétiques provenant de Kubric de Google et de HUMOTO d'Adobe pour la détection d'interactions. Gemini 3 Pro de Google analyse la scène et identifie les zones affectées, tandis que SAM2 de Meta s'occupe de la segmentation des objets à retirer. Un second passage optionnel utilise le flux optique pour corriger d'éventuelles distorsions de forme.

Le projet a été développé par des chercheurs de Netflix en collaboration avec l'INSAIT Sofia University. Le code, l'article et la démo sont disponibles sur GitHub, arXiv et Hugging Face. Le système est distribué sous la licence Apache 2.0, ce qui signifie qu'il peut être utilisé commercialement.