ByteDance rejette la distillation IA pour une innovation durable

ByteDance s'oppose à la distillation dans l'IA

Dans le monde de l'intelligence artificielle, les grandes entreprises chinoises sont souvent accusées de recourir à la distillation. Cependant, ByteDance, connu pour être à l'origine de TikTok, a récemment pris position contre cette pratique. Ce choix s'accompagne d'arguments qui méritent d'être examinés de près.

La distillation est une méthode qui consiste à transférer les connaissances d'un modèle IA « enseignant » vers un modèle « élève ». Cela permet de créer un modèle presque aussi performant tout en réduisant considérablement le temps de travail nécessaire. Cette technique a été pointée du doigt lors de la sortie de DeepSeek R1 en janvier 2025 et plus récemment avec le modèle Kimi K3 de Moonshoot. Les critiques viennent principalement des États-Unis, mais même en Chine, la distillation suscite des débats.

La position de ByteDance sur la distillation

ByteDance a décidé de s'écarter de cette pratique. Des informations relayées indiquent que Zhang Yiming, le fondateur de ByteDance, a demandé à ses équipes de ne pas utiliser la distillation pour améliorer leurs modèles d'intelligence artificielle.

Lors d'une réunion interne, Zhang Yiming a souligné l'importance d'une vision à long terme pour le développement de l'IA. Il a insisté sur la nécessité de différer la gratification immédiate et de ne pas se contenter des résultats obtenus par d'autres pour se hisser rapidement en tête des classements.

Les implications pour le développement technologique

ByteDance estime que la distillation, bien qu'elle puisse donner l'illusion de performances élevées, nuit au développement technologique à long terme. L'entreprise considère que cette pratique empêche la création d'une base solide pour développer des IA véritablement innovantes. Zhang Yiming a ainsi encouragé l'équipe de recherche Seed AI à privilégier des objectifs à long terme, même si cela implique de renoncer à certains gains immédiats.

Il reste à voir si cette approche sera adoptée par d'autres géants chinois de l'IA, tels que DeepSeek, Moonshot ou Qwen d'Alibaba. Cette décision de ByteDance pourrait bien influencer l'ensemble du secteur à repenser ses stratégies pour favoriser une innovation durable.