Bytedance développe un modèle d'IA de dix trillions
Bytedance est en train de former un modèle d'IA pouvant atteindre dix trillions de paramètres, selon le Financial Times. Cela représente trois fois la taille du Kimi K3 de Moonshot, actuellement le plus grand modèle chinois. Cela placerait la société mère de TikTok dans la même catégorie que le système Mythos 5 d'Anthropic, dont les estimations de l'industrie évaluent la taille à environ huit trillions de paramètres. Anthropic n'a pas divulgué ses propres chiffres.
Trois sources internes ont indiqué au FT que le modèle est en phase de préentraînement, une étape qui prend généralement entre trois et six mois. Les paramètres déterminent la quantité d'informations qu'un modèle peut stocker, mais la performance dépend également de la qualité des données et des méthodes d'entraînement. L'une des sources a mentionné que Bytedance a évité la distillation, c'est-à-dire l'entraînement sur les sorties des modèles d'autres entreprises, pendant plus d'un an.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Le fondateur Zhang Yiming a demandé à l'équipe Seed de 2 000 personnes de viser des capacités de modèle de classe mondiale à long terme. xAI est également en train de former des variantes de Grok avec six et dix trillions de paramètres sur son cluster Colossus 2, selon Elon Musk.
