Bytedance développe un modèle d'IA de dix trillions
Le brief IA que les pros lisent chaque soir
Les 7 actus IA du jour, décryptées en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Bytedance développe un modèle d'IA de dix trillions
Bytedance est en train de former un modèle d'IA pouvant atteindre dix trillions de paramètres, selon le Financial Times. Cela représente trois fois la taille du Kimi K3 de Moonshot, actuellement le plus grand modèle chinois. Cela placerait la société mère de TikTok dans la même catégorie que le système Mythos 5 d'Anthropic, dont les estimations de l'industrie évaluent la taille à environ huit trillions de paramètres. Anthropic n'a pas divulgué ses propres chiffres.
Trois sources internes ont indiqué au FT que le modèle est en phase de préentraînement, une étape qui prend généralement entre trois et six mois. Les paramètres déterminent la quantité d'informations qu'un modèle peut stocker, mais la performance dépend également de la qualité des données et des méthodes d'entraînement. L'une des sources a mentionné que Bytedance a évité la distillation, c'est-à-dire l'entraînement sur les sorties des modèles d'autres entreprises, pendant plus d'un an.
Le fondateur Zhang Yiming a demandé à l'équipe Seed de 2 000 personnes de viser des capacités de modèle de classe mondiale à long terme. xAI est également en train de former des variantes de Grok avec six et dix trillions de paramètres sur son cluster Colossus 2, selon Elon Musk.
Brief IA — L'actualité IA en français
L'essentiel de l'actualité de l'intelligence artificielle, décrypté et expliqué chaque jour.