AnalyseModelsSubstack · il y a 1h
«Moonshot décrit K3.1 Pro comme un modèle multimodal de classe « 3T » à mélange d'experts avec 2,8 trillions de paramètres au total, 104 milliards de paramètres actifs et une fenêtre de contexte d'un million de tokens.»
Citation originale
Moonshot describes K3.1 Pro as a multimodal, “3T-class” mixture-of-experts model with 2.8 trillion total parameters, 104 billion active parameters, and a 1-million-token context window.
Shawn "swyx" Wang
Co-host Latent Space · Latent Space · US