Des chercheurs de Nvidia jugent que les très grandes fenêtres de contexte des modèles de langage constituent une impasse. Ces modèles sont désormais capables d'absorber des romans complets d'un seul coup.
Des capacités accrues, mais contestées
La mémoire de travail d'un modèle est appelée « fenêtre de contexte » : elle rassemble les éléments utilisés pour élaborer sa réponse. Sa capacité a fortement progressé ces dernières années. Lors de son lancement, en mars 2023, GPT-4 acceptait 8 192 tokens. GPT 5.6 Sol en accepte aujourd'hui environ un million, soit environ 120 fois plus, assez pour contenir le roman de Tolstoï, Guerre et Paix.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
L'équipe de Nvidia estime toutefois que de telles capacités sont souvent excessives et coûteuses. Dans de nombreux tests, des résumés périodiques et des recherches ciblées ont affiché des performances similaires.





