Brief IA : Anthropic réduit de 35 % le délai du premier jeton sur les longues requêtes

Anthropic réduit de 35 % le délai du premier jeton sur les longues requêtes

Brief IA
Tom Levy·2 min

Anthropic lance en bêta publique les Fils de Messages sur Claude Seuls les changements depuis le dernier message sont transmis, réduisant d’environ 35 % le temps jusqu’au premier jeton pour des requêtes entre 500 000 et un million de jetons Le fil reste chiffré en mémoire, expire après cinq minutes et la consommation de jetons ne change pas.

En bref
1Anthropic lance en bêta publique les Fils de Messages sur Claude
2Seuls les changements depuis le dernier message sont transmis, réduisant d’environ 35 % le temps jusqu’au premier jeton pour des requêtes entre 500 000 et un million de jetons
3Le fil reste chiffré en mémoire, expire après cinq minutes et la consommation de jetons ne change pas
4Fonction disponible sur Claude, AWS, Microsoft Foundry et Google Cloud
Pourquoi c'est important : Cette optimisation accélère les réponses pour les usages impliquant de très longues conversations, sans modifier la sécurité ni la facturation.

Anthropic propose en bêta publique un mode de conversation qui conserve l’historique côté service tout en restant chiffré et éphémère. Cette approche n’affecte pas l’usage de jetons, mais accélère le premier jeton pour les très longues requêtes, et s’intègre déjà aux principaux fournisseurs cloud.

Chiffrement en mémoire et expiration à cinq minutes

Le fil de conversation est conservé chiffré en mémoire entre deux requêtes, puis supprimé après cinq minutes d’inactivité. La fonctionnalité est accessible sur la plateforme Claude ainsi que via AWS, Microsoft Foundry et Google Cloud. Des informations complémentaires sont disponibles dans la documentation.

Le brief IA que lisent les pros

Vous voulez les meilleurs outils IA avant les autres ?

On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Historique envoyé en delta et impact sur le premier jeton

Au lieu de transmettre l’ensemble de l’historique à chaque appel, seuls les changements depuis le dernier message sont envoyés. Jusqu’à présent, chaque requête API devait inclure toute la conversation. Selon Anthropic, ce mécanisme réduit d’environ 35 % le temps jusqu’au premier jeton pour des requêtes contenant entre 500 000 et un million de jetons. L’utilisation des jetons reste inchangée, Claude lisant toujours l’historique complet.

Agents et flux massifs parmi les premiers bénéficiaires

Selon Anthropic, ce mode profite particulièrement aux agents spécialisés dans le codage, aux agents chargés de tâches informatiques et aux processus impliquant la gestion de volumes importants de documents ou d’images. La fonctionnalité Fils de Messages est actuellement accessible en version bêta publique sur Claude.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires