Llama 3.1 ne possède plus l'encodeur séparé ni l'un des blocs d'attention du Transformer présenté en 2017. Les adaptations concernent aussi la mémoire, les positions des tokens et l'exécution des calculs, sans abandonner les principes du Transformer.
Le contexte et le calcul coûtent en mémoire
Dans un exemple théorique, un modèle doté de 32 couches, de 32 têtes de requête et de 128 nombres par tête mobiliserait 4 GiB de cache pour une seule séquence. Ce scénario suppose 8 192 tokens de contexte, deux octets par nombre conservé et, pour chaque tête de requête, ses propres têtes de clé et de valeur. Les paramètres du modèle comme les autres besoins mémoire d'exécution viennent en supplément.
Ce stockage répond notamment aux usages où un document est inséré dans une conversation, puis interrogé à plusieurs reprises en conservant les détails antérieurs. Pour consulter les tokens précédents, l'attention exploite des clés et des valeurs : le cache KV peut les conserver pendant la génération plutôt que de les recalculer à chaque nouveau token. Les couches d'attention disposent chacune d'un cache, dont le contenu augmente à mesure que la séquence grandit.
La circulation des données constitue une autre dépense. Une réalisation simple du calcul peut déposer en mémoire GPU une vaste matrice de scores, puis la récupérer pour l'étape suivante ; ces transferts restent coûteux malgré une arithmétique rapide. FlashAttention procède par tuiles, en conservant progressivement les statistiques nécessaires à la normalisation, sans stocker intégralement cette matrice dans la mémoire à large bande passante.
Cette méthode change l'exécution, pas la nature mathématique de l'opération : l'attention demeure dense et exacte. Les résultats numériques peuvent toutefois varier avec l'ordre des opérations en virgule flottante.
La recherche en IA vous passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
La génération se passe du texte source séparé
Pour apprendre à poursuivre un texte, un modèle reçoit un début de séquence et prédit le token suivant ; la justesse de sa prédiction sert à l'apprentissage. Livres, pages web ou code offrent cette matière, plus abondante que les couples de textes soigneusement appariés utilisés en traduction. À grande échelle, l'exercice expose le modèle à des faits, à la grammaire, aux styles rédactionnels comme aux régularités du code. Les premiers travaux sur GPT ont adopté ce pré-entraînement génératif avec un décodeur Transformer en 2018.
Le contexte déjà lu et la suite attendue appartiennent alors à une seule séquence. Il n'existe plus de phrase source distincte à encoder : une pile d'attention causale traite directement le préfixe. La production successive des tokens n'est cependant pas une nouveauté de cette organisation, puisque le décodeur initial fonctionnait déjà ainsi.
Introduit par Attention Is All You Need, le Transformer destiné à la traduction apparaît dans la figure 1 avec deux ensembles : l'encodeur représente chaque token source, tandis que le décodeur consulte ces représentations pour choisir la suite à écrire. L'attention croisée assure ce lien et donne accès au texte à traduire en même temps qu'à la traduction déjà produite.
Un autre mécanisme d'attention porte sur la sortie en cours. Son masque interdit à une position de consulter les tokens ultérieurs pendant l'entraînement, faute de quoi la réponse serait accessible à l'avance.
RoPE encode autrement la place des tokens
Les différences ne s'arrêtent pas à la suppression de composants : elles concernent aussi l'intérieur des blocs. L'ordre des mots pouvant modifier le sens, leur position doit être représentée. Dans l'architecture initiale, des signaux de position sont ajoutés aux représentations vectorielles des tokens.
Avec les représentations positionnelles rotatives, dites RoPE, les coordonnées des requêtes et des clés subissent plutôt une rotation liée à leur emplacement. L'écart entre les rotations fait intervenir la position relative dans leur produit scalaire. Ce mécanisme est utile pour les contextes longs, mais leur extension exige toujours un entraînement adapté, des méthodes de mise à l'échelle ainsi qu'une évaluation.






