Brief IA : Llama 3.1 abandonne l'encodeur du Transformer initial

Llama 3.1 abandonne l'encodeur du Transformer initial

Brief IA
Tom Levy·3 min

Llama 3.1 n'a pas l'encodeur textuel séparé du Transformer initial. Un exemple théorique à 8 192 tokens mobiliserait 4 GiB de cache, hors poids du modèle. FlashAttention conserve une attention dense mathématiquement exacte.

En bref
1Llama 3.1 n'a pas l'encodeur textuel séparé du Transformer initial.
2Un exemple théorique à 8 192 tokens mobiliserait 4 GiB de cache, hors poids du modèle.
3FlashAttention conserve une attention dense mathématiquement exacte.
Pourquoi c'est important : les différences concernent à la fois la tâche d'apprentissage, le stockage du contexte et l'exécution du calcul.

Llama 3.1 ne possède plus l'encodeur séparé ni l'un des blocs d'attention du Transformer présenté en 2017. Les adaptations concernent aussi la mémoire, les positions des tokens et l'exécution des calculs, sans abandonner les principes du Transformer.

Le contexte et le calcul coûtent en mémoire

Dans un exemple théorique, un modèle doté de 32 couches, de 32 têtes de requête et de 128 nombres par tête mobiliserait 4 GiB de cache pour une seule séquence. Ce scénario suppose 8 192 tokens de contexte, deux octets par nombre conservé et, pour chaque tête de requête, ses propres têtes de clé et de valeur. Les paramètres du modèle comme les autres besoins mémoire d'exécution viennent en supplément.

Ce stockage répond notamment aux usages où un document est inséré dans une conversation, puis interrogé à plusieurs reprises en conservant les détails antérieurs. Pour consulter les tokens précédents, l'attention exploite des clés et des valeurs : le cache KV peut les conserver pendant la génération plutôt que de les recalculer à chaque nouveau token. Les couches d'attention disposent chacune d'un cache, dont le contenu augmente à mesure que la séquence grandit.

La circulation des données constitue une autre dépense. Une réalisation simple du calcul peut déposer en mémoire GPU une vaste matrice de scores, puis la récupérer pour l'étape suivante ; ces transferts restent coûteux malgré une arithmétique rapide. FlashAttention procède par tuiles, en conservant progressivement les statistiques nécessaires à la normalisation, sans stocker intégralement cette matrice dans la mémoire à large bande passante.

Cette méthode change l'exécution, pas la nature mathématique de l'opération : l'attention demeure dense et exacte. Les résultats numériques peuvent toutefois varier avec l'ordre des opérations en virgule flottante.

La lettre du soirGratuit · 19 h

La recherche en IA vous passionne ?

Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

La génération se passe du texte source séparé

Pour apprendre à poursuivre un texte, un modèle reçoit un début de séquence et prédit le token suivant ; la justesse de sa prédiction sert à l'apprentissage. Livres, pages web ou code offrent cette matière, plus abondante que les couples de textes soigneusement appariés utilisés en traduction. À grande échelle, l'exercice expose le modèle à des faits, à la grammaire, aux styles rédactionnels comme aux régularités du code. Les premiers travaux sur GPT ont adopté ce pré-entraînement génératif avec un décodeur Transformer en 2018.

Le contexte déjà lu et la suite attendue appartiennent alors à une seule séquence. Il n'existe plus de phrase source distincte à encoder : une pile d'attention causale traite directement le préfixe. La production successive des tokens n'est cependant pas une nouveauté de cette organisation, puisque le décodeur initial fonctionnait déjà ainsi.

Introduit par Attention Is All You Need, le Transformer destiné à la traduction apparaît dans la figure 1 avec deux ensembles : l'encodeur représente chaque token source, tandis que le décodeur consulte ces représentations pour choisir la suite à écrire. L'attention croisée assure ce lien et donne accès au texte à traduire en même temps qu'à la traduction déjà produite.

Un autre mécanisme d'attention porte sur la sortie en cours. Son masque interdit à une position de consulter les tokens ultérieurs pendant l'entraînement, faute de quoi la réponse serait accessible à l'avance.

RoPE encode autrement la place des tokens

Les différences ne s'arrêtent pas à la suppression de composants : elles concernent aussi l'intérieur des blocs. L'ordre des mots pouvant modifier le sens, leur position doit être représentée. Dans l'architecture initiale, des signaux de position sont ajoutés aux représentations vectorielles des tokens.

Avec les représentations positionnelles rotatives, dites RoPE, les coordonnées des requêtes et des clés subissent plutôt une rotation liée à leur emplacement. L'écart entre les rotations fait intervenir la position relative dans leur produit scalaire. Ce mécanisme est utile pour les contextes longs, mais leur extension exige toujours un entraînement adapté, des méthodes de mise à l'échelle ainsi qu'une évaluation.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires