Brief IA : RoPE encode les positions au cœur de l'attention des LLM

RoPE encode les positions au cœur de l'attention des LLM

Brief IA
Tom Levy·2 min

RoPE, introduit en 2021 avec RoFormer, est devenu la méthode principale pour représenter les positions dans les grands modèles de langage. Contrairement à GPT-2, qui utilise 1 024 vecteurs positionnels appris, RoPE intègre l'information de position directement dans le mécanisme d'attention en faisant tourner les vecteurs de requête et de clé, ce qui permet de gérer des séquences plus longues sans limite prédéfinie.

En bref
1RoPE est apparu en 2021 avec RoFormer.
2GPT-2 possède 1 024 vecteurs positionnels appris.
3Le codage sinusoïdal ne nécessite pas de paramètres positionnels appris.
Pourquoi c'est important : ces méthodes donnent aux modèles une information sur l'ordre des tokens que l'attention seule ne fournit pas.

RoPE, apparu en 2021 avec RoFormer, est devenu la principale méthode de représentation des positions dans les grands modèles de langage modernes. Son principe diffère de celui des vecteurs appris de GPT-2 : l'information de position intervient à l'intérieur du mécanisme d'attention.

RoPE fait tourner les vecteurs de requête et de clé

Avec RoPE, les représentations initiales des tokens ne reçoivent pas d'ajout positionnel. Ce sont les vecteurs dits de requête et de clé qui subissent une rotation, déterminée par la place du token dans la séquence.

Cette opération intervient dans chaque couche d'attention. Les méthodes antérieures, elles, apportaient l'information de position au moment de construire la représentation initiale des tokens.

GPT-2 apprend ses positions, le codage sinusoïdal les calcule

Dans GPT-2, chaque emplacement possède son propre vecteur, appris durant l'entraînement selon un principe comparable à celui des représentations des mots. Ce vecteur s'additionne à celui du token : « fox » reçoit ainsi un ajout différent aux positions 3 et 7, et sa représentation diffère pour l'attention. Mais GPT-2 ne possède que 1 024 vecteurs positionnels appris : aucun ne correspond à la position 1 025. Avec cette méthode, la longueur du contexte doit donc être fixée avant l'entraînement.

La lettre du soirGratuit · 19 h

La recherche en IA vous passionne ?

Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

En 2017, le travail initial sur les transformateurs présentait une autre solution : calculer les représentations positionnelles avec des fonctions sinus et cosinus. Aucun paramètre positionnel n'est alors à apprendre. Les différentes paires de caractéristiques suivent des oscillations de fréquences distinctes.

L'attention seule ne repère pas l'ordre

Au centre des transformateurs, l'attention détermine ce qui est pertinent pour un token en examinant les autres tokens. Son calcul utilise des produits scalaires entre vecteurs, sans disposer à lui seul d'une indication sur leur ordre dans la séquence.

L'information positionnelle apporte ce repère manquant. Qu'elle soit apprise, calculée par des fonctions sinusoïdales ou intégrée par rotation, elle permet au modèle de tenir compte de l'ordre des mots et de mieux saisir les nuances linguistiques.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires