Transformers et LLM : la révolution du traitement du langage

Les Transformers : un pilier du traitement du langage moderne

Les Transformers ont révolutionné le traitement du langage naturel (NLP), remplaçant les méthodes traditionnelles basées sur les RNN et LSTM. Leur capacité à traiter les mots en parallèle permet une modélisation du langage plus efficace et évolutive, formant la base de modèles avancés tels que GPT et Gemini.

Dans cet article, nous explorons le fonctionnement des Transformers, en commençant par la représentation du texte, puis en abordant l'auto-attention, l'attention multi-têtes et le bloc Transformer complet. Ces composants s'assemblent pour permettre une génération de langage efficace.

L'architecture des Transformers dans les modèles d'IA

Les modèles d'IA modernes, tels que GPT, Claude et Gemini, s'appuient sur les architectures de Transformers pour gérer des tâches de traitement du langage à grande échelle. Ces modèles nécessitent de vastes ensembles de données textuelles pour l'entraînement, afin d'apprendre les motifs linguistiques nécessaires. Les modèles GPT (GPT-4, GPT-5) utilisent les Transformers uniquement en mode décodeur, c'est-à-dire une pile de couches de décodeurs avec une auto-attention masquée. Claude (Anthropic) et Gemini (Google) utilisent également des piles de Transformers similaires, qu'ils modifient par le biais de transformations personnalisées.

Les modèles Gemma de Google, par exemple, utilisent le design de Transformer décrit dans le document "Attention Is All You Need" pour générer du texte de manière séquentielle, un token à la fois. Cette approche permet une flexibilité et une adaptabilité accrues dans la génération de texte.

Partie 1 : De la lecture humaine à la lecture machine

La première étape du fonctionnement des Transformers consiste à convertir le texte en une forme numérique. Ce processus commence par la tokenisation et les embeddings, qui transforment les mots en tokens distincts, puis en représentations vectorielles. Les encodages positionnels aident le modèle à comprendre l'ordre des mots dans une phrase.

Étape 1 : La tokenisation du texte

Les modèles de langage ne peuvent pas traiter directement le texte brut. Les réseaux neuronaux nécessitent des entrées numériques, et la tokenisation permet de convertir une chaîne de texte en éléments séparés avec des identifiants numériques.

Pourquoi le texte brut est incompréhensible pour les LLM

Le texte brut est une chaîne de caractères, et la langue contient une infinité de formes possibles. Un système de correspondance mot-index est impossible, car il ne pourrait pas couvrir toutes les variations linguistiques. Par exemple, la phrase "Les Transformers ont changé le traitement du langage naturel" doit être convertie en une séquence de tokens avant d'être traitée par le modèle.

Fonctionnement de la tokenisation

La tokenisation segmente le texte en composants linguistiques plus petits, tels que les mots, sous-mots, et caractères. Chaque token reçoit un identifiant numérique unique, essentiel pour l'entraînement et l'inférence. Les tokens peuvent représenter des mots entiers, des sous-mots ou même des caractères individuels et des signes de ponctuation.

Types de tokens utilisés dans les LLM

Différentes stratégies de tokenisation existent, comme le Byte-Pair Encoding (BPE), WordPiece et Unigram. Ces méthodes maintiennent les mots courants comme des tokens uniques tout en divisant les mots peu communs en composants essentiels. Par exemple, le mot "transformers" reste entier tandis que "unbelievability" se décompose en "un", "believ", "ability". Cette approche permet aux modèles de traiter de nouveaux termes ou des termes peu communs en utilisant des composants de mots connus.

Étape 2 : Embeddings de tokens

Les tokens sont ensuite convertis en vecteurs d'embedding, représentant le sens des mots à travers des vecteurs numériques denses. Chaque token est mappé à un vecteur dans un espace de haute dimension, permettant au modèle de comprendre les relations sémantiques.

Un embedding est une représentation vectorielle numérique d'un token. Vous pouvez le considérer comme chaque token ayant des coordonnées dans un espace de haute dimension. Par exemple, le mot "chat" sera mappé à un vecteur qui existe dans 768 dimensions. Le modèle acquiert ces embeddings à travers son processus d'entraînement. Les tokens ayant des significations équivalentes produisent des vecteurs qui montrent leur relation les uns avec les autres. Les mots "Bonjour" et "Salut" ont des valeurs d'embedding proches, tandis que "Bonjour" et "Au revoir" montrent une grande distance entre leurs embeddings respectifs.

Signification sémantique dans l'espace vectoriel

Les embeddings capturent le sens, ce qui nous permet d'évaluer les relations à travers des mesures de similarité vectorielle. Les vecteurs pour "chat" et "chien" montrent une proximité plus grande que ceux pour "chat" et "table" en raison de leur relation sémantique plus forte. Le modèle découvre la similarité des mots lors de la première étape de son traitement. L'embedding d'un token commence comme un sens de base qui manque de contexte car il ne montre que le sens spécifique du mot. Le système apprend d'abord les significations de base des mots à travers son système d'attention qui apporte le contexte par la suite.

Étape 3 : Encodage positionnel

Les Transformers nécessitent des informations de séquence explicites, car ils traitent tous les tokens simultanément. L'encodage positionnel fournit ces informations, permettant au modèle de comprendre l'ordre des mots.

Pourquoi les Transformers ont besoin d'informations positionnelles

Les Transformers exécutent leurs calculs en traitant tous les tokens simultanément, ce qui diffère des RNN qui nécessitent un traitement séquentiel. La capacité du système à traiter des tâches simultanément entraîne des performances rapides, mais ce choix de conception empêche le système de comprendre l'ordre des événements. Le Transformer traite l'entrée comme une collection de mots jusqu'à ce que nous fournissions des informations positionnelles pour les embeddings. Le modèle reçoit des informations sur l'ordre des mots grâce à l'encodage positionnel.