📘Fondamentaux
Transformer
Transformer
Définition
Le Transformer est une architecture de réseau de neurones introduite par Google en 2017 dans l'article "Attention Is All You Need". Il repose sur le mécanisme d'attention pour traiter les séquences en parallèle, ce qui le rend beaucoup plus rapide à entraîner que les RNN. Le Transformer est la base de pratiquement tous les LLM modernes (GPT, Claude, Gemini, LLaMA).
Exemple concret
💡 L'architecture Transformer est utilisée aussi bien pour le texte (GPT-4, Claude) que pour les images (Vision Transformers) et l'audio (Whisper).
Termes liés
Questions fréquentes
Qu'est-ce que Transformer en intelligence artificielle ?
Le Transformer est une architecture de réseau de neurones introduite par Google en 2017 dans l'article "Attention Is All You Need". Il repose sur le mécanisme d'attention pour traiter les séquences en parallèle, ce qui le rend beaucoup plus rapide à entraîner que les RNN. Le Transformer est la base de pratiquement tous les LLM modernes (GPT, Claude, Gemini, LLaMA).
À quoi sert Transformer ?
L'architecture Transformer est utilisée aussi bien pour le texte (GPT-4, Claude) que pour les images (Vision Transformers) et l'audio (Whisper).
Quels sont les concepts liés à Transformer ?
Les concepts liés à Transformer incluent : Mecanisme d'attention, Grand modèle de langage, GPT, Token. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.