🔧Techniques
Mecanisme d'attention
Attention Mechanism
Définition
Le mécanisme d'attention permet à un modèle de pondérer l'importance de chaque partie de l'entrée lors du traitement. Plutôt que de traiter tous les tokens de manière égale, le modèle "porte attention" aux parties les plus pertinentes pour la tâche. L'attention est le composant clé de l'architecture Transformer.
Exemple concret
💡 Pour traduire 'Le chat mange la souris', le mécanisme d'attention associe 'chat' à 'cat' et 'souris' à 'mouse' malgre l'ordre différent des mots.
Termes liés
Questions fréquentes
Qu'est-ce que Mecanisme d'attention en intelligence artificielle ?
Le mécanisme d'attention permet à un modèle de pondérer l'importance de chaque partie de l'entrée lors du traitement. Plutôt que de traiter tous les tokens de manière égale, le modèle "porte attention" aux parties les plus pertinentes pour la tâche. L'attention est le composant clé de l'architecture Transformer.
À quoi sert Mecanisme d'attention ?
Pour traduire 'Le chat mange la souris', le mécanisme d'attention associe 'chat' à 'cat' et 'souris' à 'mouse' malgre l'ordre différent des mots.
Quels sont les concepts liés à Mecanisme d'attention ?
Les concepts liés à Mecanisme d'attention incluent : Transformer, Deep Learning, Réseau de neurones, Grand modèle de langage. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.