Glossaire de l'intelligence artificielle

Generative Pre-trained Transformer (GPT)

GPT (Generative Pre-trained Transformer) est une famille de modèles de langage développés par OpenAI. Pré-entraîné sur d'énormes corpus textuels, il génère du texte en prédisant le mot suivant le plus probable. GPT-4, la dernière version majeure, est multimodal et alimente ChatGPT.

Large Language Model (LLM)

Un LLM (Large Language Model) est un modèle d'IA entraîné sur d'énormes corpus de texte pour comprendre et générer du langage naturel. Ces modèles contiennent des milliards de paramètres et peuvent effectuer un large éventail de tâches linguistiques. Les LLM comme GPT-4, Claude et Gemini sont la base des chatbots IA actuels.

Mixtral

Mixtral est une famille de modèles de langage open source développés par la startup francaise Mistral AI. Mixtral utilise une architecture "Mixture of Experts" (MoE) qui active seulement une partie des paramètres pour chaque requête, offrant des performances proches de GPT-4 avec un cout d'inference bien moindre. Mistral AI est devenu un leader européen de l'IA.

Mixture of Experts (MoE)

Le Mixture of Experts est une architecture ou le modèle contient plusieurs sous-réseaux spécialisés ("experts") et un mécanisme de routage qui active seulement quelques experts pour chaque requête. Cela permet d'avoir un modèle tres large (beaucoup de paramètres) tout en gardant un cout d'inference faible. Mixtral et GPT-4 utilisent cette architecture.

Diffusion Model

Un modèle de diffusion est un type de modèle génératif qui apprend à créer des données (généralement des images) en inversant un processus de bruitage progressif. Il est entraîné en ajoutant du bruit à des images, puis apprend à le retirer. Les modèles de diffusion produisent des images de très haute qualité et sont à la base de DALL-E, Midjourney et Stable Diffusion.

Foundation Model

Un modèle de fondation est un grand modèle d'IA pré-entraîné sur des données massives et polyvalentes, conçu pour être adapté à de multiples tâches en aval. Le terme a été popularisé par Stanford en 2021. GPT-4, Claude, Gemini et LLaMA sont des modèles de fondation. Ils servent de base que l'on peut fine-tuner pour des usages spécifiques.

Reasoning Model

Un modèle de raisonnement est un LLM entraîné à « réfléchir » étape par étape avant de répondre, en consacrant plus de calcul à la résolution des problèmes complexes (maths, code, logique). Il génère une chaîne de raisonnement interne, souvent invisible, qui améliore nettement la justesse. C'est une avancée majeure illustrée par des modèles comme o1 d'OpenAI.

Frontier Model

Un modèle frontière est l'un des modèles les plus avancés du moment, repoussant les limites des capacités de l'IA et nécessitant des moyens de calcul colossaux. Le terme est aussi employé dans les débats de régulation, car ces modèles concentrent les plus grands risques comme les plus grands bénéfices. Peu d'acteurs ont les moyens d'en produire.

Vision-Language Model (VLM)

Un modèle vision-langage comprend à la fois les images et le texte, permettant de décrire une photo, lire un graphique ou répondre à des questions sur une capture d'écran. C'est une forme spécialisée de modèle multimodal. Cette capacité est essentielle pour les agents qui interagissent avec des interfaces visuelles.

Small Language Model (SLM)

Un SLM (Small Language Model) est un modèle de langage compact, généralement de 1 à 7 milliards de paramètres, optimisé pour l'efficacité. Les SLM sont plus rapides, moins coûteux et peuvent tourner en local sur un smartphone ou un ordinateur. Ils sacrifient un peu de performance générale pour une spécialisation et une accessibilité accrues.

Open Weights

Un modèle « à poids ouverts » est un modèle dont les paramètres entraînés sont publiés et téléchargeables, permettant de l'exécuter ou de l'affiner soi-même. C'est différent de l'open source complet, qui suppose aussi de publier les données et le code d'entraînement. Les poids ouverts favorisent la souveraineté et la confidentialité (exécution locale).

Generative Adversarial Network (GAN)

Un GAN est compose de deux réseaux de neurones en competition : un générateur qui crée des données synthétiques et un discriminateur qui tente de distinguer les données réelles des fausses. Cette competition améliore progressivement la qualité des données générées. Les GAN ont ete pionniers en génération d'images avant les modèles de diffusion.