Glossaire de l'intelligence artificielle

Emergent Abilities

Les capacités émergentes sont des aptitudes qui apparaissent brusquement quand un modèle dépasse une certaine taille, sans avoir été explicitement programmées (ex. faire de l'arithmétique ou traduire). Elles sont au cœur de l'intérêt et de l'imprévisibilité des grands modèles. Leur existence même fait l'objet de débats méthodologiques.

Knowledge Cutoff

La date de coupure est la date au-delà de laquelle un modèle n'a pas vu de données pendant son entraînement. Le modèle ignore donc les événements postérieurs, sauf s'il est connecté à une recherche web ou à des données externes (RAG). C'est pourquoi un LLM peut affirmer ignorer une actualité récente.

Deep Learning (DL)

Le deep learning (apprentissage profond) est une sous-catégorie du machine learning utilisant des réseaux de neurones artificiels à plusieurs couches. Ces couches successives permettent au modèle d'apprendre des représentations de plus en plus abstraites des données. Le deep learning est à l'origine des avancées majeures en reconnaissance d'image, traduction et génération de texte.

Training

L'entraînement est le processus par lequel un modèle apprend à partir de données en ajustant ses paramètres pour minimiser ses erreurs. Il s'oppose à l'inférence, qui est l'utilisation du modèle déjà entraîné. L'entraînement des grands modèles demande des semaines de calcul sur des milliers de processeurs spécialisés.

Context Window

La fenêtre de contexte est le nombre maximum de tokens qu'un LLM peut traiter en une seule requête (prompt + réponse inclus). Plus la fenêtre est grande, plus le modèle peut traiter de texte simultanément. Les modèles récents offrent des fenetres de 128K à 1M de tokens.

Hallucination

Une hallucination en IA est une réponse générée par un modèle qui semble plausible mais qui est factuellement incorrecte ou inventée. Les LLM produisent des hallucinations car ils prédisent des mots statistiquement probables, pas des faits vérifiés. Réduire les hallucinations est l'un des plus grands défis de l'IA générative.

Inference

L'inférence est le processus d'utilisation d'un modèle d'IA entraîné pour générer des prédictions ou des réponses à partir de nouvelles données. Contrairement à l'entraînement qui nécessite d'énormes ressources, l'inférence est moins coûteuse mais reste intensive en calcul pour les grands modèles. Optimiser l'inférence est un enjeu commercial majeur.

Artificial Intelligence (IA)

L'intelligence artificielle est un domaine de l'informatique qui vise à créer des systèmes capables de réaliser des tâches nécessitant normalement l'intelligence humaine. Cela inclut l'apprentissage, le raisonnement, la perception et la compréhension du langage naturel. L'IA englobe de nombreuses sous-disciplines comme le machine learning, le deep learning et le traitement du langage naturel.

Artificial General Intelligence (AGI)

L'AGI désigne une IA hypothétique capable d'égaler ou de dépasser l'intelligence humaine sur l'ensemble des tâches cognitives, et pas seulement sur un domaine précis. Contrairement aux IA actuelles, dites « étroites » (spécialisées sur une tâche), l'AGI saurait apprendre et raisonner de façon générale. Son existence reste à ce jour théorique et fait débat parmi les chercheurs.

Scaling Laws

Les lois d'échelle décrivent comment les performances d'un modèle s'améliorent, de façon prévisible, quand on augmente la taille du modèle, la quantité de données et la puissance de calcul. Elles ont justifié la course aux très grands modèles. Elles montrent aussi des rendements décroissants, qui poussent à chercher d'autres leviers (raisonnement, données de qualité).

Machine Learning (ML)

Le machine learning (apprentissage automatique) est une branche de l'IA où les algorithmes apprennent à partir de données sans être explicitement programmés. Le système améliore ses performances au fur et à mesure qu'il est exposé à davantage de données. C'est la technique fondamentale derrière la plupart des applications d'IA modernes.

Multimodal

Un modèle multimodal est un système d'IA capable de traiter et générer plusieurs types de données : texte, images, audio, video. Contrairement aux modèles unimodaux, il peut comprendre une image et en discuter en texte, ou générer une image à partir d'une description. La multimodalite est un axe majeur de développément des LLM.

Open Source

En IA, l'open source désigne des modèles dont les poids (paramètres) sont publiquement accessibles, permettant à quiconque de les telecharger, modifier et déployer. Les modèles open source comme LLaMA (Meta), Mistral et Qwen democratisent l'acces à l'IA et favorisent l'innovation. Le debat entre open source et proprietaire est central dans l'industrie.

Parameters

Les paramètres (ou « poids ») sont les valeurs internes qu'un modèle ajuste pendant son entraînement pour encoder ce qu'il a appris. Le nombre de paramètres (ex. « 70 milliards », noté 70B) donne une idée approximative de la capacité d'un modèle. Plus de paramètres permet souvent plus de finesse, mais au prix de coûts de calcul plus élevés.

Prompt

Un prompt est l'instruction ou la question qu'un utilisateur soumet à un modèle d'IA pour obtenir une réponse. La qualité du prompt influence directement la qualité de la sortie. Un prompt peut être un simple texte, une image, ou une combinaison de consignes, d'exemples et de contexte.

Neural Network

Un réseau de neurones artificiel est un modèle de calcul inspiré du cerveau humain, composé de couches de neurones interconnectés. Chaque neurone reçoit des entrées, applique des poids et une fonction d'activation, puis transmet un signal. En empilant des couches, le réseau peut apprendre des patterns complexes dans les données.

Turing Test

Proposé par Alan Turing en 1950, le test de Turing évalue si une machine peut tenir une conversation indiscernable de celle d'un humain. Un juge dialogue à l'aveugle ; si la machine le trompe, elle « passe » le test. Longtemps théorique, il est aujourd'hui jugé insuffisant pour mesurer une véritable intelligence.

Token

Un token est l'unité de base que les modèles de langage utilisent pour traiter le texte. Un token peut être un mot, une partie de mot ou un caractère de ponctuation. En français, un mot moyen représente environ 1,5 token. La taille du contexte d'un LLM se mesure en nombre de tokens qu'il peut traiter.

Transformer

Le Transformer est une architecture de réseau de neurones introduite par Google en 2017 dans l'article "Attention Is All You Need". Il repose sur le mécanisme d'attention pour traiter les séquences en parallèle, ce qui le rend beaucoup plus rapide à entraîner que les RNN. Le Transformer est la base de pratiquement tous les LLM modernes (GPT, Claude, Gemini, LLaMA).