LLM : ce que les entretiens testent sur calcul et données

Les entretiens d’ingénieur IA reviennent sur deux terrains incontournables : les propriétés de calcul des LLM face aux RNN et l’augmentation des données en NLP. Voici les repères techniques à maîtriser, des coûts mémoire en décodage aux cadres d’augmentation et à leurs risques. Une méthode de préparation centrée sur un projet concret complète ces fondamentaux.

Mémoire et décodage : O(T) avec cache KV, O(T²) sans

En génération autoregressive, les Transformers et les RNN décodent un token à la fois, avec une complexité temporelle O(T). En inférence côté RNN, seul l’état caché courant est conservé, pour une empreinte mémoire O(1) par rapport à la longueur de séquence. Côté Transformers, l’empreinte mémoire dépend de l’usage d’un cache KV. Sans cache, l’attention est recalculée sur tout le préfixe et la matrice QKᵀ peut atteindre O(T²) de mémoire. Avec cache KV, les états K/V des tokens précédents sont stockés, ce qui ramène la mémoire résidente pendant le décodage à O(T).

Coûts de calcul : auto‑attention O(T²) vs RNN O(T)

L’auto‑attention standard met en relation tous les tokens entre eux, via des interactions pairwise. Pour chaque token, assister tous les autres coûte O(T), d’où un coût total O(T²) sur la séquence. Un RNN, lui, traite séquentiellement les tokens en résumant l’historique dans un état caché, pour un coût O(1) par token et O(T) au total. Pour une longueur T, la complexité FLOPs est ainsi O(T²) pour un Transformer et O(T) pour un RNN.

Entraînement : parallélisme, dépendances longues et mémoire

À l’entraînement, les Transformers parallélisent le traitement des tokens d’entrée existants, alors que les RNN restent séquentiels. Sous hypothèse de matériel parallèle suffisant, la complexité temporelle séquentielle est O(1) pour un Transformer contre O(T) pour un RNN. Les Transformers modélisent aussi des dépendances globales entre tokens, là où l’information à long terme se dégrade en général dans un RNN, et cet avantage de dépendances longues persiste en inférence. Côté mémoire en entraînement, un RNN stocke des états par token pour la rétropropagation, en O(T), tandis que le pic mémoire d’un Transformer vient de l’attention pairwise (matrice QKᵀ) en O(T²). Pour une longueur T, la complexité mémoire à l’entraînement est donc O(T²) pour un Transformer et O(T) pour un RNN.

Augmenter les données : cadres, usages et compromis

Faute de données suffisantes, l’augmentation est un levier courant et souvent évalué en entretien. Deux cadres dominent en NLP : l’approche basée sur des règles et l’approche générative. La première est moins coûteuse et plus contrôlable en qualité et précision, au prix d’une couverture limitée et d’une généralisation plus faible ; elle convient bien aux petits jeux de données et au démarrage à froid. La seconde est moins contrôlable, dépend d’un modèle puissant, renchérit les coûts et complique la validation, mais elle améliore mieux la généralisation et s’emploie lorsque l’on dispose déjà d’un modèle performant. Les arbitrages portent sur la phase (démarrage vs maturité), le niveau de contrôle, le coût et la validation, avec des risques à surveiller : surapprentissage et dégradation de la qualité due au bruit injecté.

Techniques concrètes : paraphrases, bruit, traduction, génération

L’augmentation basée sur des règles modifie de petites portions du texte à l’aide de règles explicites, parfois via de simples fonctions avec dictionnaires ou un petit LLM. Côté paraphrase, on peut remplacer des synonymes, changer des formats (dates ou montants) ou insérer/supprimer des mots ; côté bruit, on introduit des fautes au niveau lexical, des erreurs grammaticales ou des phrases non pertinentes au niveau document. Le paraphrasage/extension vise la généralisation, quand l’injection de bruit renforce la robustesse. L’approche générative couvre la production de formes de surface alternatives préservant le sens, la réécriture, la traduction inverse, la réécriture partielle d’une réponse pour une même question, ainsi que la génération qui introduit de nouvelles informations sémantiques à partir d’entrées textuelles ou non textuelles.

Se préparer par un projet et des choix argumentés

Une préparation efficace passe par la conduite d’un projet simple, comme un chatbot. Décomposer les étapes, lister les écueils pratiques, inventorier les techniques adaptées et expliciter les compromis selon les scénarios forment le cœur de l’exercice. Cette démarche contribue à bâtir des compétences transférables et peut aider à réussir les entretiens d’ingénieur en IA. Le cadre proposé se veut une source d’inspiration, dans un contexte qui évolue vite et où nul guide ne saurait épuiser toutes les questions possibles.