Cinq formations gratuites pour maîtriser les modèles de langage

Cinq formations gratuites, pensées pour s’enchaîner, promettent un chemin clair des bases des réseaux de neurones jusqu’aux agents déployés. Entre cours académiques, bootcamp d’ingénierie et ateliers outillés, l’itinéraire marie théorie, pratique et exploitation. Formats, prérequis et durée sont précisés pour passer rapidement de l’étude à l’exécution.

Un pipeline en 5 étapes et des répétitions pour passer à l’acte

L’itinéraire repose sur l’idée qu’un ensemble resserré de cinq cours reliés constitue un pipeline plus utile que de multiples points de départ dispersés. Les cinq modules sont ordonnés pour couvrir successivement les fondamentaux, l’architecture de systèmes, la théorie à grande échelle, la pratique du fine-tuning et, enfin, le déploiement d’agents. Il n’est pas requis de boucler intégralement chaque cours avant d’avancer : une progression conseillée consiste à achever le cours de Karpathy, à parcourir le bootcamp FSDL pour l’intuition architecturale, à cibler les sections pertinentes de CS336, puis à pratiquer avec Hugging Face et DeepLearning.AI dès qu’un projet se dessine. Selon Vinod Chugani, la différence entre lire sur les LLM et savoir construire vient souvent du nombre de boucles d’entraînement réellement exécutées, de courbes de perte observées et de runs de fine-tuning débogués. L’ensemble vise à fournir ces répétitions, jusqu’à permettre de viser des projets au-delà du simple prompting d’une API hébergée.

Poser les bases : du Python brut à la théorie de Stanford

Le parcours débute par Neural Networks: Zero to Hero d’Andrej Karpathy, qui fait construire des réseaux de neurones en Python sans s’appuyer sur des frameworks. L’apprenant y code micrograd pour l’auto-différenciation, bâtit makemore au niveau caractère, et pousse jusqu’à une architecture de type GPT-2, y compris un tokenizer BPE implémenté de zéro. Les réalisations incluent un moteur d’autograd fonctionnel, un modèle bigram et un MLP, ainsi qu’un GPT-2 entraîné sur texte réel et un tokenizer aligné sur l’implémentation d’OpenAI. Le cours, accessible gratuitement en neuf conférences avec notebooks sur GitHub, demande de solides bases en Python, des notions de dérivées et de 20 à 30 heures de codage actif. En relais, Stanford CS336, enseigné par Percy Liang et Tatsunori Hashimoto, adopte une approche systèmes : construire un modèle à partir des données et des composants fondamentaux. Le contenu couvre collecte, déduplication et conception de corpus, implémentation du transformeur, optimisation d’entraînement incluant calendriers de taux et gradient clipping, et méthodologies d’évaluation et de benchmarks. Les ressources – diapositives, devoirs et notes – sont publiques. Le cours, de niveau avancé, s’inscrit dans une philosophie proche de celle des cours d’OS, et succède à CS324 (2022), plus ancien et théorique.

Structurer et exploiter : du bootcamp FSDL aux agents et au service

Pour le passage en production, le Full Stack LLM Bootcamp de FSDL fournit un aperçu d’ensemble de l’ingénierie autour des modèles : prompting à l’échelle système, LLMOps, harnais d’évaluation, arbitrages latence/coût, UX des interfaces en langage naturel et pipelines avec modèles évaluateurs. Enregistré sur deux jours à San Francisco en avril 2023 et disponible gratuitement avec diapositives, il suppose de savoir invoquer une API et coder en Python. Son apport tient à la mise en relation des briques qui composent une application déployable et observée, jusqu’aux points de rupture typiques. Dans la dernière étape du parcours, des cours courts de DeepLearning.AI abordent l’orchestration : agents contrôlables avec LangGraph, service vLLM, RAG et routage sémantique. Ces modules de une à trois heures, dispensés par des créateurs de frameworks et des équipes d’infrastructure, mènent à construire un agent LangGraph à état avec checkpoints humains, un pipeline RAG avec recherche vectorielle et re-ranking, et un endpoint vLLM optimisé pour débit et latence. Ils sont gratuits pendant leur bêta d’apprentissage, sous réserve de disponibilité à vérifier.

Pratique outillée : fine-tuning et raisonnement avec Hugging Face

Le Cours LLM de Hugging Face, officiellement décliné en treize chapitres et annoncé comme mis à jour jusqu’à mi-2026, couvre l’écosystème complet : architectures de transformeurs, tokenizers, Datasets, SFT via TRL, et LoRA via PEFT. De nouveaux chapitres traitent de la construction de modèles de raisonnement avec GRPO dans l’esprit de DeepSeek R1. Les chapitres 10 à 12 détaillent la curation de données avec Argilla, l’usage de SFTTrainer avec LoRA, et des alternatives au RLHF telles que DPO. Les exercices visent des modèles affinés avec LoRA sur des jeux de données personnalisés, des corpus curés pour l’instruction tuning, des démos Gradio et un motif de fine-tuning LoRA concis, présenté comme standard et approfondi au chapitre 11.

Formats, prérequis et portée : ce que chaque étape demande

Les modules diffèrent par leur format et leurs exigences. Le cours de Karpathy est une playlist YouTube de neuf conférences appuyées par des notebooks, avec un temps de pratique estimé entre 20 et 30 heures et des prérequis en Python et calcul différentiel. Le bootcamp FSDL, capté sur deux jours en avril 2023, est disponible gratuitement avec ses diapositives, mais certaines références API datent de 2023 bien que les principes architecturaux restent présentés comme valables. Côté académique, CS336 propose en accès public ses supports, dans un cadre de niveau avancé, et succède à CS324 de 2022. Le cursus Hugging Face annonce des mises à jour jusqu’à mi-2026. Les cours courts DeepLearning.AI, d’une à trois heures, sont assurés par des praticiens des frameworks et offerts durant une phase bêta, avec une disponibilité à vérifier. Cet assemblage entend répondre à l’abondance de tutoriels superficiels ou périmés en livrant un chemin structuré et complet vers la pratique.