Algèbre linéaire et ML : 13 notions clés, codes et usages

Un panorama en deux volets détaille 13 premières notions d’algèbre linéaire utiles aux praticiens du machine learning. Déterminants, inverses, sous-espaces, rangs ou réductions de lignes y sont présentés avec des exemples NumPy et des liens directs vers PCA, attention ou optimisation.

Transformer l’espace, mesurer l’effet et inverser

Les matrices sont décrites comme des transformations linéaires qui préservent addition vectorielle et multiplication scalaire. Elles interviennent dans les transformations de caractéristiques, la réduction de dimension, les modèles linéaires et la géométrie des données. Des effets géométriques typiques sont montrés, dont une mise à l’échelle, une rotation de 90 degrés, une réflexion par rapport à l’axe des x et une cisaille horizontale. Le déterminant de la matrice [[2, 0], [0, 3]] vaut 6.0 et, pour un carré unitaire, l’aire transformée est égale à la valeur absolue de ce déterminant, soit 6.0. L’inverse de cette matrice est calculé avec numpy.linalg.inv et le produit A @ A_inv est affiché pour vérification. La pseudo-inverse d’une matrice 3x2 est employée pour résoudre un système au sens des moindres carrés, avec des poids obtenus via X_pinv @ y puis des prédictions y_pred calculées comme X @ w.

Comment les données sont représentées et manipulées

Les données d’apprentissage sont décrites comme des vecteurs et des matrices, avec des images en niveaux de gris stockées en matrices 2D et des images couleur en matrices 3D. Les réseaux de neurones effectuent des multiplications de matrices à chaque passage avant, assimilées à des transformations linéaires. Les tenseurs, généralisation des scalaires, vecteurs et matrices à trois dimensions et plus, sont la structure centrale des frameworks TensorFlow et PyTorch, qui exploitent la différenciation automatique sur GPU. Les matrices sont des tableaux bidimensionnels de nombres, les vecteurs des tableaux unidimensionnels avec magnitude et direction, tandis que les scalaires, entités de dimension zéro, décrivent aussi des métriques comme pertes, moyennes et variances.

Opérations de base sur vecteurs et matrices

Les opérations vectorielles présentées incluent addition, soustraction, multiplication par un scalaire, produit scalaire et produit vectoriel. Les vecteurs servent à la rotation, à la mise à l’échelle et à la translation, et à quantifier la similarité par distance euclidienne ou similarité cosinus. Côté matrices, les exemples couvrent addition, soustraction, division élément par élément, produit matriciel, multiplications matrice-scalaire et matrice-vecteur. Les matrices sont signalées comme omniprésentes en machine learning, en graphisme, en physique, en optimisation et dans l’algorithme PageRank de Google.

Combinaisons, sous-espaces, indépendance et rang

Les combinaisons linéaires figurent parmi les notions à maîtriser. L’enveloppe linéaire d’un ensemble de vecteurs correspond à tous les vecteurs formés par ces combinaisons. Un sous-espace est défini comme un sous-ensemble contenant le vecteur nul, fermé par addition et par multiplication scalaire. Le rang d’une matrice, égal au nombre maximal de lignes ou colonnes linéairement indépendantes, renseigne sur l’information unique, les directions indépendantes et les composantes pertinentes. Un rang inférieur au nombre de caractéristiques s’accompagne de risques de multicolinéarité et de régressions linéaires instables. PCA est présenté comme réduisant automatiquement la dimension au rang, et comme recherchant le sous-espace où les données se concentrent, tandis qu’un encodeur compresse les données dans un sous-espace latent.

Résoudre des systèmes et réduire les lignes

La résolution de systèmes linéaires est illustrée avec numpy.linalg.solve sur une matrice 2x2 et un vecteur b. La réduction par lignes transforme une matrice en une forme plus simple tout en préservant l’ensemble des solutions, grâce à trois opérations élémentaires: échanger des lignes, multiplier une ligne par une constante non nulle et additionner ou soustraire des multiples d’autres lignes. Chaque pivot fixe une variable et donne une forme en escalier. Une ligne [0 0 0 | 1] signale un système incohérent, et [0 0 0 | 0] une équation redondante. Cette méthode répond à l’existence, l’unicité ou l’infinité des solutions, au nombre d’équations indépendantes et au rang, notamment via l’élimination de Gauss.

Ponts explicites avec les méthodes de ML et lecture des papiers

Plusieurs liens directs avec des méthodes de machine learning sont rappelés: PCA s’appuie sur vecteurs propres et valeurs propres, la SVD est une factorisation de matrices et l’attention exploite le produit scalaire. Les réseaux de neurones sont présentés comme des machines à multiplications de matrices, et l’optimisation mobilise gradients et hessiennes avec des techniques comme descente de gradient, multiplicateurs de Lagrange et conditions de Kuhn–Tucker. La maîtrise des notations mathématiques facilite la lecture efficace des articles de recherche. Les quatre piliers mathématiques mis en avant sont l’algèbre linéaire, le calcul, la probabilité et les statistiques. L’auteur affirme que des bases solides suffisent sans recourir à des mathématiques très avancées de niveau doctorat et que ces bases aident à décomposer des dérivations complexes; l’algèbre linéaire est qualifiée de colonne vertébrale du domaine. Ce panorama est structuré en deux parties couvrant 26 concepts, avec 13 notions dans ce premier volet, chaque concept étant accompagné d’intuitions, d’explications, de définitions et d’applications. Le billet est attribué à Rajendran S, paru initialement sur une plateforme dédiée à l'intelligence artificielle, daté et mis à jour le 24 août 2026.