Algèbre linéaire : des tableaux qui se multiplient

Un vecteur est une donnée, une matrice est un lot

Oublie les flèches du lycée. En ML :

• un vecteur = une observation transformée en nombres : [âge, salaire, ancienneté], ou les 1536 nombres d'un embedding de phrase ;
• une matrice = un lot d'observations (une ligne = un vecteur), ou les poids d'une couche de réseau de neurones ;
• un tenseur = la généralisation à N dimensions (un batch d'images : [batch, hauteur, largeur, canaux]).

Le produit matriciel : L'opération du ML

C = A @ B : chaque case de C est le produit scalaire d'une ligne de A et d'une colonne de B. Pourquoi c'est central ? Parce qu'une couche de réseau de neurones, c'est exactement ça : sortie = entrées @ poids + biais. Un LLM de 7 milliards de paramètres = essentiellement des milliers de produits matriciels enchaînés.

Règle de compatibilité à mémoriser : (n, k) @ (k, m) → (n, m) — le k intérieur doit coïncider. 90 % de tes futurs bugs PyTorch seront des erreurs de shapes : lis toujours les dimensions comme un contrat d'API.

Le produit scalaire mesure la similarité

a · b = Σ aᵢbᵢ. Géométriquement : à quel point deux vecteurs « pointent dans la même direction ». Normalisé par les longueurs, ça donne la similarité cosinus — LE moteur de la recherche sémantique et du RAG : les textes proches ont des embeddings dont le cosinus est proche de 1.