Du neurone au réseau

Tu connais déjà le neurone

Un neurone artificiel : somme pondérée des entrées + fonction d'activation non linéaire. Somme pondérée + sigmoïde… c'est la régression logistique de la leçon 5.2 ! Un réseau de neurones, c'est des régressions empilées — et c'est l'empilement qui change tout.

Pourquoi empiler ? La non-linéarité composée

Sans activation non linéaire, empiler des couches linéaires resterait… linéaire (le produit de matrices est une matrice). L'activation (aujourd'hui ReLU : max(0, x), brutale et efficace) casse la linéarité, et l'empilement compose des représentations de plus en plus abstraites :

image → [couche 1: contours] → [couche 2: formes] → [couche 3: "oreille de chat"] → chat/chien

C'est LA rupture avec le ML classique : plus besoin de fabriquer les features à la main — le réseau les apprend. Le prix : beaucoup de données, beaucoup de calcul, et une interprétabilité en berne.

L'anatomie d'un réseau (vocabulaire de survie)

• Couche dense / linéaire : la brique X @ W + b (module 2 !) ;
• Activation : ReLU entre les couches, sigmoïde/softmax en sortie (proba d'une ou plusieurs classes) ;
• Profondeur / largeur : nombre de couches / neurones par couche — la « capacité » du modèle ;
• Paramètres : tous les W et b — de milliers (petit MLP) à milliards (LLM).

Quand le deep vaut le coût

Réflexe honnête du MLE : le deep learning s'impose sur le non-structuré (texte, image, audio, séries complexes) et quand la volumétrie est là. Sur une table de 50 000 lignes × 30 colonnes, XGBoost gagnera — plus vite, moins cher (leçon 5.3).