Arbres, forêts et gradient boosting

L'arbre de décision : des if imbriqués appris

Un arbre apprend des règles : si usage < 0.3 et tickets > 4 → churn probable. L'algorithme choisit à chaque nœud la coupure qui sépare le mieux les classes. Forces : zéro préprocessing (pas de normalisation !), gère les features hétérogènes, ultra-lisible. Faiblesse : un arbre seul overfitte dès qu'on le laisse pousser.

La sagesse des foules : bagging et boosting

Deux stratégies d'ensemble transforment cet apprenant fragile en champion :

Random Forest (bagging) : des centaines d'arbres entraînés sur des échantillons aléatoires en parallèle, vote final. Réduit la variance — robuste et sans réglage ;
Gradient boosting (XGBoost, LightGBM, CatBoost) : des arbres entraînés en séquence, chacun corrigeant les erreurs résiduelles du cumul précédent. Réduit le biais — le champion des compétitions et de la prod tabulaire.

Le fait d'armes à retenir

Sur les données tabulaires (tables métier : clients, transactions, capteurs), le gradient boosting bat encore régulièrement le deep learning en 2026 — pour une fraction du coût d'entraînement et de serving. Le réflexe professionnel : baseline logistique → XGBoost → et seulement si le gain le justifie, du deep. Le deep learning règne sur le non-structuré (texte, image, audio) ; le boosting règne sur les tables.

Les hyperparamètres qui comptent (boosting)

n_estimators (nombre d'arbres) + learning_rate : plus d'arbres plus petits pas généralise mieux ;
max_depth (3-8 typiquement) : la profondeur contrôle la complexité de chaque correcteur ;
early_stopping : arrêter quand le score de validation stagne — l'anti-overfit gratuit.

🐍 À toi de jouer

# Random Forest vs arbre seul : la variance domptée (sklearn dans le navigateur)
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.metrics import accuracy_score

rng = np.random.default_rng(1)
n = 1500
X = rng.normal(size=(n, 6))
# Vérité non-linéaire avec interactions (typique du tabulaire réel)
y = ((X[:,0] * X[:,1] > 0) & (X[:,2] + X[:,3]**2 > 0.5) | (X[:,4] > 1.2)).astype(int)

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)

for nom, m in [
    ("arbre profond (seul)", DecisionTreeClassifier(random_state=0)),
    ("random forest x100", RandomForestClassifier(n_estimators=100, random_state=0)),
    ("gradient boosting", GradientBoostingClassifier(n_estimators=150, max_depth=3, random_state=0)),
]:
    m.fit(X_tr, y_tr)
    tr = accuracy_score(y_tr, m.predict(X_tr))
    te = accuracy_score(y_te, m.predict(X_te))
    print(f"{nom:22s} train={tr:.3f}  test={te:.3f}  écart={tr-te:+.3f}")

print("\n→ l'arbre seul mémorise (écart énorme) ; les ensembles généralisent.")

🧩 Quiz1/4

Différence fondamentale entre Random Forest et gradient boosting ?

🃏 Flashcards1/4