Le projet fil rouge : data → modèle → API → monitoring

Un seul projet, mais complet

Les recruteurs MLE ne veulent pas voir dix notebooks à 0.94 d'accuracy : ils veulent un système qui vit. Le projet fil rouge coche chaque module de ce cours, sur un sujet à VRAIES données (idées : prédiction de retards de transports publics, détection d'anomalies sur tes propres métriques serveur, reco d'articles sur un flux RSS, prix de l'immobilier local).

La spec, étape par étape

1. Pipeline de données (modules 3-4) Ingestion planifiée (API publique/scraping léger) → parquet partitionné par date sur object storage → assertions de qualité qui cassent le pipeline si l'amont déraille. Preuve : le dataset grossit chaque jour tout seul.

2. Entraînement traqué (modules 5, 8) Baseline (règle simple ou régression) PUIS ton modèle (boosting probable). Split temporel propre, métriques honnêtes (pas d'accuracy sur du déséquilibré !). Chaque run loggé dans MLflow, modèle promu au registry seulement s'il bat le champion. Preuve : l'historique des runs et la comparaison baseline/modèle.

3. Serving (module 8) API FastAPI conteneurisée : /predict validé par Pydantic, /health readiness, modèle chargé au démarrage, versionnée. Déployée sur un serverless container (tu sais faire 😉). Preuve : une URL publique qui répond.

4. Monitoring & boucle (module 8) Dashboard minimal (latence, distribution des prédictions, drift PSI sur 2-3 features) + réentraînement planifié qui passe par l'évaluation avant promotion. Preuve : une capture du dashboard et un réentraînement qui a réellement promu (ou refusé) un modèle.

5. Le README qui vend (30 % de la valeur !) Schéma d'architecture, décisions et compromis (« pourquoi boosting et pas un réseau », « pourquoi batch nocturne »), métriques atteintes, coûts. Écris-le comme un design doc — c'est LUI que le recruteur lit.

Les pièges du projet portfolio

• Le dataset jouet (iris, titanic) : disqualifiant — prends des données vivantes et imparfaites, leur nettoyage EST la démonstration ;
• le score parfait : 0.99 = leakage (module 5), et le recruteur le sait ;
• l'over-engineering : pas de Kubernetes multi-région pour 100 prédictions/jour — le bon dimensionnement est aussi une compétence évaluée ;
• l'absence de coûts : « tourne pour 3 €/mois sur un container serverless » est une phrase qui recrute.