Projet — construis ton mini-harness

La boucle de travail, en une image

Tout ce cours converge vers une boucle courte, sans toucher au code du pipeline pour enrichir la mesure :

1. setup       (une fois)  → tenant jetable + catalogue chargé
2. corriger    (UI)        → fabriquer/corriger les golds sur disque
3. baseline    (eval)      → poser une note de référence
4. modifier    (code)      → un prompt, un nœud, un modèle
5. re-scorer   (eval)      → comparer les deux runs côte à côte
6. isoler      (si besoin) → matching-seul / lecture A/B pour savoir qui a bougé
   └── retour à 4

Le point clé : les étapes 2 (vérité) et 3-5 (mesure) sont découplées. Tu enrichis le corpus sans réécrire de code, tu itères sur le code sans retoucher la vérité.

Le projet

Monte un harness minimal pour une tâche LLM de ton choix (extraction, classification de tickets, RAG…). Cahier des charges :

1. Choisis la tâche et sa vérité — 10 à 20 cas réels (anonymisés !). Écris les golds à la main, dans un fichier versionné du dépôt. C'est ton IP.
2. Appelle le vrai code — pas une maquette. La fonction que tu évalues doit être celle qui tournerait en prod.
3. Isole l'environnement — un espace jetable, idempotent, reconstructible. Jamais de données réelles.
4. Sépare dataset et runs — la vérité figée d'un côté ; une note horodatée par exécution de l'autre.
5. Conçois 2-3 métriques honnêtes — dont au moins une pour ton péché capital (ce que tu ne veux surtout jamais voir : hallucination, faux positif confiant, fuite de PII…). Donne-lui le droit de s'abstenir si c'est pertinent.
6. Ajoute un cas adversarial — un piège conçu pour faire échouer un pipeline naïf. S'il ne casse rien, il ne t'apprend rien.
7. Rends l'observabilité optionnelle — les scores s'affichent en terminal même sans outil externe.
8. Boucle — pose une baseline, change une chose, re-mesure. Note l'écart.

Les pièges à éviter (récapitulés)

• la maquette infidèle → tu optimises une fiction ;
• la vérité auto-générée par le modèle évalué → circularité ;
• la contamination par l'historique accumulé pendant le run → score dépendant de l'ordre ;
• la métrique aveugle à l'abstention → un pipeline qui ment avec assurance obtient un bon score ;
• le corpus de démo (que des réussites) → aucune leçon ;
• la dépendance dure à l'outil d'observabilité → l'éval casse quand l'outil casse.