🧪

Évaluer un pipeline LLM

Construire un harness d'éval pour un pipeline LLM de production : mesurer le non-déterminisme, séparer la vérité des scores, concevoir des métriques qui ne mentent pas, et faire monter la qualité version après version. Cas fil rouge : extraction de commandes + matching catalogue.

Free navigation — pick whichever section you like.

0% completed

00Pourquoi évaluer Le non-déterminisme des LLM transforme « j'ai amélioré » en croyance. L'éval en fait un fait mesuré.21 min

Le problème du non-déterminisme10 min Anatomie d'un pipeline faillible11 min

01Un harness fidèle Appeler le vrai pipeline, l'isoler dans un environnement jetable, et distinguer la vérité des scores.34 min

Fidélité — évaluer le vrai pipeline12 min Un environnement jetable et idempotent10 min Dataset ≠ Run — le modèle mental central12 min

02Vérité & métriques Les golds comme propriété intellectuelle versionnée, et des métriques conçues pour que rater se voie et inventer coûte.47 min

Les golds — la vérité versionnée11 min Des métriques qui disent la vérité13 min Le péché capital — l'hallucination12 min Vue diagnostic vs vue business11 min

03Observabilité & boucle Observabilité découplée, isolation des étages, et la boucle de travail courte — jusqu'à ton propre mini-harness.37 min

Observabilité découplée et best-effort11 min Isoler les étages — savoir qui a bougé12 min Projet — construis ton mini-harness14 min