Versionner et évaluer les prompts

Le prompt est du code (traite-le comme tel)

Un changement d'une virgule dans un system prompt peut faire varier la qualité de plusieurs points sur des milliers de documents. Pourtant beaucoup d'équipes éditent leurs prompts « au feeling », en prod, sans historique. La discipline de production :

1. versionné en git : le prompt vit dans un fichier (extraction_contract.py chez le projet), pas dans une variable d'env qu'on modifie en douce — diff, blame, revue s'appliquent ;
2. modifié par MR : un changement de prompt est une MR comme une autre, avec son delta d'éval (cours Stack IA, étude de cas) ;
3. jamais changé sans mesure : c'est LA règle. « J'ai amélioré le prompt » sans chiffre = « j'ai changé le prompt » — l'amélioration se prouve.

L'éval de prompt : le golden set

Exactement la méthode eval-driven du module matching, appliquée aux prompts :

corpus de cas (documents réels + sortie attendue)
  → run avec prompt v1 → scores
  → modif du prompt → run avec prompt v2 → scores
  → delta ? régression sur un cas ? → on décide sur des chiffres, pas des impressions

Le piège spécifique aux prompts : l'amélioration locale, régression globale. Ajouter une règle pour régler le cas A casse souvent le cas B (le modèle sur-applique la nouvelle consigne). Sans golden set qui couvre A ET B, tu ne le vois qu'en prod, trois semaines plus tard. Le corpus doit contenir les cas que chaque règle protège — chaque incident clos devient un cas de non-régression.

Le versioning côté observabilité

Le complément runtime (cours Stack IA, Langfuse) : chaque génération trace quelle version de prompt l'a produite. Quand un score se dégrade en prod, on remonte à la version exacte — et on peut comparer les métriques agrégées entre deux versions de prompt sur du trafic réel (pas seulement sur le golden set). Certaines plateformes (Langfuse compris) offrent un prompt management : versionner les prompts hors du code pour les itérer sans redéploiement — utile quand des non-devs doivent ajuster (le cas de la config par tenant, leçon suivante).