Le péché capital — l'hallucination

Toutes les fautes ne se valent pas

On l'a esquissé : dans ce domaine, inventer est pire que rater. Rater une ligne, l'utilisateur le voit et la rajoute. Inventer une ligne — un produit qu'il n'a jamais commandé, glissé dans son devis — passe inaperçu jusqu'à la facture. C'est le péché capital, et il mérite sa propre métrique.

order_hallucination = taux de lignes inventées : des lignes présentes dans la sortie qui n'ont aucune contrepartie dans le gold. Une métrique de tête à surveiller comme le lait sur le feu, indépendamment du F1.

Le piège concret : la quantité par défaut

Un cas d'école : le pipeline met parfois quantité = 1 par défaut sur une ligne où le document n'écrit rien. Résultat : une ligne du catalogue simplement mentionnée (pas commandée) devient une ligne commandée à 1 unité. Une hallucination, née d'un défaut d'implémentation anodin.

La doctrine qui l'évite est une règle de transcription : quantité manquante = null, jamais devinée. Et la métrique doit être capable de distinguer « ligne lue mais sans quantité » de « ligne réellement commandée » — sinon elle bénit le défaut.

Le corpus adversarial : rendre le péché coûteux

Une métrique ne sert à rien si le corpus ne la sollicite jamais. D'où le principe le plus distinctif d'une éval sérieuse : choisir des cas durs, conçus pour que rater se voie et inventer coûte.

Exemple emblématique : un formulaire catalogue — un document qui liste ~200 références pré-imprimées dont l'utilisateur n'en commande que 6 (celles avec une quantité). Un pipeline naïf qui « lit tout » produit 200 lignes → 194 hallucinations. Ce cas, marqué "form": true dans le gold, est un piège à hallucination délibéré.

Un corpus de démo contient les cas où le pipeline réussit. Un corpus d'éval contient les cas où il échoue — c'est là qu'on apprend quelque chose.

D'autres cas durs typiques : double référencement (client + fournisseur dans la même cellule), lignes ajoutées dans un commentaire libre (« merci d'ajouter aussi… »), photos floues, noms de fichiers exotiques (espaces, accents) qui cassent le stockage.