Le problème : classer, pas classifier

Ranking ≠ classification

Le matcher (cours Stack IA) retrouve N candidats pour une ligne de commande et doit désigner le bon en tête. Ce n'est pas « ce candidat est-il correct ? » (classification, un candidat à la fois) mais « dans quel ORDRE présenter ces candidats ? » — le learning-to-rank (LTR). La différence est fondamentale : ce qui compte n'est pas la probabilité absolue de chaque candidat, c'est leur ordre relatif. Un modèle qui donne 0.6 au bon et 0.5 aux mauvais gagne, même si 0.6 « semble » peu.

La métrique reine : le rang du bon candidat

On n'évalue pas un ranker à l'accuracy mais à où il place la vérité :

• match@1 : le bon candidat est-il en position 1 ? (la métrique produit : c'est ce que l'utilisateur voit) ;
• MRR (Mean Reciprocal Rank) : moyenne de 1/rang — récompense « 2e » presque autant que « 1er », punit « 8e » ;
• NDCG : la version pondérée quand il y a plusieurs bons candidats à des degrés divers.

Le cours matching l'a déjà croisée sous le nom match@1 — c'est LA cible.

Le dataset qui dort dans ta base

Voici le point qui relie tout : le matcher, à chaque deep match, enregistre déjà un snapshot dans product_match_feedback — pour chaque candidat considéré, ses 5 sous-scores (score_id, score_brand, score_text, score_category, score_spec), les scores agrégés (business_score, semantic_score, final_score), son rang, et surtout was_selected (le candidat retenu) + was_overridden_by_user (l'humain a corrigé). Autrement dit :

features (X) = les 5 sous-scores + business/semantic de chaque candidat
label   (y)  = ce candidat était-il le bon ? (was_selected, corrigé par l'humain)
groupe       = la ligne de commande (les candidats d'une même requête se classent ENTRE eux)

C'est un dataset de learning-to-rank complet, étiqueté par les humains, qui grossit tout seul. Aujourd'hui, l'ordre est décidé par des poids réglés à la main (id 0.40, text 0.35…) + un rerank Cohere. La question de ce cours : peut-on apprendre ces poids — voire une fonction non linéaire — à partir du feedback réel ?