La méthode Oracle : spécification

Chaque réponse de moteur est convertie en rang : la position de la marque dans la réponse (1 = citée en premier). Les rangs sont fusionnés par Reciprocal Rank Fusion :

score(marque) = Σ 1 / (k + rang), avec k = 60

La somme court sur tous les prompts et tous les runs. Une absence (rang infini) contribue zéro sans casser la somme ; une première place isolée ne suffit pas à dominer ; le score reste comparable entre moteurs qui formatent leurs réponses différemment.

• « Meilleure assurance habitation », rang 1 → contribution 0,0164

• « Assurance habitation pas chère avis », rang 4 → 0,0156

• « Comment choisir son assurance », absente → 0

Une méthode honnête documente aussi ses angles morts. Les voici, tels qu'ils figurent dans chaque rapport :

• Le non-déterminisme résiduel : 5 runs réduisent le bruit, ne l'annulent pas. D'où la bande ±.

• Les fenêtres d'entraînement : un moteur peut citer un état ancien de ton marché. On date chaque collecte.

• Le biais de formulation : les prompts français dominent le corpus ; la couverture multilingue est partielle.

• Les moteurs évoluent sans préavis : les comparaisons ne valent qu'à méthodologie constante, d'où le versionnage.