Reranking
Reranking ist ein zweiter Sortierschritt in Suchsystemen: Ein präziseres Modell bewertet die besten Treffer einer schnellen Vorauswahl neu und bringt die wirklich relevanten Ergebnisse nach oben.
In der Praxis
Dahinter steht eine Arbeitsteilung. Die erste Stufe (etwa Vektorsuche mit einem Bi-Encoder) durchsucht Millionen Einträge schnell, aber grob. Die zweite Stufe, ein sogenannter Cross-Encoder, liest Anfrage und Treffer gemeinsam und bewertet die Passung deutlich genauer – dafür ist er zu langsam für den Gesamtbestand. Microsofts Suchdienst etwa sortiert deshalb nur die vorderen fünfzig Treffer nach.
Für RAG-Systeme ist das ein Hebel mit großer Wirkung: Nur was oben in der Trefferliste steht, landet in der Anfrage an das Sprachmodell. Bessere Reihung bedeutet daher direkt bessere Antworten. Der Preis ist zusätzliche Rechenzeit pro Anfrage.
Für RAG-Systeme ist das ein Hebel mit großer Wirkung: Nur was oben in der Trefferliste steht, landet in der Anfrage an das Sprachmodell. Bessere Reihung bedeutet daher direkt bessere Antworten. Der Preis ist zusätzliche Rechenzeit pro Anfrage.