Top-k retrieval is een instelling die een zoekstap beperkt tot de k best passende resultaten, waarbij k een getal is dat je vooraf kiest. In plaats van alles terug te geven wat losjes met een vraag te maken heeft, rangschikt het systeem de matches en houdt het alleen de sterkste paar over.
Zie het als een bibliothecaris die de hele bibliotheek voor jouw onderwerp heeft doorzocht. Hij rijdt niet elk boek aan dat het noemt; hij brengt je de vijf nuttigste en laat de rest in de kast staan. Die grens is de k. In een AI-systeem gebeurt dit nadat een semantische zoekfunctie de kandidaten rangschikt, en de bovenste paar voeden vervolgens het model. Het is een kerninstelling in elke RAG-opzet, waar opgehaalde stukken het bronmateriaal voor het antwoord worden.
Het kiezen van k is een afweging. Een kleine k houdt het snel, goedkoop en gefocust, maar loopt het risico een relevant stuk te missen. Een grote k gooit een breder net uit ten koste van extra ruis en tokens. De ideale waarde hangt af van de data en de vraag.
Een veelgebruikt patroon vangt beide kanten op. Je haalt een ruime k op, zeg twintig kandidaten, en stuurt die daarna door een reranking-stap die ze nauwkeuriger scoort en de beste drie of vier voor het model overhoudt. Zo gooi je eerst een breed net uit en snoei je hard voordat je voor tokens betaalt.
Eén valkuil om op te letten: een hoge k kost niet alleen meer, hij kan de kwaliteit verlagen, want een sterk antwoord verstopt tussen tien zwakke passages geeft het model meer kansen om de verkeerde te pakken. Groter is dus zelden de veilige standaard.
Bij TopDevs stemmen we top-k af op de content van elke klant, met tests op echte vragen, zodat het model genoeg context ziet om het goed te hebben zonder te verzuipen in irrelevante resultaten.
