Retrieval is de stap waarin een AI-systeem een verzameling informatie doorzoekt en de stukken eruit haalt die het meest relevant zijn voor de vraag. Het gebeurt voordat het model ook maar een woord schrijft. In plaats van puur te antwoorden op basis van wat het tijdens de training leerde, haalt het systeem eerst ondersteunend materiaal uit je documenten en gebruikt dat om het antwoord te gronden. Krijg je retrieval goed, dan heeft het antwoord de feiten die het nodig heeft.
Denk aan een onderzoeker die een vraag krijgt. Voordat hij iets schrijft, loopt hij naar de juiste planken en pakt de drie boeken die het onderwerp echt behandelen. Retrieval is die handeling van het ophalen van de juiste bronnen. De kwaliteit van alles wat volgt hangt ervan af, want zelfs een briljante schrijver produceert onzin uit de verkeerde boeken. Geef hem de verkeerde drie en je krijgt een zelfverzekerd, goed geschreven, totaal fout antwoord terug.
Retrieval is de machinekamer van RAG, en het werkt meestal door de betekenis van een vraag te koppelen aan passages in je data in plaats van alleen de woorden. Zo vindt een klant die vraagt “hoe zeg ik op” toch de pagina met de titel “je abonnement beëindigen”, ook zonder een gedeeld trefwoord. De content wordt in stukken geknipt, omgezet naar getallen en zo opgeslagen dat de dichtstbijzijnde matches snel terugkomen. De sterkste opzetten slaan content op in een vectordatabase en voegen een reranking-stap toe om te zorgen dat de allerbeste passages bovenaan landen, niet alleen de grofweg relevante.
Bij TopDevs zien we retrieval als het deel van een AI-systeem dat je het eerst goed wilt krijgen, want in onze ervaring zijn de meeste zwakke antwoorden terug te voeren op het ophalen van de verkeerde bron en niet op het model zelf.
