Een vectorindex is de datastructuur die het zoeken door embeddings snel maakt. Hij ordent miljoenen vector-embeddings zodat het systeem bijna direct de dichtstbijzijnde matches bij een zoekopdracht vindt, in plaats van elk record één voor één na te lopen.
Denk aan de index achter in een dik naslagwerk. Zonder die index blader je elke pagina langs om een onderwerp te vinden. Met de index spring je meteen naar de juiste plek. Een vectorindex doet hetzelfde voor betekenisgericht zoeken: hij rangschikt de vectoren vooraf in een structuur waarin vergelijkbare items dicht bij elkaar liggen, zodat een zoekopdracht het overgrote deel van de vergelijkingen overslaat. De meeste gebruiken een techniek die approximate nearest neighbor heet, die een fractie nauwkeurigheid inruilt voor flinke snelheidswinst. Dat maakt gelijkenis-zoeken op schaal werkbaar.
Verschillende indexen leggen het anders aan. Sommige bouwen een gelaagde graaf van snelkoppelingen tussen vectoren, zodat een zoekopdracht in een paar stappen van een grove buurt naar het exacte antwoord springt. Andere snijden de ruimte op in clusters en kijken alleen in de dichtstbijzijnde paar. Elke keuze ruilt geheugen, bouwtijd en nauwkeurigheid op zijn eigen manier. Welke je kiest, hangt af van hoe vaak je data verandert en hoe snel je antwoord nodig hebt. Een catalogus die ieder uur ververst, vraagt om een andere opzet dan een die bij lancering vastligt.
De keerzijde is dat benaderende resultaten af en toe de allerbeste match missen. Voor de meeste zoek- en aanbevelingstaken is dat gat onzichtbaar, en de snelheid die het oplevert is juist het hele punt. Draai je de nauwkeurigheid te hoog op, dan lever je de snelheid weer in waarvoor je kwam. De kunst is dus de balans te vinden die de toepassing echt nodig heeft.
Bij TopDevs stemmen we de vectorindex achter de AI-zoekfunctie van een klant af, zodat antwoorden snel blijven, ook als de onderliggende data uitgroeit tot miljoenen records.
