Chunking is de stap waarbij een lang document in kleinere, behapbare stukken wordt geknipt voordat een AI-systeem ermee werkt. In plaats van een handleiding van 200 pagina’s in zijn geheel aan te leveren, deel je hem op in passages zodat het systeem alleen de relevante delen kan vinden en gebruiken.
Het lijkt een beetje op een boek zonder index. Om ‘wat is de garantieperiode?’ te beantwoorden, blader je liever naar de juiste alinea dan dat je alles herleest. Chunking maakt die vindbare alinea’s. Het is een fundamentele stap in RAG, waarbij elk stuk wordt omgezet in embeddings en opgeslagen, zodat het systeem op het moment van de vraag de dichtstbijzijnde matches kan ophalen. Als je een vraag stelt, doorzoekt het systeem niet de hele handleiding; het doorzoekt die voorgesneden stukken en pakt de paar die het meest relevant lijken.
Hoe je knipt telt meer dan mensen verwachten. Knip te grof en het zoeken wordt vaag; te fijn en je verliest de omringende context. Een tabel of genummerde lijst doormidden knippen kan een antwoord stilletjes verpesten, dus goede chunking respecteert de natuurlijke structuur van het document en laat de randen vaak overlappen. Een veelgebruikte truc is om elk stuk een zin of twee te laten delen met het volgende, zodat een gedachte die over een grens loopt toch heel in minstens één stuk belandt. Doe je dit fout, dan geeft zelfs een sterk model zwakke antwoorden, want het kreeg nooit de juiste tekst om mee te werken.
Bij TopDevs stemmen we chunking af op de content van elke klant, want deze vroege stap goed krijgen is vaak het verschil tussen een AI-assistent die het antwoord vindt en een die het mist.
