Een tokenlimiet is het plafond voor hoeveel tekst een AI-model in één keer aankan, geteld in tokens en niet in woorden of tekens. Hij geldt voor wat je invoert én voor wat het model terugstuurt, allemaal binnen hetzelfde budget.
Een handige manier om het voor je te zien is een whiteboard. Je kunt er veel op schrijven, maar als het vol is moet je eerst iets uitvegen voordat er meer bij kan. De tokenlimiet is de grootte van dat whiteboard. Past een gesprek of document er niet helemaal op, dan kan het model niet alles tegelijk zien en valt het deel dat niet past buiten het bord. Deze limiet hangt nauw samen met het contextvenster van het model, dat dezelfde ruimte vanaf de andere kant beschrijft.
De limiet telt in de praktijk omdat echt werk vaak gaat over lange contracten, transcripties of chatgeschiedenissen die er overheen gaan. De gebruikelijke oplossing is om de tekst op te splitsen in kleinere tokens en alleen de relevante stukken te voeren, of oudere delen samen te vatten zodat ze minder ruimte innemen.
Er zit ook een subtiele valkuil aan lange context. Zelfs als een document technisch gezien past, let een model vooral op het begin en het eind en wordt het vaag in het midden, dus een bestand tot aan de limiet volstoppen geeft vaak slechtere antwoorden dan een kort, relevant stuk voeren. Groter is niet altijd beter.
De kosten bewegen met dezelfde knop mee. Omdat je per token betaalt, is de volle limiet van 100.000 tokens bij elke vraag meesturen veel duurder dan een gerichte prompt van 2.000 tokens die hetzelfde antwoord oplevert.
Bij TopDevs ontwerpen we AI-functies vanaf het begin rond de tokenlimiet, door documenten in stukken te knippen en context op te schonen, zodat een lang bestand nooit stilletjes halverwege wordt afgekapt.
