Een token is de basiseenheid tekst waar een taalmodel mee werkt. Voordat een model je bericht kan lezen, hakt het de tekst in tokens, en als het antwoordt produceert het één token per keer. Een token is vaak een heel woord, maar langere of ongebruikelijke woorden worden in kleinere stukjes geknipt.
Zie tokens als Lego-blokjes voor taal. Het woord ‘kat’ is misschien één blokje, terwijl ‘ongelooflijk’ uit drie blokjes bestaat die aan elkaar klikken: ‘on’, ‘geloof’, ‘lijk’. Het model ziet nooit letters of hele zinnen zoals jij; het ziet alleen de stroom blokjes. De stap die dit knippen doet heet tokenisatie, en hoeveel blokjes er in één gesprek passen wordt bepaald door het contextvenster van het model.
Tokens zijn ook de eenheid voor de prijs. Bijna elke AI-aanbieder rekent per token af voor zowel de tekst die je instuurt als de tekst die je terugkrijgt, dus een lange prompt met een lang antwoord kost meer dan een korte uitwisseling. Door het aantal tokens in de gaten te houden, houden teams AI-functies betaalbaar als ze opschalen.
De opsplitsing is niet in elke taal gelijk. Engels is goedkoop omdat de tokenizer er vooral op getraind is, waardoor veelvoorkomende woorden op één token uitkomen. Nederlands, Duits of Japans knipt hetzelfde idee vaak in meer stukken, en dan kost dezelfde zin merkbaar meer. En emoji’s, code en rare tekens slokken er elk soms een paar tokens op.
Daarom is een token in de praktijk de eenheid die telt, niet het woord. Als je een prompt ontwerpt, is het echte budget dat je uitgeeft gemeten in tokens, niet in tekens of zinnen.
Bij TopDevs houden we het tokengebruik in de gaten als we AI-functies bouwen, door prompts in te korten en context te hergebruiken, zodat een klant betaalt voor resultaat en niet voor verspilde woorden.
