Tokenisatie is de stap die tekst in kleine stukjes breekt, tokens genoemd, voordat een AI-model ermee kan werken. Het gebeurt automatisch op het moment dat je een prompt verstuurt en zet je woorden om in een lijst die het model kan lezen.
Stel je voor dat je een zin door een papierversnipperaar haalt die op woord- en lettergreepgrenzen knipt in plaats van op willekeurige lijnen. ‘Ik hou van coderen’ komt er misschien uit als vier nette stroken, terwijl een lang woord in een paar stukken wordt geknipt. Elke strook krijgt vervolgens een nummer, en die lijst met nummers is wat het model daadwerkelijk verwerkt. Die stukken zijn de tokens, en het aantal ervan is wat de tokenlimiet meet.
De regels voor waar geknipt wordt, worden vooraf geleerd uit enorme hoeveelheden tekst, zodat veelvoorkomende woorden heel blijven en zeldzame worden gesplitst. Dat telt voor kosten en capaciteit: een tokenizer die een taal in veel kleine stukjes splitst, gebruikt meer van het budget voor dezelfde zin, en daarom lopen sommige talen duurder uit dan Engels op hetzelfde model.
Het verklaart ook een paar gekke blinde vlekken van AI. Omdat het model tokens ziet en geen letters, is een klassieke misser het tellen van de r’en in ‘aardbei’: het woord is een paar tokens, en de losse letters waren voor het model nooit echt zichtbaar. Spellingtrucs, rijm en bewerkingen op letterniveau laten modellen om dezelfde reden struikelen.
Na het opsplitsen wordt elk token een getal en later een embedding, de vectorvorm waar het model echt mee rekent. Tokenisatie is dus de brug van menselijke tekst naar iets waar een netwerk mee kan rekenen.
Bij TopDevs houden we rekening met tokenisatie als we de kosten en limieten van een AI-functie inschatten, zodat een klant een realistisch bedrag krijgt en geen verrassing zodra er echte tekst doorheen gaat.
