Kwantisatie is een manier om een AI-model te comprimeren door de interne getallen met minder precisie op te slaan. Een model bestaat in de kern uit miljoenen of miljarden getallen. Standaard wordt elk getal met hoge precisie opgeslagen, wat nauwkeurig maar zwaar is. Kwantisatie rondt die getallen af naar een grover formaat, zodat het model veel minder geheugen kost en merkbaar sneller draait.
Stel je een recept voor dat 2,4716 gram zout vraagt. In de praktijk rond je af naar “een snufje” en smaakt het gerecht nog steeds prima. Kwantisatie doet hetzelfde met een model: het ruilt een sprietje precisie voor een flinke winst in snelheid en omvang. Een model dat een dure cloud-GPU nodig had, draait na kwantisatie ineens op een bescheiden server, of zelfs een laptop. De meest gangbare stap is van 16-bits getallen naar 8-bits of 4-bits, wat het geheugen dat het model vraagt grofweg kan halveren of vierdelen.
Dit telt het meest tijdens inferentie, het moment waarop het model echt aanvragen beantwoordt en elke milliseconde en gigabyte geld kost. Stel je een chatbot voor die 10.000 vragen per uur afhandelt. Knijp het geheugen per aanvraag en je bedient ze allemaal op één goedkopere machine in plaats van drie dure. Kwantisatie is ook wat edge AI praktisch maakt: een capabel model draait op een telefoon of een fabriekssensor in plaats van in een datacenter. De besparing op het draaien van een model op schaal kan het verschil zijn tussen een functie die zichzelf terugverdient en een die elke maand stilletjes geld lekt.
Bij TopDevs grijpen we naar gekwantiseerde modellen als een klant goede-genoeg AI tegen lage kosten nodig heeft, en we meten de nauwkeurigheid voor en na, zodat de besparing de functie nooit stilletjes breekt.
