Inferentie is het moment waarop een getraind AI-model daadwerkelijk wordt ingezet: je voert het nieuwe input en het geeft je een output. Als je een chatbot een vraag stelt en hij antwoordt, is dat antwoord inferentie. Het leren is al gebeurd; dit is het model dat toepast wat het weet.
Het helpt om het leven van een AI-model in twee fasen te splitsen. Modeltraining is als een student die jarenlang studeert, traag, duur en eenmalig. Inferentie is die student die een examen maakt en elke vraag beantwoordt, snel en telkens herhaald. Een model wordt af en toe getraind maar draait constant inferentie, en daarom hangen de doorlopende prestaties en prijs van deze fase af, voor taalmodellen vaak gemeten als kosten per token. Een model dat een vermogen kost om te trainen kan toch goedkoop zijn om te draaien, en andersom geldt het ook, dus de twee fasen hebben aparte budgetten nodig.
Voor wie AI in productie draait, zit hier de echte rekening en de echte wachttijd. De snelheid waarmee antwoorden terugkomen, de doorvoer onder belasting en de kosten per aanvraag tellen op over duizenden dagelijkse keren. En er zijn echte knoppen om aan te draaien. Een kleiner model, een kortere prompt of een cache voor terugkerende vragen snijdt zowel in de wachttijd als in de rekening, zonder de kwaliteit veel aan te tasten. Het juiste model en de juiste opzet kiezen verandert hier de economie van een heel product, en dat verdient aandacht ruim voor de lancering in plaats van pas na de eerste factuur.
Bij TopDevs houden we vanaf het begin rekening met inferentie bij het bouwen van AI-features, met een balans tussen modelkeuze, snelheid en kosten zodat het systeem snel en betaalbaar blijft zodra echte gebruikers er elke dag op afkomen.
