Modeldistillatie is een methode waarbij een groot, capabel AI-model een kleiner model leert om zich net zo te gedragen. Het grote model (de ‘teacher’) geeft antwoorden, en het kleine model (de ‘student’) wordt getraind om die te evenaren. Het resultaat is een compact model dat veel van de kunde van de teacher behoudt, maar sneller en goedkoper draait.
Zie het als een ervaren kok die een vereenvoudigd receptkaartje schrijft voor een leerling. De kok heeft tientallen jaren intuitie die nooit op een kaartje passen, maar een goed geschreven kaartje vangt er genoeg van dat de leerling een gerecht maakt dat bijna net zo goed is, in een fractie van de tijd. Distillatie doet hetzelfde: het perst de kennis van de teacher samen in een slankere student die veel goedkoper is bij inferentie, wat je kosten per token direct verlaagt.
Dit verschilt van fine-tuning, dat een model aanpast aan een specifieke taak. Distillatie draait om verkleinen, vaak samen met kwantisatie om het model nog verder samen te knijpen voor telefoons en edge-apparaten.
Waarom dit in de praktijk telt, is simpele economie. Een topmodel is prachtig in een demo en pijnlijk op de rekening zodra er miljoenen aanvragen op afkomen. Een gedistilleerde versie handelt de routineuze 95 procent van die aanvragen af voor een fractie van de prijs, terwijl het zware model paraat blijft voor het zeldzame lastige geval. Je merkt het als snellere antwoorden en een rustigere factuur. Veel functies op het apparaat zelf, de suggesties in je toetsenbord, de offline vertaling in een reis-app, bestaan alleen omdat een groot model klein genoeg is gedistilleerd om op een chip in je broekzak te draaien. Het grote brein leert één keer; het kleine doet het dagelijkse werk.
Bij TopDevs gebruiken we gedistilleerde modellen wanneer een klant bijna-topkwaliteit nodig heeft tegen een prijs en snelheid die in productie werken, in plaats van bij elke aanvraag voor het grootste model te betalen.
