Hyperparameters zijn de instellingen die je voor het trainen van een AI-model bepaalt en die sturen hoe het leren verloopt. Ze worden niet uit je data geleerd; je stelt ze vooraf in, en ze bepalen hoe snel en hoe grondig het model leert.
Een goede vergelijking is bakken. De ingrediënten van het recept zijn je data, maar de oventemperatuur en baktijd zijn hyperparameters. Hetzelfde deeg, andere instellingen, heel ander resultaat: te heet en het verbrandt, te koel en het blijft rauw. In machine learning speelt een instelling die de learning rate heet die rol, samen met hoeveel ronden modeltraining je draait en hoe groot elke batch voorbeelden is. De learning rate alleen al kan een run maken of breken. Te hoog en het model schiet door en komt nooit tot rust; te laag en het kruipt vooruit en vreet dagenlang rekenkracht. Goed afgesteld leert het model netjes; verkeerd afgesteld leert het de data uit het hoofd of verbetert het nooit.
Goede waarden vinden is deels wetenschap, deels experiment. Teams testen combinaties, checken de resultaten tegen een apart gehouden set tijdens modelevaluatie, en houden de instellingen die het beste presteren. Sommige draaien een geautomatiseerde zoektocht die veel combinaties probeert en de winnaar meldt, wat giswerk scheelt maar rekenkracht kost. Hetzelfde geldt bij fine-tuning van een bestaand model, waar een zorgvuldige learning rate vaak meer uitmaakt dan welke andere keuze ook.
Bij TopDevs nemen we dit tunen op ons wanneer een klantproject een eigen of fine-getuned model nodig heeft, zodat je nauwkeurigheid krijgt die bij je data past zonder te betalen voor trainingsruns die nooit goed waren opgezet.
