Temperatuur is een knop die bepaalt hoe avontuurlijk een AI-model is bij het kiezen van zijn volgende woord. Op een lage stand kiest het bijna altijd de meest waarschijnlijke optie, dus antwoorden komen er consistent en voorspelbaar uit. Draai je hem omhoog, dan neemt het model meer risico en wordt de output gevarieerder en creatiever.
Een handige vergelijking is een muziekplaylist. Op een lage temperatuur is het model als een playlist die je grootste hit op herhaling draait, veilig en betrouwbaar. Op een hoge temperatuur staat het op shuffle door een enorme bibliotheek, verrassend en soms geinspireerd, maar af en toe een nummer dat je niet wilde. Bij een large language model gebeurt dit allemaal tijdens inferentie, het moment dat het een antwoord maakt.
Het helpt om te weten waar die knop precies aan draait. Het model geeft elk mogelijk volgend woord een kans, en temperatuur vervormt die kansen voordat er één wordt gekozen. Rond nul wint het topwoord bijna altijd. Trek je hem boven de één, dan krijgen de buitenbeentjes een echte kans, en daar komt de verrassing, en het risico, vandaan. Het is een van de hyperparameters die je per aanroep kunt bijstellen.
De juiste waarde hangt helemaal af van de taak. Voor cijfers uit een document halen of data in een vast formaat teruggeven wil je hem rond nul, zodat dezelfde input elke keer hetzelfde antwoord geeft. Voor het schrijven van slogans of brainstormen wil je hem hoger, want de variatie is juist het doel. De afweging is risico: een hoge temperatuur maakt het model meer geneigd af te dwalen, wat de kans op een hallucinatie opdrijft.
Bij TopDevs zetten we de temperatuur bewust per functie, laag waar nauwkeurigheid niet onderhandelbaar is en alleen hoger waar wat creatieve speelruimte de klant echt helpt.
