Een benchmark is een standaardtest die meet hoe goed een AI-model een bepaalde taak doet. Iedereen draait dezelfde taken, scoort ze op dezelfde manier, en krijgt een getal dat je naast andere modellen kunt leggen.
Het werkt ongeveer als een rijexamen. Elke kandidaat krijgt dezelfde manoeuvres onder dezelfde regels, dus een ‘geslaagd’ betekent iets vergelijkbaars tussen mensen. Bij AI testen benchmarks dingen als redeneren, code schrijven of begrijpend lezen, wat een snelle manier is om modellen op een shortlist te zetten voor een diepere modelevaluatie op je eigen taak. Ze staan centraal in hoe teams evals draaien en voortgang rapporteren. Je ziet namen langskomen als MMLU voor algemene kennis, GSM8K voor rekenen op basisschoolniveau, of HumanEval voor code, elk een vaste set vragen met een vaste manier van scoren.
Het addertje: een benchmark meet alleen wat hij meet. Een model kan een publieke test glansrijk halen en alsnog struikelen over jouw rommelige praktijkdata, zeker als de testvragen in de training zijn beland. Dat laatste heeft een naam, contaminatie, en het is de reden dat een model een mooi publiek cijfer kan halen terwijl het stilletjes de antwoorden uit het hoofd kent in plaats van ze uit te redeneren. Een hoge score is dus een hint, geen belofte. Het enige cijfer dat je echt iets vertelt, is dat van je eigen data, op de taak die er voor jou toe doet.
Bij TopDevs gebruiken we benchmarks als eerste filter, en draaien we daarna een kleine evaluatie op de echte data van de klant voordat we ons aan een model vastleggen.
