Evals zijn gestructureerde tests die meten hoe goed een AI-model de taak doet die jij nodig hebt. Je bouwt een set testgevallen, draait het model erlangs en krijgt een score. Die score vertelt je of een nieuwe prompt, een nieuw model of een nieuwe instelling echt hielp, in plaats van alleen anders aanvoelde.
Zie het als een rijexamen in plaats van een onderbuikgevoel. Je laat iemand niet slagen omdat hij ‘een goede chauffeur lijkt’; je laat hem vaste manoeuvres doen en cijfert er één voor één op. Evals doen hetzelfde voor AI: een vaste set vragen, consistente scores, een duidelijke geslaagd of gezakt. Dit hangt nauw samen met bredere modelevaluatie en met publieke benchmarks, met als verschil dat goede evals jouw specifieke toepassing testen en niet een generieke ranglijst.
De gevallen die hun plek verdienen zijn de lastige. Een eval voor een supportbot hoort de onbeschofte klant, de half ingetypte vraag en het verzoek dat de bot moet weigeren mee te nemen. Die randgevallen vangen een hallucinatie of een zelfverzekerd fout antwoord op, ruim voordat een echte gebruiker erop stuit.
Voor open antwoorden is een veelgebruikte truc om een sterk model het antwoord te laten beoordelen, een aanpak die LLM-als-jury heet. Dat schaalt veel beter dan elk antwoord met de hand lezen. De valkuil is een piepkleine evalset: tien voorbeelden die alleen het mooie pad volgen slagen vrijwel overal voor en zeggen je vrijwel niets, dus dekking telt zwaarder dan een hoge score.
Bij TopDevs schrijven we evals voor elke AI-functie die we opleveren, zodat we problemen opmerken voordat de klanten van een klant dat doen en de kwaliteit stabiel blijft als het systeem verandert.
