AI-evaluatie is hoe je meet of een AI-systeem zijn werk echt goed doet. Je geeft het een set testgevallen met bekende goede antwoorden, kijkt naar wat het produceert en scoort de resultaten op nauwkeurigheid, toon, veiligheid en kosten. De uitkomst is een getal waar je iets mee kunt, geen vaag gevoel dat het ‘wel oké lijkt’.
Zie het als een rijexamen. Een nieuwe bestuurder voelt zich misschien zeker, maar je geeft de sleutels niet weg op basis van zelfvertrouwen. Je laat hem een vaste reeks situaties doorlopen, scoort elke situatie en laat hem alleen slagen als hij de lat haalt. Evaluatie doet hetzelfde voor een AI-functie, vaak met een benchmark van representatieve vragen en soms een tweede model dat als LLM-als-jury elk antwoord beoordeelt.
Goede evaluatie vangt ook de fouten die het zwaarst wegen, zoals een hallucinatie waarbij het model een zelfverzekerd maar fout antwoord verzint. Je bepaalt vooraf wat als geslaagd telt, draait honderden voorbeelden en houdt de score in de gaten zodat de kwaliteit na lancering niet wegzakt. Een praktische set bevat bijvoorbeeld 200 echte klantvragen, elk met het antwoord dat je zou accepteren. Je draait het model langs alle vragen, telt hoeveel er binnen de lat vallen en splitst de score uit per type vraag, zodat je precies ziet waar het worstelt. Dat laatste is belangrijk: een totaal van 90 procent kan nog steeds een categorie verbergen waarin het model de helft van de tijd fout zit, en dat is net de categorie die een gebruiker op een slechte dag raakt.
Bij TopDevs bouwen we een evaluatieset voordat een AI-functie live gaat, zodat een klant een echt slagingspercentage ziet en het systeem vanaf dag één kan vertrouwen in plaats van het te horen van een boze klant.
