RAG-evaluatie is hoe je controleert of een AI-systeem op basis van retrieval zijn werk doet: de juiste informatie vinden en een antwoord schrijven dat daar trouw aan blijft. Een RAG-opzet heeft twee stappen, retrieval en generatie, en allebei kunnen ze misgaan. Evaluatie meet ze los van elkaar, zodat je precies weet waar een fout antwoord vandaan komt. Zonder die splitsing voelt een kapot systeem alleen vaag verkeerd en kan niemand zeggen waarom.
Zie het als het nakijken van het open-boek-examen van een student. Je controleert twee dingen: sloeg hij het boek op de juiste pagina open, en kwam zijn geschreven antwoord echt overeen met wat daar stond? Een zelfverzekerd betoog dat op het verkeerde hoofdstuk is gebouwd, zakt alsnog. Een correct citaat onder de verkeerde vraag zakt ook. RAG-evaluatie beoordeelt een systeem op dezelfde manier, zodat een mooi geformuleerd antwoord dat stiekem de verkeerde bron citeert eruit wordt gevist voordat een klant het ziet.
In de praktijk bouw je een testset met vragen waarvan je het goede antwoord kent en haal je die door het systeem. Je meet of de retrieval het juiste materiaal naar boven haalde en of de uiteindelijke tekst gegrond bleef in plaats van weg te zweven in een hallucinatie. Veelgebruikte scores zijn recall, die vraagt of het juiste document überhaupt opdook, en trouwheid, die vraagt of elke bewering in het antwoord terug te leiden is naar een echte bron. Draai dezelfde set na elke aanpassing en de getallen vertellen je of je hielp of schaadde.
Bij TopDevs bouwen we een RAG-evaluatieset voordat we live gaan, zodat een klant in klare getallen ziet of een aanpassing aan het systeem hielp of de antwoorden stilletjes slechter maakte.
