LLM-als-jury betekent dat je het ene taalmodel vraagt om de output van een ander te beoordelen, gescoord tegen criteria die jij bepaalt. In plaats van dat een mens elk antwoord leest, geeft het jurymodel elk antwoord een cijfer voor juistheid, toon of volledigheid, zodat je kwaliteit kunt meten over duizenden reacties.
Denk aan een kookwedstrijd. Je kunt de chef-kok niet elk bord laten proeven tijdens een drukke dienst, dus een vertrouwde sous-chef proeft eerst elk gerecht en markeert de gerechten die niet kloppen. De chef-kok kijkt daarna alleen naar de gemarkeerde borden. Het jurymodel speelt die rol van sous-chef, wat het een praktisch hulpmiddel maakt binnen evals en bredere modelevaluatie.
In de praktijk krijgt de jury een prompt die uitlegt wat goed is, de oorspronkelijke vraag en het te beoordelen antwoord. Je kunt vragen om een simpele goed of fout, een cijfer van één tot vijf, of een korte reden bij de score, handig als je patronen wilt zien in wat steeds misgaat. Dezelfde opzet controleert of een RAG-antwoord de bron die het kreeg ook echt heeft gebruikt. Een handige truc is de jury eerst om de reden vragen en daarna pas om de score, want het uitschrijven van de redenering maakt de uiteindelijke score vaak consistenter.
Het is snel en goedkoop, maar niet onfeilbaar. Een jurymodel kan wollige antwoorden bevoordelen, naar zijn eigen stijl neigen of hetzelfde antwoord bij een tweede ronde anders scoren. De oplossing is een heldere richtlijn en de gewoonte om de scores van de jury te vergelijken met een klein setje dat echte mensen hebben beoordeeld.
Bij TopDevs gebruiken we LLM-als-jury om de kwaliteit van AI-functies na livegang in de gaten te houden, zodat problemen vroeg opvallen in plaats van eerst bij een klant te belanden.
