Reinforcement learning from human feedback, oftewel RLHF, is een manier om een AI-model te trainen met menselijke meningen over zijn antwoorden. In plaats van het alleen correcte tekst te voeren, laat je mensen meerdere reacties van het model zien, laat je ze rangschikken welke het beste is, en gebruik je die ranglijst om het gedrag van het model te vormen. Het is een belangrijke reden dat moderne chat-assistenten behulpzaam aanvoelen in plaats van robotachtig.
Zie het als het inwerken van een nieuwe medewerker. Ze kennen de basis al, maar je scherpt ze aan door hun concepten na te lopen en te zeggen welke versie beter aankomt bij klanten. Na verloop van tijd maken ze jouw smaak eigen. RLHF doet hetzelfde voor een model: beoordelaars cijferen de output, een beloningsmodel leert dat patroon, en reinforcement learning duwt het hoofdmodel richting de antwoorden die mensen hoog scoorden.
Hier hangt een prijskaartje aan. Mensen laten rangschikken is traag en duur, dus laten teams beoordelaars vaak maar twee antwoorden tegelijk vergelijken, wat makkelijker te beoordelen is dan een cijfer op een schaal. Het beloningsmodel veralgemeniseert daarna uit duizenden van die kleine keuzes. Klopt dat beloningsmodel niet, dan kan het hoofdmodel leren het te bespelen: zelfverzekerd of meegaand klinken in plaats van gewoon kloppen.
Het komt meestal na een basismodel dat al getraind en licht bijgesteld is. RLHF is dus een poetslaag, geen fundament. Het verbetert doorgaans de toon, de veiligheid en het opvolgen van instructies, en werkt samen met guardrails om reacties binnen de lijntjes te houden. Maar het erft de vooroordelen van wie de beoordeling deed, en daarom telt de keuze van beoordelaars net zo zwaar als het algoritme.
Bij TopDevs leunen we op modellen die met RLHF zijn afgestemd en voegen we eigen reviewstappen toe, zodat de AI in het product van een klant nuttig, on-brand en veilig blijft om aan klanten te tonen.
