Retrieval-Augmented Generation (RAG) is een manier om een AI-model te laten antwoorden op basis van jouw informatie, in plaats van alleen wat het tijdens de training heeft geleerd. Voordat het model een antwoord schrijft, doorzoekt het systeem eerst jouw eigen documenten, haalt de meest relevante stukken eruit en geeft die mee als context.
Zie het als een tentamen waarbij je je aantekeningen mag meenemen. De student (het model) is slim, maar hoeft niet puur op het geheugen te vertrouwen: hij kan de exacte pagina opzoeken die de vraag beantwoordt. Het resultaat is minder verzonnen antwoorden en uitkomsten waar je echt op kunt bouwen.
In de praktijk worden je documenten opgeknipt in stukjes en opgeslagen in een vectordatabase. Komt er een vraag binnen, dan zoekt het systeem de best passende stukjes en geeft die samen met de vraag door aan het taalmodel. Dat model antwoordt vervolgens op basis van die meegegeven context.
RAG is geen toverij, en de zwakke plek is makkelijk te missen. Haalt de zoekstap het verkeerde stuk op, dan antwoordt het model vol overtuiging uit foute context, en zo kan een fout antwoord er nog steeds gladjes en zelfverzekerd uitzien. Daarom telt het saaie werk het zwaarst: schone, goed gestructureerde brondocumenten en een zoekstap die echt het juiste stukje vindt. Een goede RAG-opzet toont ook zijn bronnen, zodat een mens kan controleren waar een antwoord vandaan komt in plaats van het blind te geloven.
Een tweede voordeel is actualiteit. Omdat de kennis in de documenten zit en niet vastgebakken in het model, pas je een beleidsstuk of een prijslijst aan en klopt het allereerste volgende antwoord meteen, zonder hertraining en zonder te wachten op een nieuwe modelversie. Zo blijft een supportbot accuraat op de dag dat een product verandert, iets wat een gewoon taalmodel simpelweg niet kan.
Bij TopDevs zetten we RAG in voor interne assistenten en klantgerichte chatbots die antwoorden uit de eigen handleidingen, richtlijnen en productdata van een bedrijf: actueel, onderbouwd en zonder verzonnen feiten.
