AI agent met eigen data: hoe werkt RAG?

Een AI agent met eigen data kan relevante passages uit je documenten ophalen en die gebruiken om een antwoord te formuleren. Die aanpak heet RAG. Het taalmodel hoeft daarvoor niet opnieuw getraind te worden, maar je moet wel bepalen welke bronnen het mag gebruiken en hoe je antwoorden controleert. Onze gids voor AI-automatisering geeft de bredere aanpak; bij agents en chatbots lees je wanneer ook handelingen in andere systemen aan bod komen.

Hoe werkt RAG met je eigen documenten?

RAG staat voor retrieval augmented generation. De toepassing zoekt informatie die bij de vraag past en geeft die mee aan het taalmodel. Dat formuleert vervolgens een antwoord. IBM beschrijft deze koppeling met externe kennis, zonder dat nieuwe documenten telkens een training van het model vereisen.

Neem een denkbeeldig installatiebedrijf. Een medewerker vraagt welke onderhoudsafspraak geldt voor een bepaalde klant. Een bruikbare toepassing haalt het geldige contract en eventuele aanvullingen op, toont de gebruikte passages en benoemt ontbrekende informatie. Een algemene handleiding over onderhoud is daarvoor niet genoeg.

Dat is ook het verschil met alleen een zoekbalk: het antwoord kan informatie uit meerdere passages samenbrengen. Of die extra stap waarde heeft, moet je testen. Soms vindt een medewerker met een goede zoekfunctie al snel het juiste document en voegt een gegenereerde samenvatting weinig toe.

Welke onderdelen moet je laten bouwen of inrichten?

Bespreek de hele route van bronbestand naar antwoord. Een overtuigend chatvenster vertelt weinig over wat daarachter gebeurt.

Onderdeel	Wat gebeurt er?	Wat wil je als opdrachtgever kunnen controleren?
Bronnen aansluiten	De toepassing haalt toegestane bestanden en kenmerken op	Welke mappen, versies en rechten worden meegenomen?
Inhoud verwerken	Tekst, tabellen en andere inhoud worden leesbaar gemaakt	Blijven koppen, voorwaarden en verwijzingen bij elkaar?
Zoekindex vullen	De inhoud wordt doorzoekbaar opgeslagen	Hoe verdwijnen ingetrokken of vervangen stukken?
Informatie ophalen	Een vraag leidt tot een selectie van passages	Passen die bij de klant, het onderwerp en de gebruiker?
Antwoord maken	Het model gebruikt de geselecteerde informatie	Onderbouwen de bronverwijzingen het antwoord echt?

Vraag een demonstratie met een lastig bestand uit je eigen werk. Bijvoorbeeld een gescande bijlage waarin een uitzondering staat. Als die uitzondering bij het inlezen wegvalt, kan het latere antwoord netjes geformuleerd zijn en toch de verkeerde afspraak weergeven.

Leg daarnaast vast wat er gebeurt wanneer een bestand niet verwerkt kan worden. Stil overslaan is een slechte uitkomst: een beheerder moet kunnen zien dat een bron ontbreekt. De gebruiker hoeft geen technisch log te lezen, maar moet wel begrijpen dat het antwoord mogelijk niet alle relevante stukken omvat.

Moet alles in een vector-database?

Bij zoeken op betekenis gebruikt een systeem vaak embeddings: getallen die tekst representeren, zodat vergelijkbare passages gevonden kunnen worden. Maar exact zoeken blijft nuttig. Een productcode, dossiernummer of naam kan juist een letterlijke overeenkomst vragen. Microsoft legt uit hoe hybride zoeken tekst- en vectorzoekresultaten combineert.

Kies de zoekmethode daarom op basis van vragen die je team werkelijk stelt. Voor het installatievoorbeeld moeten zowel het juiste klantnummer als de relevante contractbepaling gevonden worden. Een tekst die inhoudelijk over onderhoud gaat maar bij een andere klant hoort, is geen bruikbaar resultaat.

Lange documenten worden vaak opgedeeld in passages, ook wel chunks genoemd. Er is geen universeel juiste lengte. Microsoft beschrijft verschillende manieren van opdelen, onder meer op documentstructuur en betekenis. Een korte passage kan een voorwaarde missen; een heel hoofdstuk kan te veel ongerelateerde informatie bevatten.

Vraag dus niet alleen welk merk database een leverancier kiest. Vraag ook hoe die leverancier met jouw documentsoorten test of de juiste informatie boven komt. Een extra stap die resultaten opnieuw rangschikt, kan worden onderzocht als relevante passages te laag eindigen. Het is geen verplichte toevoeging die vanzelf betere antwoorden oplevert.

Hoe voorkom je dat medewerkers verkeerde documenten zien?

Controleer rechten voordat opgehaalde informatie naar het taalmodel gaat. Een medewerker zonder toegang tot een klantdossier hoort ook geen samenvatting daarvan te ontvangen. Microsoft beschrijft documentrechten en beveiligingsfilters die ongeoorloofde zoekresultaten uitsluiten.

Maak hier een concrete acceptatietest van. Laat twee accounts met verschillende rechten dezelfde vraag stellen. Trek daarna een recht in en controleer wanneer de wijziging doorwerkt. Onderzoek ook eerder opgeslagen gesprekken en bronlinks: de toegangscontrole mag niet alleen bij de eerste zoekopdracht werken.

De term RAG zegt op zichzelf niets over de locatie van je gegevens. Brondocumenten, zoekindex, modelaanroepen, gespreksgeschiedenis en logs kunnen op verschillende plekken worden verwerkt. Vraag om een overzicht van die route en de afspraken per dienst. “De database staat in Europa” beantwoordt nog niet waar een passage naartoe gaat om een antwoord te laten maken.

Eigen hosting vraagt eveneens beheer. Spreek af wie toegang intrekt, updates uitvoert en herstel test. Kies geen installatievorm op een etiket alleen; beoordeel of je organisatie de afgesproken werkwijze ook kan uitvoeren.

Wat doe je met oude bronnen en tegenstrijdige informatie?

Terugvinden is maar de helft van het werk. Een oude overeenkomst kan inhoudelijk sterk lijken op de vraag, terwijl een latere aanvulling juist de relevante uitzondering bevat. Bewaar daarom herkenbare kenmerken zoals klant, documenttype, versie en geldigheidsstatus bij de bron.

Bepaal samen met de inhoudelijk verantwoordelijke wat leidend is. Een model hoort niet zelf te raden welke van twee tegenstrijdige afspraken geldt. In het installatievoorbeeld moet de toepassing een ontbrekende aanvulling of onduidelijke ingangsdatum kunnen melden, zodat een medewerker verder kan zoeken.

Laat nieuwe en vervallen documenten onderdeel zijn van de proef. Vervang een afspraak, verwijder een bestand en herhaal de vraag. Controleer zowel het antwoord als de bronlink. Daarmee test je het beheerproces, in plaats van alleen een demonstratie met een vaste map.

Maak ook onderscheid tussen broninhoud en instructies aan de toepassing. OWASP beschrijft indirecte promptinjectie: opgehaalde inhoud kan instructies bevatten die het gedrag van een model proberen te veranderen. Een zin in een document mag daarom geen bevoegdheid geven om controles over te slaan of gegevens naar iemand te sturen.

Hoe meet je of de antwoorden bruikbaar zijn?

Beoordeel het zoeken en het uiteindelijke antwoord apart. Dat past bij de stapsgewijze evaluatieaanpak van Microsoft. Anders weet je bij een fout niet of de verkeerde bron is gevonden of de juiste passage verkeerd is uitgelegd.

Stel een testverzameling samen met iemand die het werk kent. Neem gewone vragen op, maar ook vragen waarvoor geen antwoord beschikbaar is, documenten met uitzonderingen en situaties met beperkte toegang. Bewaar per vraag welke bronnen nodig zijn en waarom het verwachte antwoord klopt.

Beoordeel vervolgens meer dan de tekst alleen:

• Is de juiste bron gevonden, inclusief de voorwaarde die het antwoord verandert?
• Zegt het antwoord iets wat niet door die bron wordt ondersteund?
• Kan een medewerker de verwijzing openen en de passage terugvinden?
• Hoeveel controle- en herstelwerk blijft over voordat de uitkomst bruikbaar is?

Er is geen algemeen succespercentage dat iedere toepassing geschikt maakt voor gebruik. Spreek grenzen af per taak en foutsoort. Een onhandig geformuleerde samenvatting weegt anders dan een verkeerd weergegeven contractvoorwaarde. Herhaal de relevante tests wanneer bronnen, zoekinstellingen of het model veranderen.

Wat laat een bestaande RAG-case zien?

Onze case over Planit Consulting beschrijft een zoek- en chattoepassing voor een archief met planningsdocumenten. De vastgelegde opzet bestaat onder meer uit documentclassificatie, passages met metadata, ChromaDB en antwoorden via Claude met verwijzingen naar de oorspronkelijke bestanden.

Die case laat zien waarom de voorbereiding van documenten een eigen onderdeel van het project is. De beschrijving is geen bewijs dat dezelfde inrichting voor jouw bestanden geschikt is. Vergelijk de soort documenten en vragen, niet alleen het feit dat beide projecten een chatvenster hebben.

Welke kosten moet je in een voorstel terugzien?

Laat een leverancier de eenmalige inrichting scheiden van terugkerend gebruik en beheer. Documentverwerking, koppelingen, toegangscontrole, gebruikersschermen en tests vragen ander werk dan het betalen van modelaanroepen. De omvang van de opdracht volgt uit die keuzes; een vast bedrag voor “een RAG-systeem” zegt zonder scope weinig.

Neem ook veranderingen mee. Wat kost het om een nieuwe bron aan te sluiten, een documentsoort anders te verwerken of over te stappen op een ander model? Wie onderzoekt een foutmelding en onderhoudt de testverzameling? De kostengids voor AI agents helpt om zulke posten in een projectvoorstel te bespreken.

Vergelijk de proef met de huidige werkwijze, inclusief de tijd voor controle. Bespaarde zoektijd is pas nuttig als de medewerker met het antwoord verder kan. Soms is betere documentordening de eerste investering en komt RAG later.

Hoe begin je concreet?

Kies een terugkerende informatievraag en verzamel de toegestane bronnen die daarvoor nodig zijn. Beschrijf een goed antwoord, een onvolledig antwoord en een situatie waarin het systeem moet melden dat het iets niet weet. Wijs iemand aan die de inhoud kan beoordelen.

Laat daarna een beperkte proef uitvoeren met herkenbare bronverwijzingen en toegangscontrole. Spreek vóór verdere uitrol af hoe je bronnen bijwerkt en wie fouten onderzoekt. Wil je ook acties in andere systemen laten uitvoeren, beschrijf die apart bij het laten bouwen van een AI agent. Een goed zoekantwoord geeft nog geen toestemming om een contract of order te wijzigen.

Plan een gesprek en neem een geanonimiseerd voorbeeld mee. TopDevs kan dan met je bepalen welke onderdelen je nodig hebt en wat je eerst moet bewijzen.