Een trainingsdataset is de verzameling voorbeelden waar een AI-model van leert. Elk voorbeeld laat het model een invoer zien en, bij gelabelde data, ook het juiste antwoord. Zo stelt het model zichzelf stap voor stap bij tot zijn voorspellingen kloppen.
Zie het als iemand leren rijp fruit te herkennen. Je geeft geen regelboekje. Je laat honderden appels zien, wijst aan welke goed zijn en welke niet, en de patronen sijpelen vanzelf door. De trainingsdataset is die stapel voorbeelden. De omvang, variatie en nauwkeurigheid bepalen hoe goed het model straks presteert. Daarom zijn datalabeling en supervised learning zo belangrijk: een slordige dataset levert een slordig model op, hoe slim het algoritme ook is.
Een dataset is ook meer dan een hoop rijen. Meestal splits je hem in drieën: een deel om te trainen, een deel om onderweg instellingen bij te stellen en een deel voor de laatste test. Elke rij moet de echte wereld weerspiegelen waar het model straks mee te maken krijgt. Als je spamfilter alleen Engelse kantoormail heeft gezien, gaat hij de mist in op de dag dat er een Nederlandse factuurfraude binnenkomt. Juist de uitzonderingen dekken is vaak wat een demo scheidt van iets dat je echt durft te lanceren.
Dezelfde data gebruik je zelden in één keer. Een deel houd je apart om te testen, zodat je het model kunt controleren op voorbeelden die het tijdens model training nooit zag. En leunt de data te ver naar één kant, dan leunt het model mee. Rommel erin is rommel eruit, en dat is hier geen cliché. Het is de grootste reden dat AI-projecten tegenvallen.
Bij TopDevs zien we de dataset als het echte product bij het bouwen van AI-functies, want de tijd die we steken in opschonen en structureren betaalt zich veel beter terug dan een laatste tweak aan het model.
