Datavalidatie is het controleren van data aan de hand van een set regels voordat je erop vertrouwt, waarbij je bevestigt dat die compleet, correct geformatteerd en binnen redelijke grenzen is. Een telefoonveld dat alleen cijfers accepteert, of een ordertotaal dat groter dan nul moet zijn, zijn allebei kleine stukjes validatie.
Een goede vergelijking is de beveiliging op een vliegveld. Voordat een passagier instapt, worden ticket en paspoort tegen de regels gecontroleerd, en alles wat niet klopt wordt bij de gate tegengehouden in plaats van ontdekt tijdens de vlucht. Datavalidatie is die gate voor je systemen: het vangt het foute record bij de deur in plaats van het later een rapport te laten bederven. Het draait vaak naast data cleaning binnen een datapijplijn, waar elke batch wordt gecheckt voordat hij verdergaat.
Het helpt om validatie in twee soorten te splitsen. Formaatchecks vragen of een waarde er goed uitziet: heeft de e-mail de vorm van een e-mail, is de datum een echte datum. Inhoudchecks vragen of het hier klopt: een leverdatum vóór de besteldatum komt door de formaattest, maar is duidelijk fout. Die tweede soort vangt de fouten die stilletjes geld kosten.
Er zit een ontwerpkeuze in hoe streng je bent. Weiger je te weinig, dan glippen foute records erdoor; weiger je te veel, dan frustreer je echte gebruikers om een onschuldige typefout. Een goede middenweg is blokkeren wat echt kapot is en waarschuwen bij wat alleen verdacht is. Een achternaam met een apostrof of een buitenlandse postcode hoort erdoor te komen, niet geweigerd door een regel voor één land.
De opbrengst is vertrouwen. Als de validatieregels stevig zijn, is de kans veel kleiner dat de cijfers waar je team op leunt stilletjes verkeerd zijn, en een data readiness check voor een groot project leunt zwaar op datzelfde idee.
Bij TopDevs bouwen we validatie in elk formulier en elke pijplijn die we opleveren, zodat foute data bij het invoerpunt wordt gevangen in plaats van weken later te worden opgespoord.
