Data cleaning is het werk van problemen in een dataset opsporen en herstellen, zodat je die echt kunt vertrouwen. Dat betekent typefouten corrigeren, lege velden vullen of markeren, formaten gelijktrekken en records weghalen die fout of dubbel zijn. Het doel is data die de werkelijkheid weergeeft in plaats van de rommel van hoe ze verzameld werd.
Stel je een contactenlijst voor waarin één persoon ‘NL’ is, een ander ‘Nederland’ en een derde ‘the netherlands’. Voor een computer zijn dat drie verschillende landen. Schoonmaken schrijft ze om naar één afgesproken waarde, net zoals je een gedeelde spreadsheet opruimt voordat je hem naar een klant stuurt. Het werkt nauw samen met deduplicatie om herhaalde records samen te voegen en met datavalidatie om foute waarden de volgende keer tegen te houden.
Botsende formaten komen net zo vaak voor als typefouten. Een datum die binnenkomt als 03/04 is dubbelzinnig tot je weet of de bron dag-maand of maand-dag gebruikt, en een telefoonnummer dat eens met spaties, dan met streepjes en dan weer met landcode wordt opgeslagen, matcht nooit netjes. Een deel van het schoonmaken is dus één vaste vorm kiezen en alles daarnaartoe herschrijven, zodat latere stappen waarden kunnen vergelijken zonder te gokken.
In de praktijk is schoonmaken zelden eenmalig. Er blijft nieuwe data binnenstromen, dus de regels zitten meestal in een ETL-proces en draaien elke keer dat er verse records binnenkomen. Eenmaal gedaan en vergeten, en een dataset zakt binnen weken terug in chaos. Het doel is geen perfectie, maar een bekende, herhaalbare standaard waar iedereen verderop op kan bouwen.
Bij TopDevs behandelen we data cleaning als een doorlopende stap in de pijplijn, geen handmatige reddingsactie die een klant telkens opnieuw moet uitvoeren.
