Deduplicatie is het proces waarbij je records vindt die naar hetzelfde echte ding verwijzen en die terugbrengt tot één. Twee contacten met hetzelfde mailadres, drie productregels voor één artikel, een klant die zich twee keer aanmeldde: deduplicatie spoort dit op en verwijdert de extra’s of voegt ze samen tot één schoon record.
Stel je een gastenlijst voor waarop dezelfde persoon staat als ‘Jan Smit’, ‘Johan Smit’ en ‘J. Smit’. Een mens ziet in één oogopslag één gast; een computer ziet er drie. Deduplicatie is de set regels die de computer leert om er ook één te zien. Het vergelijkt velden als mailadres, telefoonnummer en adres, geeft een score voor hoe sterk twee records op elkaar lijken en bepaalt dan of ze hetzelfde zijn. Dit gebeurt meestal tijdens het opschonen van data of in een ETL-stap voordat de data in een rapport of CRM belandt.
Het lastige zit in matchen dat niet te los en niet te streng is. Match te los en je voegt twee verschillende mensen samen. Match te streng en je laat duidelijke duplicaten staan. Goede regels combineren exacte sleutels met fuzzy matching, en ze houden bij wat is samengevoegd zodat er per ongeluk niets verloren gaat.
De winst zie je verderop overal terug. Eén mailadres per klant betekent dat je nieuwsbrief één keer aankomt in plaats van drie keer. Eén contact in het CRM betekent dat sales niet langer dezelfde lead twee keer belt. En je rapporten tellen eindelijk echte mensen, geen spookkopieën, dus het omzetcijfer waar je team op vertrouwt klopt ook echt.
Bij TopDevs bouwen we deduplicatie in de datapijplijn, zodat schone records de norm zijn en je team niet meer hoeft te twijfelen of een contact echt is of gewoon dubbel ingevoerd.
