Data lineage is het vastgelegde spoor van je data: waar het begon, elke bewerking die het onderging en waar het nu staat. Zie het als de stamboom van één getal, die elke voorgaande stap toont die het vormde voordat het op je dashboard belandde.
Een goede vergelijking is een pakkettracker. Je ziet het pakket het magazijn verlaten, langs drie sorteercentra gaan en bij je voordeur aankomen. Data lineage doet hetzelfde voor een omzetcijfer dat door een datapijplijn reist, wordt opgeschoond, met andere tabellen wordt gecombineerd en uiteindelijk in een rapport verschijnt. Klopt het cijfer niet, dan volg je het spoor terug in plaats van elk systeem met de hand te openen.
Lineage betaalt zich het meest terug op twee momenten. Het eerste is foutopsporing: als een dashboard ineens de helft van de gebruikelijke omzet toont, wijst lineage meteen de ene bewerking aan die veranderde, in plaats van een dag lang willekeurig systemen openen. Het tweede gaat de andere kant op. Voordat je een kolom hernoemt of een oude bron uitfaseert, laat lineage elk rapport zien dat ervan afhangt, zodat een kleine wijziging niet stilletjes drie dashboards breekt waar niemand meer aan dacht.
Lineage maakt ook data governance werkbaar. Accountants, finance-teams en privacy-officers willen allemaal weten hoe een getal tot stand kwam. Zonder duidelijk pad is elk antwoord een gok. Mét een pad wijs je precies de stap aan waar een waarde werd hernoemd, opgeteld of gefilterd.
Bij TopDevs bouwen we lineage-tracking in de systemen die we opleveren, zodat een klant die vraagt waar een cijfer vandaan komt het antwoord met één klik heeft in plaats van na een week speurwerk.
