Een datapijplijn is een geautomatiseerde reeks stappen die data van de plek waar het ontstaat naar de plek brengt waar het wordt gebruikt, en het onderweg omvormt. Elke fase doet één ding: de ruwe data ophalen, opschonen, combineren en doorgeven aan de volgende fase, zodat de hele stroom draait zonder dat iemand er iets aan doet.
Denk aan een waterzuiveringsinstallatie. Aan de ene kant gaat rivierwater erin, het passeert filtering, bezinking en desinfectie, en aan de andere kant komt schoon drinkwater eruit. Een datapijplijn behandelt ruwe data net zo: rommelige records gaan erin, rapportklare data komt eruit. Veel pijplijnen volgen het ETL-patroon, andere gebruiken ELT en vormen de data pas na het inladen om.
Een belangrijke ontwerpkeuze is batch versus streaming. Een batch-pijplijn verzamelt de bestellingen van een dag en verwerkt ze ‘s nachts, wat goedkoop is en prima voor de meeste rapportage. Een streaming-pijplijn verwerkt elke gebeurtenis zodra die binnenkomt, wat past bij fraudechecks of een live dashboard maar duurder is om te draaien en te bewaken. De meeste bedrijven gebruiken beide en kiezen per geval in plaats van één stijl op alles te forceren.
De waarde zit in betrouwbaarheid. Zodra de pijplijn is gebouwd, gebeurt dezelfde opschoning en omvorming bij elke run, zodat een getal op maandag hetzelfde betekent als op vrijdag. Goede pijplijnen leggen ook data lineage vast en draaien datavalidatie bij elke stap, zodat je een waarde altijd terug kunt voeren naar de bron en een foute lading opvangt voordat die een rapport bereikt.
Bij TopDevs bouwen we pijplijnen die luid falen in plaats van stil, zodat een klant altijd weet dat zijn dashboards op verse, betrouwbare data draaien.
