ETL staat voor extract, transform, load. Het is het klassieke recept in drie stappen om data uit de ene plek te halen, in een bruikbare vorm te brengen en ergens af te leveren waar je hem kunt gebruiken. Het kenmerkende zit in de volgorde: je bewerkt de data voordat hij landt, dus wat aankomt is al schoon en consistent.
Stel je een fabriekslijn voor die ruwe ingrediënten omzet in kant-en-klare maaltijden. Extract verzamelt de ingrediënten bij elke leverancier, transform doet het snijden, koken en de kwaliteitscontrole, en load zet het afgewerkte gerecht in het schap. Tegen de tijd dat de data een datawarehouse bereikt, is het rommelige werk gedaan. Daarom past ETL goed bij strikte regels voor data opschonen en validatie.
Het belangrijkste alternatief is ELT, dat de laatste twee stappen omdraait en de data juist binnen het warehouse bewerkt. ETL wint nog steeds als de data schoon moet zijn voordat hij landt, als de bestemming een simpele database is, of als je gevoelige velden eruit wilt halen voordat ze de bron verlaten.
Een concreet geval: een webshop haalt elke nacht bestellingen uit Shopify, betalingen uit Stripe en aanmeldingen uit een mailtool. De transformatiestap trekt de datumnotaties gelijk, zet elk bedrag om naar euro’s, gooit de testbestellingen eruit en koppelt een klant aan zijn betalingen. Om 6 uur ‘s ochtends staat er één nette tabel klaar, en de financieel verantwoordelijke opent een rapport dat meteen klopt. Geen handmatig opschonen, geen verkeerde valuta, geen gokken welke regel echt is.
Bij TopDevs bouwen we ETL-flows als een klant betrouwbare, direct bruikbare data nodig heeft in zijn rapportagesysteem, zodat de cijfers die mensen zien al elke controle hebben doorstaan.
