Een datalake is een grote opslagplek die ruwe data van elk type bewaart, gestructureerde tabellen, logbestanden, afbeeldingen, documenten, in de oorspronkelijke vorm. Onderweg naar binnen wordt er niets omgevormd. Je slaat eerst op en bepaalt later hoe je het gebruikt.
Het contrast met een datawarehouse is de makkelijkste manier om het voor je te zien. Een warehouse is als een nette bibliotheek waar elk boek wordt gecatalogiseerd en op de plank gezet voordat het binnenkomt. Een lake lijkt meer op een gigantische bergruimte waar je alles ongewijzigd in dumpt, in het vertrouwen dat je het kunt uitzoeken als er een vraag opduikt. Die vrijheid is precies waarom lakes passen bij big data werk, waar de omvang en variëteit te hoog zijn om alles vooraf te structureren.
Waarom dit telt, zit in kosten en nieuwsgierigheid. Lake-opslag draait op goedkope object stores zoals Amazon S3, dus jaren ruwe clickstream- of sensordata bewaren is betaalbaar. En omdat het oorspronkelijke detail intact blijft, kun je vandaag nog een vraag beantwoorden die twee jaar geleden niemand bedacht. Een warehouse, dat weggooide wat het niet nodig had, kan dat vaak niet.
De keerzijde is discipline. Een lake zonder regels wordt stilletjes een moeras waarin niemand kan zoeken. Goede catalogisering, eigenaarschap en een automatische datapijplijn die hem netjes voedt, houden een lake bruikbaar in plaats van een stortplaats. Een nieuwere aanpak, de data lakehouse, probeert je de vrijheid van een lake te geven met de orde van een warehouse.
Bij TopDevs sturen we klanten alleen richting een datalake als hun data echt gevarieerd en groot is, niet als standaardkeuze voor een paar nette tabellen die een warehouse beter aankan.
