Webscraping is automatisch informatie van websites halen door een pagina te lezen zoals een browser dat doet en de data in een gestructureerde vorm op te slaan. In plaats van dat iemand prijzen, advertenties of contactgegevens handmatig in een spreadsheet overtikt, bezoekt een script de pagina’s, plukt de stukjes eruit die je vroeg en bewaart ze netjes. Zo wordt het open web een databron waar je echt mee kunt werken.
Stel je voor dat je een stagiair elke productprijs van een concurrent in een spreadsheet laat overtikken, alleen doet het script het in seconden en wordt het nooit moe. Dat is data-extractie uit webpagina’s, en het is nauw verwant aan screen scraping, dat leest wat er op een scherm staat in plaats van een gestructureerde feed.
Scrapen is de terugvaloptie die je pakt als er geen net kanaal bestaat. Biedt een site een API-integratie, dan is dat bijna altijd de betere route, want die is ondersteund en stabiel. Scrapen hangt af van de paginastructuur, dus een redesign kan het van de ene op de andere dag breken, en je moet zowel de voorwaarden van de site als regels rond persoonsgegevens in de gaten houden.
Hoe kwetsbaar het is, hangt van de pagina af. Een simpele statische site is makkelijk te lezen, maar veel moderne pagina’s bouwen hun inhoud pas met JavaScript op na het laden, waardoor een eenvoudige scraper een lege huls ziet. Die gevallen vragen om een tool die op de achtergrond een echte browser draait, wat trager is en zwaarder om te onderhouden.
Ook volume telt. Bestook je een site met duizenden snelle verzoeken, dan kun je hem vertragen of je adres laten blokkeren. Beleefd scrapen spreidt de verzoeken dus en haalt alleen op wat het echt nodig heeft.
Bij TopDevs zetten we webscraping alleen in waar geen API is en het gebruik mag, met controles ingebouwd zodat een wijziging in de opmaak wordt opgemerkt en hersteld voordat de data van de klant veroudert.
