Crawlen is hoe zoekmachines ontdekken wat er op het web staat. Geautomatiseerde programma’s, crawlers genoemd, zoals Googlebot, volgen links van pagina naar pagina, lezen de inhoud van elke pagina en rapporteren terug, zodat de zoekmachine kan bepalen wat hij opslaat en rangschikt. Wordt een pagina nooit gecrawld, dan bestaat hij feitelijk niet voor Google.
Stel je een bibliothecaris voor die door een enorm gebouw loopt, elke deur opent, noteert wat er in elke kamer ligt en de gangen volgt die ze verbinden. Die gangen zijn jouw links. Heeft een kamer geen deur die ernaartoe leidt, dan ziet de bibliothecaris hem nooit, hoe goed de inhoud ook is. Daarom telt een schone structuur van interne links zo zwaar, en daarom helpt een sitemap door de crawler vooraf een plattegrond van elke belangrijke kamer te geven.
Crawlers blijven echter niet eindeloos langskomen. Google geeft elke site een ruwe ‘crawl budget’, dus een enorme site vol trage pagina’s of bijna identieke URL’s kan dat budget opmaken voordat de bot de pagina’s bereikt waar het je echt om gaat. Pagina’s snel houden en dunne of dubbele URL’s wegsnoeien zorgt dat de crawler zijn beperkte tijd besteedt waar het telt. Een dode link verspilt die ook, door de bot een doodlopend pad in te sturen.
Je hebt ook wat controle over het bezoek. Een robots.txt-bestand kan crawlers vragen bepaalde delen over te slaan, zoals een inlogpagina of een testkopie, zodat ze hun tijd besteden aan de pagina’s die ertoe doen. Doe je dit verkeerd, dan verberg je per ongeluk je hele site.
Bij TopDevs bouwen we sites zo dat crawlers elke belangrijke pagina makkelijk kunnen lezen, met logische links en een schone sitemap, zodat de content van een klant echt kans maakt om te ranken in plaats van onzichtbaar te blijven.
