Een robots.txt-bestand is een plat tekstbestand in de root van een website dat instructies geeft aan zoekmachine-crawlers. Het noemt welke delen van de site ze mogen bezoeken en welke ze moeten overslaan. Elke nette crawler leest het voordat hij begint met crawlen van je pagina’s.
Zie het als een bordje bij de ingang van een gebouw dat aangeeft welke verdiepingen open zijn voor bezoekers en welke alleen voor personeel. Het bordje vergrendelt geen deuren, het schept alleen verwachtingen, en eerlijke bezoekers respecteren het. Google en Bing volgen robots.txt uit gewoonte, maar het is richtlijn, geen veiligheidsmuur: een hier geblokkeerde pagina kan toch in de resultaten opduiken als er elders naar gelinkt wordt. Het bestand wijst crawlers vaak naar je sitemap zodat ze elke pagina vinden die je wél geïndexeerd wilt hebben. De syntaxis is kort: een User-agent-regel noemt de crawler, daarna sommen Disallow-regels de paden op die hij moet overslaan, zoals een adminmap of een checkoutstap.
Hier worden fouten ook duur. Eén verkeerd geplaatste regel kan elke crawler vertellen de hele site te negeren, waardoor die stilletjes uit de zoekresultaten verdwijnt. De klassieke ramp is een testbestand dat nog Disallow slash zegt en op livegang de hele site blokkeert. Dus behandel robots.txt met dezelfde zorg als een redirectschema. Controleer het na elke livegang, bekijk het live op de root van het domein, en gebruik het nooit om privédata te verbergen, want het bestand is zelf openbaar en iedereen kan lezen welke paden je stil probeerde te houden.
Bij TopDevs controleren we de robots.txt op elke site die we opleveren, zodat de juiste pagina’s worden gecrawld en er niks belangrijks per ongeluk wordt geblokkeerd.
