Het Robots.txt bestand is een klein tekstbestandje waarin instructies staan voor zoekmachines, specifiek de zoekmachine robots (crawlers).
Met het Robots.txt bestand kun je robots verbieden bepaalde locaties van je websites niet te bezoeken of “crawlen”. Daarmee wordt de betreffende informatie niet toegankelijk voor zoekmachines.
Je kunt een crawler, zoals googlebot, dus vertellen wat niet gecrawld mag worden (je kunt robots.txt niet gebruiken om een bot te vertellen wat er wel gecrawld moet worden).
Achtergrondinformatie: Handleiding: hoe werkt een zoekmachine?
Het Robots.txt bestand wordt in de “root’ van elke website plaatst. Dat betekent dat het bestand altijd te vinden is op http://www.domein.nl/robots.txt.
Een zoekmachine crawler raadpleegt altijd eerst het robots.txt bestand voordat andere pagina gecrawld worden.
Je kunt het robots.txt bestand ook gebruiken om aan te geven waar een XML sitemap te vinden is.
Ps. robots.txt heeft een Nederlands tintje: software engineer Martijn Koster heeft het Robots Exclusion Protocol in 1994 bedacht. In 2019 – 25 jaar later – heeft Google voorgesteld om er een internet standaard van te maken.
