Definitie Robots.txt

Definitie Robots.txt

Het Robots.txt bestand is een klein tekstbestandje waarin instructies staan voor zoekmachines, specifiek de zoekmachine robots.

Met het Robots.txt bestand kun je robots verbieden bepaalde locaties van je websites niet te bezoeken of “crawlen”. Daarmee wordt de betreffende informatie niet ontsloten voor zoekmachines.

Achtergrondinformatie: Handleiding: hoe werkt een zoekmachine?

Het Robots.txt bestand wordt in de “root’ van elke website plaatst. Dat betekent dat het bestand te vinden is op http://www.domein.nl/robots.txt.

Een zoekmachine crawler raadpleegt altijd eerst het robots.txt bestand voordat andere pagina gecrawld worden.

Je kunt het robots.txt bestand ook gebruiken om aan te geven waar een XML sitemap te vinden is.

Artikelen over robots.txt