Google Yahoo Microsoft logoDe internetgiganten Google, Yahoo! en Microsoft hebben een nieuwe internationale standaard voor het SiteMaps Protocol ontwikkeld, te weten Sitemap.org. Sitemaps zijn een manier voor webmasters om zoekmachines te informeren welke webpagina’s van hun website beschikbaar zijn voor indexatie (crawling).

In de meest eenvoudige vorm is een Sitemap een XML bestand met een lijst van URL’s van een website inclusief additionele metadata over elke URL (wanneer de laatste update was, hoe vaak de URL normaal verandert en hoe belangrijk de pagina is gerelateerd aan de andere URL’s in de site) zodat de zoekmachines de website intelligenter kunnen crawlen.

Web crawlers ontdekken pagina’s normaal door links binnen de website en middels links van andere websites. Sitemaps kunnen de crawlers die Sitemaps ondersteunen hierin helpen, maar het gebruik van het sitemap protocol geeft geen garantie voor opname in de index van de zoekmachines. Sitemaps geven in feite hints aan web crawlers om het crawlen van jouw website te verbeteren.

Persoonlijk vind ik het gebruik van sitemaps niet noodzakelijk voor een goede indexatie. Als de directory structuur en de navigatie structuur van een website goed zijn opgebouwd, als er nauwelijks zoekmachine onvriendelijke technieken (zoals Flash en Javascript) worden gebruikt en (het belangrijkste!) als er voldoende relevante links naar de website zijn geplaatst, is een sitemap niet nodig om een website goed te laten indexeren door zoekmachines. Die mening heeft ook David Naylor, regelmatig co-host in de Daily SearchCast.

Zie ook het persbericht van Google