Case: hoe Googlebot omgaat met rel=”prev” & rel=”next”

Gepagineerde content levert vaak een aantal SEO problemen op. Google heeft hier in september 2011 een oplossing voor gelanceerd: de HTML link elementen rel=”prev” en rel=”next”.

Wat is het effect hiervan op je SEO resultaten? En hoe gaat de Google crawler (Googlebot) hiermee om?

Lees onderstaande case met hypotheses, cijfers en resultaten.

  1. Wat is gepagineerde content?
  2. SEO problemen paginatie
  3. rel=”prev” & rel=”next”, wat is dat?
  4. De case: hypotheses, wat doet Googlebot?
  5. Hypothese 1: crawling alle gepagineerde pagina’s
  6. Hypothese 2: crawling eerste pagina’s
  7. Hypothese 3: boost eerste pagina’s
  8. Conclusie & resultaten

Wil je nu niet veel lezen, maar even door een paar “plaatjes” klikken? Dat kan :)

Gepagineerde content?

Als je content verdeelt over meerdere pagina’s, noem je dat gepagineerde content. Het pagineren van content – ook wel paginatie genoemd – is eigenlijk niks anders dan het nummeren van pagina’s.

Zie onderstaande afbeelding die 2 veel voorkomende voorbeelden van paginering laat zien:


Afbeelding 1: voorbeelden gepagineerde content (bron: google.com)

SEO problemen paginatie

Gepagineerde content is altijd een belangrijke uitdaging in SEO. Alle gepagineerde content lijkt namelijk meestal op elkaar. En dat levert 4 SEO problemen op:

  1. Duplicate content
    alle gepagineerde pagina’s concurreren met elkaar in de zoekresultaten
  2. Linkwaarde verspilling
    de linkwaarde wordt over alle gepagineerde pagina’s verdeeld
  3. Crawl “budget” verspilling
    de maximale crawl capaciteit van je site wordt onnodig verbruikt aan identieke pagina’s
  4. “Diepe” content onbereikbaar
    Links op vervolgpagina’s achteraan een gepagineerde serie worden niet gecrawld (en de pagina’s daarachter zijn dus niet vindbaar)

Lees voor meer uitleg hierover de uitgebreide handleiding “SEO voor paginering

Nieuwe oplossing: rel=”prev” & rel=”next”

Sinds september 2011 (zie aankondiging) is er voor Google dus nieuwe oplossing voor gepagineerde content: het gebruik van rel=”prev” en rel=”next”. (zoekmachine Bing ondersteunt dit sinds april 2012, zie aankondiging)

Deze elementen zijn al jaren onderdeel van de HTML standaard, maar Google gebruikt ze nu ook voor het oplossen van paginering problemen. De link elementen rel=”prev” en rel=”next” plaats je in de HTML head van de gepagineerde pagina’s.

voorbeeld link elementen rel=”prev” en rel=”next”
Afbeelding 2: voorbeeld link elementen rel=”prev” en rel=”next” (bron: bekijk de HTML op deze pagina)

Met rel=”prev” en rel=”next” geef je aan dat er een relatie is tussen meerdere (gepagineerde) pagina’s.

Wat doet Google? – De theorie

Wanneer je voor rel=”prev” en rel=”next” kiest, doet Google het volgende:

  1. Linkwaarde van individuele gepagineerde pagina’s samenvoegen en toewijzen aan de hele serie/set van gepagineerde content
  2. De meest relevante pagina uit de serie indexeren, meestal de eerste pagina

Case: wat doet Googlebot? – De praktijk

In SEO is er vaak een verschil tussen de theorie en de praktijk. We besloten dus om de effecten van de implementatie van rel=”prev” en rel=”next” te meten op de site van onze opdrachtgever Independer.nl.

Hiervoor gebruiken we een door OrangeValley ontwikkelde SEO tool om het crawlgedrag van de zoekmachinerobots te analyseren

(de eerste versie is al door Joost de Valk gebouwd, toen we samen de SEO dienstverlening bij OrangeValley opzette, en inmiddels volledig herbouwd en flink doorontwikkeld)

OrangeValley tool ‘Search Traffic Monitor’
Afbeelding 3: OrangeValley tool ‘Search Traffic Monitor’

De elementen rel=”prev” en rel=”next” werden geïmplementeerd op een set aan pagina’s, die meestal uit tientallen of soms een paar honderd gepagineerde pagina’s bestaat.

Hieraan voorafgaand is er al een optimalisatieslag gemaakt door het aantal reviews per pagina te verhogen. Hierdoor is op een ‘natuurlijke’ wijze het aantal gepagineerde pagina’s al sterk teruggebracht.


Afbeelding 4: voorbeeld gepagineerde content

Hypotheses

We stelden een drietal hypotheses om het effect van rel=prev” en rel=”next” te toetsen, te weten:

  1. Minder crawling van gepagineerde pagina’s
  2. Meer crawling van de eerste pagina in de gepagineerde serie
  3. Betere ranking + traffic van de eerste pagina in de gepagineerde serie

Middels de benoemde OrangeValley tool ‘Search Traffic Monitor’ konden we nauwkeurig onze hypotheses toetsen.

Resultaten

We zagen de volgende resultaten in de periode 2 weken voor en 2 weken na de implementatie van rel=”prev” en rel=”next”.

Allereerst een schema weergave van de (on)waarheid van de hypotheses:

hypotheses implementatie rel="prev" en rel="next"
Afbeelding 5: de (on)waarheid van de hypotheses bij rel=”prev” en rel=”next”

Lees hieronder per hypothese de cijfers en toelichting.

1. Crawling gehele gepagineerde serie

Allereerst zagen we dat de gehele serie van gepagineerde content minder werd gecrawld.

aantal crawls van alle gepagineerde pagina’s door Googlebot
Afbeelding 6: aantal crawls van alle gepagineerde pagina’s door Googlebot

De conclusie hieruit is: Google gaat efficiënter crawlen. Google “snapt” dat de gepagineerde serie bij elkaar hoort.

Voorheen zag Google veel vervolgpagina’s, die allemaal ook nog veel gecrawld werden. Na de implementatie van rel=”prev” en rel=”next” snapt Google dat de pagina’s bij elkaar horen.

Het resultaat: de totale serie pagina’s wordt minder gecrawld. De eerste hypothese is dus waar.

Daarmee wordt het zogeheten ‘crawl budget’ van Google efficiënter benut (lees ook meer over crawl budget in de eerder genoemde handleiding over paginering).

Conclusie hypothese 1

De belangrijkste conclusies van hypothese 1:

  • Google crawlt efficiënter en “snapt” dat de gepagineerde serie bij elkaar hoort
  • De totale serie van gepagineerde pagina’s wordt minder gecrawld

2. Crawling eerste pagina’s

De eerste pagina in een serie gepagineerde pagina’s wordt bijna altijd als belangrijkste pagina gezien. Zeker na implementatie van rel=”prev” en rel=”next”.

voorbeeld 1e pagina van gepagineerde serie
Afbeelding 7: voorbeeld 1e pagina van gepagineerde serie

Echter, de “eerste pagina’s” werden juist minder gecrawld:

aantal crawls van de 1e pagina’s van alle gepagineerde series door Google
Afbeelding 8: aantal crawls van de 1e pagina’s van alle gepagineerde series door Google

Onze hypothese (“eerste pagina’s worden meer gecrawld”) is dus onwaar.

Maar, we zagen wel een ander duidelijk positief effect.

Meer content geïndexeerd

De Independer.nl site heeft niet één, maar enkele tientallen series gepagineerde content.

En we zagen dat voorafgaand aan de implementatie van rel=”prev” en rel=”next” niet alle eerste pagina’s in de serie gecrawld werden. Daarmee werden ook de vervolgpagina’s en dus de hele serie gepagineerde content niet gecrawld.

Kortom, een groot aantal pagina’s was niet geïndexeerd en onvindbaar in de zoekmachine.

Echter, na de implementatie van rel=”prev” en rel=”next” werden ruim 2x zoveel unieke eerste pagina’s gecrawld dan daarvoor.

aantal gecrawlde unieke 1e pagina’s door Google
Afbeelding 9: aantal gecrawlde unieke 1e pagina’s door Google

Voorheen gebruikte Googlebot dus alle “energie” om de gepagineerde pagina’s te doorgronden. Belangrijk probleem was dat Google op een gegeven moment stopte en dus NIET alle pagina’s en links crawlde.

Na de implementatie van rel=”prev” en rel=”next” snapte Google dus beter dat het serie betrof. Google gebruikte het crawl budget dus duidelijk voor de belangrijkste pagina’s.

Conclusie hypothese 2

De belangrijkste conclusies van hypothese 2:

  • De “eerste pagina’s” van de paginering worden minder gecrawld
  • Ruim 2x zoveel unieke eerste pagina’s werden gecrawld

3. Boost 1e pagina’s

Zoals eerder beschreven, zorgt de implementatie van rel=”prev” en rel=”next” volgens Google voor het indexeren van de meest relevante pagina uit de serie, meestal de eerste pagina.

De 3e hypothese stelt dan ook dat de 1e pagina van de gepagineerde series betere rankings behaalt en daarmee meer bezoeken trekt.

Situatie ervoor

Ik heb geen screenshots van de eerste pagina’s in de Google index voordat rel=”prev” en rel=”next” geïmplementeerd werd. Maar neem van me aan dat Google er regelmatig niks van begreep en vaak willekeurig één van de vele gepagineerde pagina’s in de zoekresultaten liet terugkomen. En dus niet de eerste pagina uit de serie.

Echter, na implementatie van rel=”prev” en rel=”next” laat Google altijd de eerste pagina van de gepagineerde serie terugkomen in de index. De overige gepagineerde pagina’s (vanaf pagina 2 en verder) komen niet meer terug in de zoekresultaten.

eerste pagina’s van gepagineerde serie in Google’s zoekresultaten
Afbeelding 10: eerste pagina’s van gepagineerde serie in Google’s zoekresultaten

Situatie erna: traffic boost

Het succes van de implementatie van rel=”prev” en rel=”next” is duidelijk terug te zien in de SEO bezoeken die de eerste pagina’s van de gepagineerde series ontvangen.

Kijk maar eens naar de periode van 2 maanden na implementatie van rel=”prev” en rel=”next”, vergeleken met dezelfde periode een jaar eerder:

SEO bezoeken op de eerste pagina’s uit de gepagineerde series
Afbeelding 11: SEO bezoeken op de eerste pagina’s uit de gepagineerde series

Voor de geïnteresseerden: het aantal SEO bezoeken op de eerste pagina’s van de gepagineerde series is met ruim 300% toegenomen in de 2 maanden na implementatie (in vergelijking met dezelfde periode een jaar eerder).

Dit is geen kannibalisatie op alle andere gepagineerde pagina’s. Zelfs op de gepagineerde pagina’s is een lichte stijging in SEO bezoeken te zien.

Het resultaat zit hem met name in een aanzienlijk efficiënter gebruik van het crawl budget. Met alle positieve gevolgen van dien (ruim 2x zoveel gepagineerde series gecrawld = meer relevante pagina’s in index + betere rankings = meer traffic).

Gepagineerde pagina’s gewoon geïndexeerd

Dat de eerste pagina’s nu altijd als eerste terugkomen in Google’s zoekresultaten, betekent overigens niet dat de andere gepagineerde pagina’s niet meer behouden blijven in de Google index.

Sterker nog: alle gepagineerde pagina’s worden nog steeds gecrawld en nog steeds opgeslagen in Google’s index.

eerste pagina’s van gepagineerde serie in Google’s zoekresultaten
Afbeelding 12: voorbeeld indexatie van gepagineerde pagina’s

Dat is ook logisch.

Laat het voorbeeld van Independer.nl even los en denk aan een willekeurige webwinkel. Elke serieuze webwinkel heeft productcategorieën met producten verspreid over meerdere (gepagineerde) pagina’s.

En dan komt het voor dat bepaalde producten alleen te vinden zijn op een gepagineerde pagina. Als Google de gepagineerde pagina’s niet meer zou crawlen en indexeren, zouden bepaalde producten onvindbaar zijn.

Conclusie

De SEO problemen bij paginering (content verdelen over meerdere pagina’s) kunnen eenvoudig opgelost worden met de implementatie van de HTML link elementen rel=”prev” en rel=”next”.

Deze case met cijfers van o.a. het crawlgedrag van Googlebot laat de volgende resultaten zien bij implementatie van rel=”prev” en rel=”next”:

  • 1. Google crawlt efficiënter en benut het crawl budget optimaal:
    1. De totale serie gepagineerde pagina’s wordt minder gecrawld
    2. De “eerste pagina’s” worden minder gecrawld
    3. Ruim 2x zoveel unieke eerste pagina’s worden gecrawld
  • 2. Google indexeert de meest relevante pagina uit de gepagineerde serie:
    1. De eerste pagina van de gepagineerde serie wordt geïndexeerd
    2. De overige gepagineerde pagina’s komen niet meer terug in de zoekresultaten

Een specifiek resultaat voor Independer.nl in aantallen SEO bezoeken:

  • SEO bezoeken op de eerste pagina’s van de gepagineerde series is met ruim 300% toegenomen in de 2 maanden na implementatie (in vergelijking met dezelfde periode een jaar eerder)

De conclusie kan duidelijk getrokken worden dat de implementatie van rel=”prev” en rel=”next” de SEO problemen van paginering oplost en een bijdrage levert aan het totale SEO resultaat van een website.

Dit artikel is origineel gepubliceerd op orangevalley.nl

Geen gerelateerde artikelen gevonden.

9 Reacties op "Case: hoe Googlebot omgaat met rel=”prev” & rel=”next”"

  1. Thomas op 15 August, 2012

    “…Afbeelding 2: voorbeeld link elementen rel=”prev” en rel=”next” (bron: bekijk de HTML op deze pagina)…” Op deze pagina gebruiken ze het, zover ik zie, niet.

    Thomas

  2. Thomas op 15 August, 2012

    Mijn fout; zie nu dat het in de head moet staan. Bedankt voor je uitleg in dit artikel!

  3. Martine op 17 August, 2012

    Ik herken het probleem.
    Ik heb om die reden ooit van alle “gepagineerde” content 1 grote pagina gemaakt. Met de gedachte, de klant is toch al aan het scrollen, dan kan hij net zo goed doorscrollen ipv het knopje te zoeken naar de volgende pagina.
    Ik ben heel benieuwd wat de verschillen zijn met hier omschreven (en voor leken als ik ingewikkeldere) oplossing.

  4. Eduard Blacquière op 17 August, 2012

    @Thomas
    Thx, graag gedaan :)

  5. Eduard Blacquière op 17 August, 2012

    @Martine
    Met 1 grote “toon alles”-pagina los je natuurlijk in één klap alle SEO problemen van paginering op.

    Let wel op de laadtijd van deze ene grote pagina niet te groot wordt: houd 3 tot 4 seconden aan (richtlijn Google).

    De oplossing van 1 grote pagina is daarnaast zeker niet handig bij een grote site. Als er op 1 pagina honderden (of duizenden) links staan, dan heb je weer andere problemen.

    Lees er meer over in mijn SEO handleiding voor paginering:
    http://www.edwords.nl/kennisbank/handleidingen/seo-paginering/

  6. Martine Bakx op 17 August, 2012

    Ik heb zowaar die handleiding gescand. En kom dan toch uit op 1 toon alles pagina.

    Het is echt heel gebruiksonvriendelijk om een klant meer dan 20 pagina’s te laten doorklikken….om hem te laten vinden wat hij zoekt.
    100den of 1000den links aanbieden is onwijs. Dat moet je opsplitsen. Hoef je gelijk niet meer te “pagineren”.

    Ik zie het duplicaat content probleem niet. Ik mag toch aannemen dat er op pagina 2 iets anders staat dan op pagina 1?
    Heb ik zelfs ooit een stukje over geschreven, dat er teveel aangemerkt wordt als duplicate content:
    http://www.martinebakx.com/2011/04/duplicate-content.html

  7. Peter op 28 August, 2012

    Ik heb de handleiding ook doorgenomen, en ben weer een stuk wijzer geworden. Is het ook aan te raden om de indien er al een noindex,follow tag staat deze te combineren met een rel next/prev?

    Ik heb zelf onlangs de noindex,follow tag op een tweetal jobboards toegepast en heb nog onvoldoende stilgestaan bij de linkjuice verdeling.

  8. Eduard Blacquière op 02 September, 2012

    @Martine
    Het duplicate content probleem is er wel.

    Mensen zien inderdaad verschillende producten op verschillende pagina’s, maar voor Google is er te weinig onderscheid (= duplicate content).

  9. Eduard Blacquière op 02 September, 2012

    @Peter
    Nee, dat is niet aan te raden.
    Kies één van de 2 oplossingen.

    Wanneer beide geïmplementeerd zijn, vermoed ik dat Google de ’sterkste’ pakt. En ik vermoed dat dit de meta robots is.

    Welke dat uiteindelijk is, weet ik nog niet, maar dat ben ik aan het testen.

Reageer