Wat crawl budget is en waarom je dit moet weten

Bijgewerkt: 12 juni 2023

Mijn cursisten en deelnemers aan de individuele training/coaching krijgen altijd een plaatje met spinnen (ieuww) te zien. “Dit zijn nu spiders, ze kruipen (crawlen) over het internet”, leg ik uit. Achteraf zeggen deelnemers dat ze dankzij dat plaatje begrijpen hoe zoekmachines werken. In deze blog leg ik uit wat crawl budget is. Tevens rekening ik af met de onzin die er vaak over verteld wordt.

“Crawl budget, daar hoef jij je niet druk over te maken”

Zo luidde een LinkedIn-post van een ‘SEO-kenner’. Nou, dit is iets waar jij je WEL druk over moet maken. Laten we dus snel deze bewering vergeten. Zoiets zet onwetenden op het verkeerde spoor.

Laten we eerst eens kijken wat crawl budget exact is. Een crawler, of een spider, is software van een zoekmachine. Deze software kruipt over het internet. Jawel, het Engelse woord voor kruipen is crawlen. De spider bezoekt (nieuwe) webpagina’s om hier een goed beeld van te krijgen. Vervolgens worden die pagina’s geïndexeerd en verschijnen ze in de zoekresultaten.

Wat is crawl budget?

Het crawl budget staat voor het aantal webpagina’s dat een spider (crawler) op jouw website bekijkt. Het budget kan nooit hoger zijn dan het aantal webpagina’s/URL’s dat je hebt. Laat ik het even eenvoudig houden. Stel dat je een nieuwe webshop hebt met een homepage, een over-ons pagina en drie productpagina’s. Dat zijn vijf pagina’s dus heb je in theorie een crawl budget van vijf.

Toch klopt dit niet helemaal. Want misschien heb je wat URL-duplicaten op je website staan. Dat zie je veel bij webshops, waarbij een filter ervoor zorgt dat een product via verschillende URL’s bereikbaar is. In dit geval kunnen er misschien wel 15 URL’s op je website aanwezig zijn, en heb je dus een crawl budget van 15.

Geen servers overbelasten

Bij de meeste kleine websites speelt het crawl budget niet zo’n grote rol. Of je nu 5 of 1000 URL’s hebt, de crawler kan langskomen zonder je servers te overbelasten. Het wordt pas een probleem wanneer je site niet snel genoeg reageert. Google (of een andere zoekmachine) wil je servers niet overbelasten. Daarom gaat het crawlbudget (tijdelijk) omlaag.

Dit gebeurt bijvoorbeeld bij serverfouten. In dit geval komt de crawlbot minder snel langs. En serverfouten kan ook op een kleine website voorkomen!

Een serverfout ontstaat door verschillende zaken, zoals bijvoorbeeld een omleidingslus. Maar het kan ook dat de http-methode niet wordt ondersteund, of dat de server die als proxy fungeert, een ongeldig antwoord ontvangt. Soms is er sprake van onderhoud van de server.

Dit soort problemen zorgt ervoor dat je crawl budget omlaag gaat. Al helemaal wanneer de problemen langer aan blijven houden. Dus dacht jij dat het budget niet op kleine website van toepassing is? Wel dus!

Lees ook: Website niet te vinden in Google

Crawl limiet wordt ook door Google zelf bepaald

Google heeft best veel crawlers die al het zware werk doen. Maar ze zijn niet oneindig beschikbaar. Daarom moet Google continu een keuze maken welke webpagina’s gecrawld worden. Populaire webpagina’s worden vaker bezocht, simpelweg om ze actueel in de zoekresultaten te houden.

Dit betekent dat webpagina’s die het heel slecht doen, ook minder vaak een bezoek van de crawler ontvangen. Wanneer jouw website (groot of klein) veel impopulaire pagina’s heeft, dan kan dit van invloed zijn op het crawl budget.

Hoe je dit oplost? Door te zorgen dat je webpagina’s populair worden en blijven. Dit doe je door het delen van kwalitatieve content. Kijk eens naar webpagina’s die het slecht blijven doen. Soms is het beter om die te verwijderen, waardoor er geen crawl budget verloren gaat.

Duplicaten op je website

Zoals eerder gezegd hebben vooral webshops met een productfilter last van URL-duplicaten. Hierdoor verspilt de googlebot veel tijd op je website. Dit gaat weer ten koste van het crawl budget. Ook dit is een probleem dat niet alleen bij grote websites voorkomt, maar net zo goed bij kleinere websites of webshops.

URL-duplicaten los je op door een canonieke URL in te stellen. Hiermee geef je richting zoekmachines aan wat de echte URL zou moeten zijn. Dan hoeft de Googlebot ook geen tijd aan de andere URL’s te verspillen.

Verhuisde webpagina’s

Een van mijn klanten merkte dat haar kleine website heel slecht in Google scoorde, ondanks het creëren van goede content. Toen ze me toegang gaf tot haar Search Console zag ik exact wat het probleem was. Ze had een hele hoop webpagina’s van URL verhuisd. Google bleef de oude pagina’s crawlen en dat ging natuurlijk van haar budget af.

Heb je onlangs veel webpagina’s verhuisd? Zorg sowieso voor een 301-redirect. Daarnaast kun je oude URL’s binnen Search Console uit de zoekresultaten laten halen. Hiermee geef je tevens aan dat deze pagina’s niet meer bezocht hoeven worden.

Pagina’s die je niet meer wil laten indexeren

Van sommige pagina’s is het nutteloos om ze in de zoekresultaten te krijgen. Bijvoorbeeld je pagina met de algemene voorwaarden of het privacybeleid. Maar mogelijk ook pagina’s die via een andere URL bereikbaar zijn. Denk maar weer eens aan het productfilter.

Het is aan te raden om deze pagina’s te blokkeren tegen crawlen. Dat doe je met behulp van robots.txt. Heb je een WordPress website, dan kun je dit, in combinatie met de Yoast SEO plug-in, ook vanaf je website zelf blokkeren.

Maak een statuscode voor pagina’s die je hebt verwijderd

Ben je wel eens op een webpagina uitgekomen en zie je een 404-foutcode staan? Voor jou als bezoeker heel vervelend. Maar voor zoekmachines nuttig. De statuscode 404 geeft richting een crawler het signaal dat deze pagina niet meer bestaat. Hierdoor blijft deze pagina niet in de wachtrij staan en wordt het crawlbudget aan bestaande webpagina’s besteed.

Een snelle website is wel zo handig

Hoe sneller je website, hoe beter. Niet alleen maak je bezoekers hier blij mee, ook is dit goed voor het crawl budget. Zorg dus dat de webpagina’s snel genoeg laden. Zo kunnen de crawlers snel genoeg bij de data.

Een snelle website gaat gepaard met minder overbelasting van de server. Maak je website sneller door niet te veel plug-ins te installeren, afbeeldingen te croppen en regelmatig te testen. Wanneer je merkt dat dit geen invloed heeft op het crawl budget, kijk dan eens naar je hosting. Het kan dat de servercapaciteit niet voldoende is. Dit zie je vaker bij websites die gebruik maken van shared hosting, waarbij een grote website veel van de capaciteit opslokt. Dit heeft een negatieve invloed op de andere websites op deze server.

Laat Google weten dat je nieuwe webpagina’s hebt gepubliceerd

Bij de ene website staan nieuwe webpagina’s binnen 5 minuten online (zoals bij mij), bij de ander duurt het soms wel een week. Ik zie zelfs gevallen waarbij dit twee weken of langer duurt.

Wil je dat je webpagina’s wat sneller in de organische zoekresultaten verschijnen? Laat Google regelmatig je bijgewerkte sitemap zien. Dien nieuwe URL’s binnen Google Search Console in. Hiermee vergroot je de kans dat de crawler langskomt en dat je webpagina geïndexeerd wordt.

Overigens geeft dit soort handelingen geen garantie op indexeren. Veel websites merken dat ongeveer 20% van hun webpagina’s nooit geïndexeerd wordt. Maar zelfs wanneer webpagina’s geïndexeerd worden, weet je nooit of ze ook bovenaan in de zoekresultaten verschijnen. Een hoge positie van Google is afhankelijk van de kwaliteit van je website, op verschillende punten.

Laat de content op je website onder handen nemen, vraag vrijblijvend naar de tarievenkaart. Liever zelf SEO op je website toepassen en hiermee veel geld besparen? Schrijf je in voor de individuele training SEO & social media.

Ontdek jouw crawl budget

Hoe weet je nu hoeveel crawl budget je hebt? Zorg dat je website is gekoppeld aan Google Search Console. Ga vervolgens naar instellingen en klik rechts op crawlverzoeken -> rapport openen. Het is belangrijk dat het rapport zo min mogelijk foutieve statuscodes bevat.

Let even goed op de aanwezigheid van 304 meldingen. Wanneer je hier veel meldingen van ziet dan kun je het beste alle data uit de cache van de browser verwijderen. Of eventueel de DNS leegmaken. Weet je niet hoe dit moet of blijf je problemen ondervinden, schakel dan een professional in.

---