Crawl budget er sjældent det første projekt på et lille site

Crawl budget beskriver de ressourcer, Google kan og vil bruge på at hente et websites indhold. Google målretter sin avancerede vejledning mod meget store eller hyppigt opdaterede websites og websites med mange opdagede, men endnu ikke indekserede URL'er. Hvis siderne bliver crawlet hurtigt efter udgivelse, er en særskilt crawl-budgetindsats ofte unødvendig. Googles vejledning om crawl budget.

Begynd derfor med problemet, du faktisk oplever. Er en ny ydelsesside ikke fundet? Har mange produktsider fået en fejl? Eller er der blot færre crawlanmodninger end i sidste uge? De observationer kræver forskellige undersøgelser.

Crawlet er ikke det samme som indekseret

En hentet side er ikke automatisk en side, Google vælger at vise i søgeresultaterne. Google vurderer også indholdet efter crawling. Flere anmodninger til serveren er derfor ikke i sig selv et mål for bedre SEO. Google om crawling og indeksering.

Vælg nogle konkrete URL'er fra den berørte gruppe. Notér deres betydning, tekniske svar og den status, Search Console viser. Sammenlign derefter med en tilsvarende side, der fungerer som forventet. Det gør forskelle i skabelon, interne links eller tekniske signaler synlige.

Min anbefaling er at holde observation og forklaring i hver sin kolonne. “Ikke indekseret” er en observation. “Google har ikke nok crawl budget” er en mulig forklaring, som kræver mere dokumentation.

Brug Crawlstatistik til at undersøge udviklingen

Search Consoles Crawl Stats-rapport viser blandt andet anmodninger, downloadmængde, svartider og fordeling på svartyper. Den kan hjælpe med at undersøge tilgængelighed og mønstre over tid. Rapportens URL-eksempler er ikke en komplet liste over alle anmodninger. Dokumentationen for Crawl Stats.

Sammenhold tidspunktet for en afvigelse med kendte ændringer: en lancering, nye filtre, ændret hosting eller et driftsproblem. Ved behov kan verificerede crawleranmodninger i serverlogs give et mere detaljeret billede. Angiv, hvilken kilde konklusionen bygger på, og hvad den ikke viser.

Et fald i antal anmodninger kan både være foreneligt med færre unødvendige adresser og med problemer med at hente vigtige sider. Vurdér derfor de berørte URL'er og serverens svar, før du kalder udviklingen positiv eller negativ.

Undersøg serverfejl og store URL-mønstre

Google beskriver serverens kapacitet og crawlbehovet som to centrale faktorer. Langsomme svar, serverfejl og signaler om for mange anmodninger kan påvirke, hvor meget der crawles. Store mængder dublerede adresser kan også bruge ressourcer på gentaget indhold. Google om crawlkapacitet.

Sortér problemerne i grupper: reelle indholdssider, filterkombinationer, sortering, gamle redirects og fejl. En webshop med mange filteradresser kræver en anden løsning end en serviceside, som ved en fejl er blokeret. Se guiden til facetteret navigation for vurdering af filterkombinationer.

Lav en lille ændring på det dokumenterede mønster, og kontrollér både relevante og nært beslægtede URL'er. En bred regel kan ramme mere end de eksempler, der førte til opgaven.

Robots.txt og noindex løser forskellige opgaver

Robots.txt styrer crawleres adgang til at hente indhold. En blokeret URL kan stadig blive vist i søgeresultater, blandt andet hvis andre sider linker til den. Det er derfor ikke en sikker metode til at fjerne en side fra indekset. Googles introduktion til robots.txt.

Noindex instruerer Google om ikke at indeksere en side, men Google skal kunne hente siden for at se reglen. En samtidig robots-blokering kan forhindre det. Google om noindex.

Afklar først, om målet er at begrænse unødvendig hentning, samle dubletter eller fjerne en side fra søgeresultater. Vælg derefter metode. Sæt ikke alle tre opgaver ind under den samme generelle besked om at “spare crawl budget”.

Godkend ændringen på vigtige sider

En brugbar efterkontrol viser, at de ønskede sider fortsat kan hentes, at reglerne kun rammer de tilsigtede adresser, og at nye fejl ikke er opstået. Følg udviklingen i samme rapport og for samme URL-gruppe som før ændringen.

Sørg samtidig for, at vigtige sider kan findes gennem interne links. Arbejdet bør indgå i en SEO-analyse, hvor søgeordsanalysen hjælper med at prioritere sider med et reelt formål. Jeg tilbyder hjælp til den tekniske gennemgang gennem SEO-analyse som ydelse.

FAQ

Betyder færre crawlanmodninger, at Google mister interessen?

Ikke nødvendigvis. Undersøg de berørte adresser, serverens svar og eventuelle ændringer. Antallet alene forklarer ikke årsagen.

Kan noindex bruges til at stoppe al crawling af en side?

Nej. Google skal hente siden for at læse noindex. Det er en regel om indeksering, ikke en blokering af adgangen.

Hvad skal en lille virksomhed begynde med?

Kontrollér, at de vigtige sider kan findes og hentes, og undersøg konkrete fejl i Search Console. Start en mere avanceret indsats, når observationerne begrunder den.