Robots.txt styrer crawleres adgang

Robots.txt er en offentlig tekstfil, der fortæller crawlers, hvilke adresser de må hente. Den ligger normalt på domænets rod som /robots.txt. Filen kan hjælpe med at styre crawling, men den beskytter ikke private oplysninger og er ikke en sikker metode til at fjerne en webside fra Google.

En blokeret adresse kan stadig optræde i søgeresultaterne, hvis Google kender den fra andre links. Det fremgår af Googles introduktion til robots.txt.

Vælg metode efter formålet

Dit formål Den relevante løsning
Begrænse crawling af udvalgte adresser Vurder konkrete robots.txt-regler.
Holde en offentlig side ude af Google Brug noindex, og lad Google hente siden, så reglen kan læses.
Beskytte private oplysninger Kræv adgangsgodkendelse på serveren.
Flytte en side permanent Brug en relevant permanent redirect.

Noindex hører til i sidens metadata eller i et HTTP-svarfelt, ikke i robots.txt. Hvis du både blokerer crawling og tilføjer noindex, kan Google ikke hente siden og læse den nye regel. Se Googles vejledning om noindex.

Inden du ændrer noget, skal du derfor kunne svare på, om problemet handler om crawling, indeksering, flytning eller adgang. De fire opgaver kræver forskellige løsninger.

Et enkelt eksempel

Dette er et fiktivt eksempel på crawlingregler, ikke en færdig fil til din hjemmeside:

User-agent: *
Disallow: /midlertidige-visninger/
Sitemap: https://example.com/sitemap.xml

Her gælder gruppen generelt for crawlers, som følger disse regler. Stien /midlertidige-visninger/ blokeres for crawling. Sitemap-linjen angiver adressen på et XML-sitemap; den giver ikke i sig selv adgang til blokerede sider.

En Allow-regel kan tillade en mere specifik sti inden for et blokeret område. Den er ikke nødvendig for alle offentlige sider. Regler skal vurderes samlet, især hvis filen har særskilte grupper til bestemte crawlers. Googles specifikation for robots.txt forklarer grupper og matchning.

Filen gælder for den vært, protokol og port, hvor den ligger. En fil på ét underdomæne styrer derfor ikke automatisk de andre. Kontrollér altid den faktiske adresse, som kunder og søgemaskiner bruger.

Fejl, der er værd at lede efter

Et testsystem kan have en regel, som blokerer hele sitet. Den må ikke følge med over på en offentlig hjemmeside, der skal kunne findes i søgninger. Omvendt er en testside med robots.txt-blokering stadig ikke privat.

Undgå at blokere nødvendige billeder, CSS og JavaScript uden at undersøge, hvordan det påvirker den renderede side. En regel for en mappe kan ramme mere end de enkelte sider, du havde i tankerne. Se også min guide til URL-struktur, hvis adresserne er vanskelige at afgrænse.

Kontrollér før og efter ændringen

  1. Gem den eksisterende fil og skriv formålet med ændringen ned.
  2. Udvælg konkrete adresser: en side, der skal kunne crawles, en side, der skal blokeres, og nødvendige ressourcer.
  3. Kontrollér, hvilken regel der rammer hver adresse, og om den ligger i den rigtige crawlergruppe.
  4. Hent filen fra den offentlige adresse og kontrollér indhold og svarstatus efter ændringen.
  5. Undersøg relevante sider i Search Console og følg senere crawling og indeksering op imod formålet.

En korrekt regel er ikke en garanti for indeksering. Hvis siden fortsat mangler, kan årsagen ligge i indhold, canonical, andre metadata eller Googles vurdering. Min oversigt over SEO-værktøjer hjælper med at vælge en undersøgelse, der passer til spørgsmålet.

FAQ

Beskytter robots.txt private sider?

Nej. Filen er offentlig, og crawlers kan undlade at følge den. Private oplysninger skal beskyttes med reel adgangsgodkendelse.

Kan en blokeret URL stadig vises i Google?

Ja. Google kan kende adressen gennem links, selv om indholdet ikke må crawles. En crawlblokering er derfor ikke det samme som noindex.

Hvor skal noindex stå?

I sidens metadata eller et HTTP-svarfelt. Google understøtter ikke noindex som regel i robots.txt, og crawleren skal kunne hente siden for at læse reglen.

Skal alle hjemmesider have en robots.txt-fil?

Ikke nødvendigvis. Hvis filen mangler og returnerer 404, antager Google normalt, at der ikke er crawlingbegrænsninger fra robots.txt. Det betyder ikke, at alle sider automatisk bliver crawlet eller indekseret.

Få gennemgået crawling og indeksering

Kontakt mig om teknisk SEO, hvis du er i tvivl om en blokering. Send gerne en konkret sideadresse og beskriv, om siden skal være offentlig, kunne findes i Google eller kræve login.