Robots.txt

Hvad robots.txt er

Robots.txt er en lille tekstfil, der ligger i roden af et website på adressen deteksempel.dk/robots.txt. Den er det første, en søgemaskine kigger efter, når den besøger et site, og den fortæller, hvilke dele af sitet robotterne må crawle, og hvilke de skal holde sig fra. Filen styrer altså adgang, ikke indeksering, og den forskel er værd at holde styr på.

En typisk robots.txt ser sådan ud:

User-agent: *
Disallow: /kurv/
Disallow: /min-konto/
Allow: /

Sitemap: https://eksempel.dk/sitemap-index.xml

Linjerne betyder følgende. User-agent: * gælder alle robotter. Disallow spærrer en mappe eller sti. Allow giver adgang, også inde i en ellers spærret mappe. Og Sitemap peger søgemaskinen hen på dit sitemap, hvilket er en god vane at have med.

Sådan tjekker du din egen robots.txt

1. Skriv din adresse efterfulgt af /robots.txt i browseren, for eksempel dinshop.dk/robots.txt.
2. Læs, hvad der står under Disallow. Er der spærret for noget vigtigt, for eksempel en hel produktmappe, kan det være grunden til, at siderne ikke bliver fundet.
3. Test enkelte URL’er i Google Search Console, som har et robots.txt-værktøj, der viser, om en given side er blokeret.

Den vigtigste faldgrube

En Disallow i robots.txt forhindrer crawl, men ikke nødvendigvis at siden indekseres. Har andre links til siden, kan Google finde på at vise den i resultaterne uden beskrivelse, fordi den ikke må læse indholdet. Vil du holde en side helt ude af søgeresultaterne, er værktøjet et noindex-meta-tag på selve siden, ikke en Disallow i robots.txt. En klassisk fejl er at blokere en side i robots.txt og samtidig sætte noindex på den. Så når robotten aldrig at læse noindex, fordi den er spærret ude. De to skal ikke bruges sammen.