Robots meta noindex vs robots.txt

Noindex og robots.txt løser to forskellige opgaver, selvom de ofte forveksles. Robots.txt styrer, om en side må crawles, mens noindex styrer, om en side må indekseres. En side, der er blokeret i robots.txt, kan derfor ikke få sit noindex-signal læst, hvilket kan give utilsigtede resultater.

Vil man holde en side helt ude af søgeresultaterne, bruger man som regel noindex fremfor at blokere den i robots.txt.