Crawling

Crawling er den proces, hvor søgemaskinernes robotter systematisk gennemgår internettet og følger links for at opdage sider. Under crawlingen hentes sidens indhold, så det senere kan vurderes og eventuelt indekseres. En side, der ikke kan crawles, har svært ved at blive fundet af søgemaskiner.

Ved at give en logisk linkstruktur gør man det lettere for søgemaskiner at crawle alle vigtige sider.