Crawling jest procesem mającym na celu dokonanie analizy wszystkich treści oraz całości kodu znajdującego się w ramach określonej witryny. Oprócz tego w jego wyniku widzimy, jakie linkowanie istnieje w obrębie badanego serwisu. Crawling realizowany jest przez roboty sieciowe nazywane crawlerami.
Z opisywanym pojęciem wiąże się również inne, pokrewne hasło – crawlability – odnoszące się do możliwości indeksowania podstron serwisu www. Na możliwość tę można wpływać, ułatwiając robotom indeksującym skuteczne nawigowanie po witrynie, analizowanie jej struktury, wyszukiwanie treści oraz samo właściwe indeksowanie. W tym celu zwiększa się np. prędkość działania strony, optymalizuje sposoby wykorzystywania przekierowań czy też tworzy się specjalne pliki XML np. mapy witryn.
Na koniec warto wspomnieć także o programach typu crawler SEO, które pozwalają pozycjonerom w sposób automatyczny, wielowątkowy i wnikliwy przeprowadzić gruntowny audyt określonego serwisu.
