Crawler

Ce este un Crawler?

Un crawler este un program proiectat pentru a căuta automat conținut pe web, în general urmărind hyperlinks. Aceștia sunt în general folosiți de către motoarele de căutare pentru updata indexul.

Există două tipuri principale de crawleri. Cei care fac crawling constant, pentru a ține evidența paginilor noi, dar și celor vechi care au nevoie de recrawl, și cei la cerere. Aceștia din urmă vor face crawl doar la cerere și pe un număr limitat de pagini.

De ce sunt crawlerii importanți?

În esență, dacă un site nu este crawled, acesta nu va fi afișat în rezultatele căutărilor. Procesul de crawling este unul constant, iar boții vor continua să facă crawl atât pe pagini noi pe care le indexează, cât și pe pagini preexistente.

Întrucât bugetul alocat de Google pentru crawling este alocat și limitat în funcție de anumiți factori, la fel și crawlerii, care funcționează după niște priorități. Scopul acestui sistem este de a da crawl paginilor mai importante de pe un website. Prioritățile pentru crawleri sunt ranking-ul paginii, frecvența actualizării paginii și dacă pagina este nouă.