Crawler

Definizione di Crawler

Un crawler (chiamato anche spider, o robot), è un software che rende possibile l’analisi dei contenuti di un web o database in maniera continuata nel tempo ed automatizzata. Il crawling è di solito svolto per conto di di o strumenti professionali (es. seo o Web Marketing).

I crawler sono programmi o script che automatizzano operazioni quali l’acquisizione di copie testuali (soltanto) dei documenti visitati, e le inseriscono in un indice.

Nel web il crawler va ad analizzare le pagine che gli vengono fornite dal motore di ricerca. Queste pagine viene di solito fornita sottoforma di una lista di URL dal programmatore stesso del sito al motore di ricerca, che poi fa si che il crawler vada ad analizzare quella lista di URL inviata.

Per bloccare il crawler dall’accedere a determinate pagine (url) dei quali si vuole negare l’accesso, si può farlo tramite il file “robot.txt” caricato nella root del dominio. Questa azione non garantisce comunque la deindicizzazione dalle pagine dei risultati (SERP) dei motori di ricerca.