- Come creare un sito web con WordPress gratis: guida completa - Aprile 21, 2023
- E-commerce: cos’è, come funziona e come realizzarlo per vendere online - Aprile 20, 2023
- SEO Base: Nozioni di Base per iniziare con l’ottimizzazione - Marzo 12, 2023
Definizione di Crawler
Un crawler (chiamato anche spider, o robot), è un software che rende possibile l’analisi dei contenuti di un sito web o database in maniera continuata nel tempo ed automatizzata. Il crawling è di solito svolto per conto di motori di ricerca o strumenti professionali (es. seo o Web Marketing).
I crawler sono programmi o script che automatizzano operazioni quali l’acquisizione di copie testuali (soltanto) dei documenti visitati, e le inseriscono in un indice.
Nel web il crawler va ad analizzare le pagine che gli vengono fornite dal motore di ricerca. Queste pagine viene di solito fornita sottoforma di una lista di URL dal programmatore stesso del sito al motore di ricerca, che poi fa si che il crawler vada ad analizzare quella lista di URL inviata.
Per bloccare il crawler dall’accedere a determinate pagine (url) dei quali si vuole negare l’accesso, si può farlo tramite il file “robot.txt” caricato nella root del dominio. Questa azione non garantisce comunque la deindicizzazione dalle pagine dei risultati (SERP) dei motori di ricerca.
