Spider: cos’è e come funziona il crawler dei motori di ricerca

Uno spider (in italiano “ragno”), detto anche crawler, robot o bot, è un programma automatico che un motore di ricerca usa per visitare le pagine web, leggerne il contenuto e seguire i link per scoprirne altre. Quello di Google si chiama Googlebot, e Google stesso usa “crawler, robot, bot, spider” come sinonimi (come funziona la Ricerca Google). L’attività di scansione si chiama crawling.

Faccio SEO dal 2009 e lo spider è la prima cosa che controllo quando una pagina non compare su Google: se non viene scansionata, non può essere indicizzata. Ho riscritto questa voce a ottobre 2026: ho tolto un elenco di spider vecchio e senza fonti e ho riportato quello che Google scrive oggi nella sua documentazione.

Come funziona uno spider

Google descrive la Ricerca in tre fasi: scansione, indicizzazione e pubblicazione dei risultati (fonte). Lo spider lavora nella prima:

1. Scopre gli URL. Parte da pagine già note e segue i link verso quelle nuove. Può leggere anche una sitemap, se gliela segnali.
2. Scarica la pagina. Googlebot decide con un processo algoritmico quali siti visitare, ogni quanto e quante pagine prendere da ciascuno. Rallenta se il server risponde con errori, per esempio HTTP 500.
3. Esegue il rendering. Durante la scansione Google esegue il JavaScript con una versione recente di Chrome, come farebbe un browser.

Poi passa all’indicizzazione: le informazioni finiscono nell’indice, un grande database. Google precisa che l’indicizzazione non è garantita: non tutte le pagine elaborate vengono indicizzate. Quando qualcuno fa una ricerca, il motore di ricerca cerca nell’indice e ordina i risultati con i suoi algoritmi: il risultato è la SERP.

Googlebot, inoltre, non scansiona tutto ciò che scopre. Una pagina può essere esclusa dal robots.txt o essere dietro un login (fonte).

Googlebot: lo spider di Google

Googlebot è il nome generico dei crawler di Google Search. Ne esistono due tipi, Googlebot Smartphone e Googlebot Desktop. Per la maggior parte dei siti Google indicizza prima la versione mobile, quindi la maggior parte delle richieste arriva dal crawler mobile (documentazione Googlebot, aggiornata a febbraio 2026). Tre cose da sapere:

• Entrambi usano lo stesso nome nel robots.txt, quindi non puoi bloccarne uno solo con quel file.
• Lo user agent si falsifica facilmente. Per sapere se una richiesta arriva davvero da Google devi fare una ricerca DNS inversa sull’IP: il dominio deve essere googlebot.com, google.com o googleusercontent.com. In alternativa confronti l’IP con gli elenchi ufficiali (verifica di Googlebot).
• Googlebot non è l’unico crawler di Google: ce ne sono altri per prodotti specifici, come AdsBot (panoramica dei crawler Google).

Spider, crawler, robot, bot: è la stessa cosa?

Nel linguaggio SEO sì: sono sinonimi. “Crawler” è il termine tecnico più usato, “spider” viene dall’immagine del ragno che si muove sulla ragnatela dei link. “Crawling” è l’attività, “crawler” è il programma che la fa. La distinzione che conta è un’altra: scansionare non vuol dire indicizzare. Una pagina può essere scansionata e non finire mai nell’indice.

Altri spider che incontri

• Googlebot, il crawler di Google.
• DuckDuckBot, il crawler di DuckDuckGo: si identifica con lo user agent DuckDuckBot/1.1 e il motore pubblica l’elenco dei suoi indirizzi IP (DuckDuckGo).
• Gli altri motori hanno i loro crawler: per user agent e IP conviene leggere la documentazione di ciascuno, senza fidarsi di elenchi non datati.
• Gli spider dei software SEO. Screaming Frog SEO Spider scansiona un sito per cercare problemi tecnici e ha una versione gratuita fino a 500 URL per scansione (sito del produttore). Quando leggi “spider SEO” di solito si parla di questo tipo di strumento. Per il metodo di un audit completo leggi la guida alla SEO audit.

Esempio pratico: la pagina pubblicata che Google non mostra

Mettiamo che qualcuno mi scriva: “ho pubblicato la pagina ma su Google non c’è”. Procedo così:

1. Guardo il robots.txt. Quello di questo sito blocca solo la cartella di amministrazione e la ricerca interna (/?s= e /search/). Se trovo un Disallow sull’URL della pagina, lo spider non la legge.
2. Controllo noindex. Cerco nel codice una meta robots con noindex: in quel caso la pagina può essere scansionata ma non viene indicizzata.
3. Uso il Controllo URL di Search Console, che mi dice se Google ha scansionato e indicizzato quell’indirizzo.
4. Chiedo la scansione dallo stesso strumento solo se tutto è a posto. Chiederla più volte per lo stesso URL non la rende più rapida, e Google scrive che la scansione può richiedere da pochi giorni a qualche settimana (fonte). Per molti URL è meglio una sitemap.

Errori comuni

• Usare il robots.txt per nascondere una pagina. Il file serve a gestire il traffico dei crawler: se altre pagine linkano l’URL, Google può indicizzarlo anche senza visitarlo. Per tenerlo fuori servono noindex o una password (guida robots.txt).
• Bloccare CSS, JavaScript e immagini. Google sconsiglia di farlo quando la loro assenza rende la pagina più difficile da capire (stessa guida).
• Fidarsi dello user agent nei log. Si falsifica: verifica l’IP.
• Chiedere la scansione dello stesso URL più volte. Non serve (fonte).
• Confondere scansione e indicizzazione. Sono due fasi diverse e una pagina può bloccarsi nella seconda.

Per capire come la scansione si inserisce nel resto del lavoro, leggi la guida al posizionamento su Google.

Una pagina del tuo sito non viene scansionata o indicizzata? Guardo robots.txt, noindex e Search Console e ti dico dove si ferma: scrivimi e fissiamo una videochiamata oppure leggi come lavoro nella pagina sulla consulenza SEO.

Domande frequenti sullo spider

Cos’è uno spider?

Uno spider è un programma automatico che un motore di ricerca usa per visitare le pagine web, leggerle e seguire i link verso altre pagine. Si chiama anche crawler, robot o bot: Google usa tutti questi termini per Googlebot (fonte).

Come si chiama lo spider di Google?

Si chiama Googlebot ed è il nome generico dei crawler di Google Search, che sono due: Googlebot Smartphone e Googlebot Desktop. Per la maggior parte dei siti Google indicizza prima la versione mobile, quindi la maggior parte delle richieste arriva dal crawler mobile (documentazione Googlebot).

Come si blocca o si limita uno spider?

Con il file robots.txt, che serve a gestire il traffico dei crawler sul sito. Non serve a tenere una pagina fuori da Google: per quello servono noindex o una password (guida robots.txt). Googlebot rispetta il robots.txt nelle scansioni automatiche (crawler Google), ma non tutti i crawler lo fanno. Se il tuo server fatica a reggere le richieste di Googlebot puoi ridurre la frequenza di scansione, come spiega la documentazione Googlebot.

Cosa vuol dire “SEO Spider”?

Di solito indica Screaming Frog SEO Spider, un software che scansiona il tuo sito come farebbe un crawler e segnala link rotti, redirect, title e meta description mancanti o duplicati, direttive noindex e canonical (sito del produttore). Non è lo spider di un motore di ricerca: serve a fare gli audit.