Crawler AI: GPTBot, ClaudeBot e robots.txt nel 2026

I crawler AI sono i bot automatici che OpenAI, Anthropic, Perplexity, Google e Microsoft inviano a leggere il vostro sito per tre compiti distinti: addestrare i modelli, costruire indici di ricerca e leggere le pagine in tempo reale quando un utente lo chiede. Ogni bot obbedisce al proprio token nel robots.txt: bloccare quello sbagliato può togliervi silenziosamente dalle risposte IA. E secondo i test condotti da Vercel con Merj nel dicembre 2024, nessuno dei principali crawler AI esegue JavaScript: quello che il vostro server invia come HTML è ciò che vedono.

Perché i crawler AI contano per la vostra visibilità?

Perché essere scansionati è il biglietto d’ingresso: se un bot di ricerca IA non legge mai la vostra pagina, ChatGPT, Claude o Perplexity non possono citarla. Secondo Cloudflare (luglio 2025), il traffico combinato dei crawler di IA e di ricerca è cresciuto del 18% fra maggio 2024 e maggio 2025. La quota di GPTBot su quel traffico è passata dal 2,2% al 7,7% — un aumento del 305% — mentre Googlebot è salito dal 30% al 50%, ClaudeBot è sceso dall’11,7% al 5,4% e Bingbot si è attestato intorno all’8,7%.

La maggior parte dei proprietari di siti non ha reagito. Nello stesso studio, solo il 14% dei 3.816 domini top analizzati aveva direttive robots.txt specifiche per i bot AI, e GPTBot era il bot più bloccato in assoluto (312 domini). Essere scansionati è il primo passo; trasformare le scansioni in citazioni è un problema diverso, che affrontiamo in come i motori di IA scelgono che cosa citare.

Quali sono i tre tipi di bot AI?

Ogni crawler AI documentato svolge uno di tre compiti: addestramento dei modelli, indicizzazione per la ricerca, oppure lettura in tempo reale attivata da un utente. La distinzione conta perché ogni tipo comporta un compromesso diverso, e il robots.txt vi permette di trattarli separatamente.

Secondo Cloudflare (agosto 2025), l’addestramento dei modelli rappresenta circa il 79-80% dell’attività dei bot AI (in crescita dal 72% di luglio 2024), la ricerca il 17% e le azioni degli utenti il 3,2%. La categoria delle azioni utente è quella che cresce più in fretta: il Radar 2025 Year in Review di Cloudflare ha misurato una crescita di oltre 15 volte del fetch attivato dagli utenti nel corso del 2025, con ChatGPT-User arrivato a picchi fino a 16 volte il livello di inizio anno.

Ecco l’elenco completo dei bot documentati e che cosa comporta davvero bloccarli:

Bot	Operatore	Compito	Se lo bloccate nel robots.txt	Esegue JS
GPTBot	OpenAI	Addestramento dei modelli	Contenuti esclusi dai dataset di addestramento di OpenAI	No
OAI-SearchBot	OpenAI	Indice di ricerca di ChatGPT	Il vostro sito non può più comparire nei risultati di ricerca di ChatGPT	No
ChatGPT-User	OpenAI	Lettura in tempo reale su richiesta dell’utente	Potrebbe non applicarsi — le visite le avvia l’utente	No
OAI-AdsBot	OpenAI	Convalida le landing page pubblicitarie	—	Non testato
ClaudeBot	Anthropic	Addestramento dei modelli	Materiali futuri esclusi dai dataset di addestramento di Claude	No
Claude-SearchBot	Anthropic	Indice di ricerca di Claude	Minore visibilità nei risultati di ricerca di Claude	Non testato
Claude-User	Anthropic	Lettura in tempo reale su richiesta dell’utente	Claude non può più leggere le vostre pagine durante le conversazioni con gli utenti	Non testato
PerplexityBot	Perplexity	Indice di ricerca (non addestramento)	Non potete più essere mostrati o collegati nei risultati di Perplexity	No
Perplexity-User	Perplexity	Lettura in tempo reale su richiesta dell’utente	Generalmente ignorato, secondo la documentazione di Perplexity	Non testato
Google-Extended	Google	Token che controlla addestramento e grounding di Gemini	Nessun addestramento né grounding di Gemini; Google Search non è toccata	n/d
Bingbot	Microsoft	Indice di Bing; secondo quanto riportato, alimenta anche le risposte di Copilot *	Uscite da Bing e, stando a quanto riportato, da Copilot in un colpo solo *	Non testato

Le finalità seguono la documentazione ufficiale di ciascun vendor (2026), tranne la riga di Bingbot (*): il suo legame con Copilot ci arriva dalla documentazione di Bing Webmaster Tools tramite fonti secondarie — non siamo riusciti ad aprire la pagina primaria, quindi consideratelo riportato, non verificato. La colonna JavaScript riflette i test di Vercel di fine 2024, con i bot non testati segnalati come tali.

Quali crawler usa OpenAI e che cosa controlla ciascuno?

OpenAI documenta quattro crawler, ognuno con il proprio token robots.txt, la propria stringa user-agent e i propri intervalli IP pubblicati, secondo la documentazione sui crawler di OpenAI (2026):

1. GPTBot (user-agent GPTBot/1.4, IP pubblicati su openai.com/gptbot.json) raccoglie contenuti per l’addestramento dei modelli. Metterlo in Disallow esclude il vostro sito dai dataset di addestramento di OpenAI.
2. OAI-SearchBot (OAI-SearchBot/1.4) alimenta la ricerca dentro ChatGPT. È consentirlo che permette al vostro sito di comparire nei risultati di ricerca di ChatGPT, e OpenAI segnala che possono servire circa 24 ore per processare gli aggiornamenti del robots.txt.
3. ChatGPT-User (ChatGPT-User/1.0) legge le pagine durante le conversazioni degli utenti. Poiché ogni visita è avviata da una persona, OpenAI dichiara che il robots.txt potrebbe non applicarsi.
4. OAI-AdsBot convalida le landing page degli annunci.

Le impostazioni sono indipendenti fra i bot. La conseguenza pratica: potete rifiutare l’addestramento di OpenAI e mantenere piena visibilità nella ricerca di ChatGPT — sono due leve separate.

Che cosa fanno ClaudeBot, Claude-SearchBot e Claude-User?

Anthropic documenta tre crawler, tutti rispettosi del robots.txt, secondo il centro assistenza di Claude (2026). ClaudeBot raccoglie contenuti web che possono essere usati per addestrare i modelli Claude e supporta la direttiva Crawl-delay. Claude-SearchBot indicizza le pagine per migliorare la qualità dei risultati di ricerca di Claude. Claude-User accede a una pagina quando la domanda di un utente a Claude lo richiede.

Bloccare ciascun bot ha un effetto distinto e richiede una propria voce nel robots.txt. Anthropic afferma che, una volta messo ClaudeBot in Disallow, i materiali futuri dovrebbero essere esclusi dai dataset di addestramento dei suoi modelli. Gli intervalli IP pubblicati si trovano su claude.com/crawling/bots.json, così potete verificare che il traffico che si dichiara Claude lo sia davvero.

Perplexity rispetta il robots.txt?

Il suo crawler dichiarato sì; il suo agente utente non è tenuto a farlo. Secondo la documentazione sui crawler di Perplexity (2026), PerplexityBot (PerplexityBot/1.0, IP su perplexity.com/perplexitybot.json) indicizza le pagine per mostrare e collegare i siti nei risultati — non per addestrare modelli — e rispetta il robots.txt. Perplexity-User gestisce le visite avviate dagli utenti e, per usare le parole di Perplexity, “generally ignores robots.txt rules” perché ogni richiesta nasce da una persona.

C’è anche un problema di credibilità documentato. Il 4 agosto 2025 Cloudflare ha accusato Perplexity di crawling furtivo: uno user-agent Chrome generico e non dichiarato che generava 3-6 milioni di richieste al giorno oltre ai 20-25 milioni del crawler dichiarato, con rotazione di IP e ASN per aggirare i blocchi e ignorando il robots.txt sui domini di test. Cloudflare ha rimosso Perplexity dalla propria lista di bot verificati. La lezione si generalizza: il robots.txt è una richiesta di cortesia, non una barriera tecnica.

Google-Extended è un crawler, e Bingbot alimenta Copilot?

Google-Extended non è affatto un crawler. È un token di prodotto autonomo del robots.txt senza uno user-agent proprio — la scansione la fanno gli user-agent già esistenti di Google. Il token controlla se i vostri contenuti possono essere usati per addestrare i futuri modelli Gemini (Gemini Apps e Vertex AI) e per il grounding, secondo la documentazione sui crawler di Google (2026):

“Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal.” — Google for Developers, 2026

I proprietari di siti si sono accorti di quanto sia conveniente quello scambio: il Radar 2025 Year in Review di Cloudflare ha rilevato che le direttive allow per Google-Extended sono triplicate nel corso del 2025, mentre GPTBot, ClaudeBot e CCBot guidavano la classifica dei bot bloccati integralmente più di frequente.

Bingbot è il caso opposto — con una riserva sulle prove in nostro possesso. Secondo quanto riporta di seconda mano la documentazione di Bing Webmaster Tools, una pagina che non siamo riusciti ad aprire direttamente per verificarla, la stessa scansione di Bingbot alimenta sia l’indice di Bing Search sia le risposte IA di Microsoft Copilot, e Microsoft pubblica gli IP validati in bingbot.json e raccomanda la verifica via DNS. Lo segnaliamo come riportato, non come confermato. Quello che invece è documentato di prima mano è lo user-agent ufficiale — una stringa in stile Chrome che contiene bingbot/2.0, con variante mobile — annunciato da Microsoft il 28 aprile 2022. Se il quadro della scansione condivisa regge, allora, a differenza di OpenAI o Anthropic, qui non esiste una leva separata: visibilità su Bing ed esposizione su Copilot arrivano in pacchetto.

Quanto scansionano i bot AI e quanto traffico restituiscono?

Scansionano molto e rimandano poco. A fine 2024 Vercel ha misurato i volumi mensili sulla propria rete: GPTBot ha effettuato 569 milioni di richieste, il Claude di Anthropic 370 milioni, AppleBot 314 milioni e PerplexityBot 24,4 milioni — insieme circa il 20% dei 4,5 miliardi di Googlebot nello stesso periodo.

Lo stesso studio ha trovato i crawler AI sorprendentemente inefficienti: ChatGPT ha speso il 34,82% dei suoi fetch su pagine 404 e Claude il 34,16%, contro l’8,22% di Googlebot. ChatGPT dà priorità all’HTML (57,70% dei fetch), mentre Claude propende per le immagini (35,17%).

Il traffico di referral è la parte che riporta con i piedi per terra. I rapporti crawl-to-refer di Cloudflare — pagine scansionate per ogni visita umana referita — arrivano da due post diversi, che misurano tagli differenti: per questo ogni colonna è etichettata con il proprio.

Operatore	Tutti i siti — Cloudflare, 29 ago 2025 (finestra lug 2025)	Editori di notizie — Cloudflare, 28 ago 2025
Anthropic	38.066:1	2.500:1
OpenAI	1.091:1	152:1
Perplexity	195:1	32,7:1
Google	5,4:1	—

“…still crawled 38,000 pages for every referred page visit in July 2025.” — Cloudflare su Anthropic, 29 agosto 2025

Secondo l’analisi per settore di Cloudflare (agosto 2025), ClaudeBot e GPTBot insieme rappresentano quasi la metà del crawling IA osservato, e nel settore delle notizie ChatGPT-User raggiunge il 14,9% del crawling — un segnale di forte domanda da parte di utenti reali. La lettura strategica per una PMI: oggi la visibilità IA paga in citazioni e presenza di marca, non in clic di massa.

I crawler AI eseguono JavaScript?

No — nessuno dei principali crawler AI esegue JavaScript. Uno studio di Vercel con Merj (dicembre 2024) li ha testati direttamente:

“ChatGPT and Claude don’t execute JavaScript.” — Vercel, dicembre 2024

Né GPTBot, né OAI-SearchBot, né ChatGPT-User, né ClaudeBot, né PerplexityBot, né Meta-ExternalAgent, né Bytespider, né CCBot hanno renderizzato il JS. Solo Gemini — tramite l’infrastruttura di Googlebot — e AppleBot lo hanno fatto. I bot scaricano comunque i file JavaScript (l’11,50% dei fetch di ChatGPT, il 23,84% di quelli di Claude): semplicemente non li eseguono mai.

L’implicazione è brutale: se i vostri prezzi, le descrizioni di prodotto o le FAQ vengono iniettati lato client, sono invisibili agli assistenti IA. I contenuti critici devono arrivare nella risposta HTML del server, tramite rendering lato server o generazione statica. È la stessa disciplina che premia la ricerca classica — si veda le fondamenta della SEO tecnica — ed è la prima cosa che controlliamo in un audit di SEO tecnica.

Come configurare il robots.txt per i bot AI?

Bot per bot, riga per riga — non esiste un interruttore unico per l’IA. Mettere GPTBot in Disallow blocca solo il crawler di addestramento di OpenAI e lascia intatto OAI-SearchBot; mettere ClaudeBot in Disallow non tocca Claude-SearchBot né Claude-User. Sia OpenAI sia Anthropic avvertono che bloccare i loro bot di ricerca riduce la vostra visibilità e le citazioni nelle loro risposte.

Un punto di partenza ragionevole per la maggior parte delle PMI: consentire i bot di ricerca e di utente, poi prendere una decisione consapevole sui bot di addestramento.

# Opzione A — predefinita: consentire tutto (nessuna voce IA necessaria)

# Opzione B — bloccare l'addestramento, mantenere la visibilità nella ricerca IA
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Opzione C — limitare l'addestramento invece di bloccarlo
# (Anthropic documenta il supporto a Crawl-delay per ClaudeBot)
User-agent: ClaudeBot
Crawl-delay: 1

Due dettagli operativi. Primo: OAI-SearchBot può impiegare circa 24 ore per processare gli aggiornamenti del robots.txt, secondo la documentazione di OpenAI. Secondo: ogni provider pubblica le liste di IP (openai.com/gptbot.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json), così potete verificare che un visitatore che si dichiara bot sia autentico. Notate anche che il robots.txt regola chi può scansionare; il file llms.txt, che è cosa diversa, propone che cosa i sistemi IA dovrebbero leggere per primo — si veda la nostra guida a llms.txt.

Che cosa fare questa settimana?

Una checklist pratica per un team piccolo:

1. Estraete i log del server e cercate GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot e bingbot. Prima la baseline, poi le opinioni.
2. Verificate il vostro robots.txt rispetto alla tabella qui sopra. Confermate che nessun bot di ricerca o di utente sia bloccato per errore — ricordate che solo il 14% dei domini top aveva una qualsiasi direttiva specifica per l’IA (Cloudflare, luglio 2025).
3. Decidete la vostra posizione sull’addestramento. Bloccare GPTBot e ClaudeBot non costa visibilità nella ricerca IA: OpenAI e Anthropic tengono la ricerca su leve separate. Google-Extended è uno scambio diverso — Google dichiara che non incide sull’inclusione né sul ranking in Google Search, ma lo stesso token disattiva anche il grounding, quindi è l’unico blocco di addestramento che porta con sé un costo di visibilità IA.
4. Testate una pagina chiave con JavaScript disattivato, o richiamatela con curl. Se il contenuto principale manca dall’HTML grezzo, i crawler AI non possono vederlo.
5. Ricontrollate i log dopo 24-48 ore, dato che OpenAI afferma che OAI-SearchBot può impiegare circa 24 ore per processare le modifiche al robots.txt.

Quella sequenza — baseline, implementazione, misurazione prima e dopo — è esattamente ciò che eseguiamo nel nostro servizio di visibilità IA, con ogni numero pubblicato etichettato come misurato, calcolato o supposto.