Draftcamp

Generatore robots.txt

Crea un robots.txt che tratta crawler di training AI, recupero e fetch utente come decisioni separate

Funziona interamente nel browser - il tuo testo non viene mai caricato

Motori di ricerca

Un percorso per riga

Ignorato da Google

Crawler AI

Tre decisioni separate, non una. Il blocco è disattivato di default.

Retrieval (citation-eligible)

Questi generano citazioni. Bloccarli ti esclude completamente dalle risposte AI - quasi sempre un errore.

User-triggered fetch

Questi recuperano la tua pagina quando qualcuno incolla il link in una chat. Bloccarli interrompe solo questo, nient'altro.

Model training

Questi raccolgono dati per l'addestramento di modelli futuri. Bloccarli non influisce sulle citazioni attuali. Una decisione aziendale legittima in entrambi i casi.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Caricalo nella root del tuo dominio, esattamente in /robots.txt. Ogni sottodominio ne ha bisogno di uno proprio.

Bloccare i crawler AI richiede tre decisioni, non una sola

Quasi tutti i generatori di robots.txt offrono una sola casella "blocca bot AI". Questa unisce tre risultati diversi, e spesso il sito che voleva escludersi dall'addestramento modelli sparisce per errore dalla ricerca AI.

Crawler di recupero - bloccarli ti costa citazioni

OAI-SearchBot, Claude-SearchBot e PerplexityBot sono quelle che contano qui. Queste recuperano pagine per rispondere a una domanda che qualcuno sta facendo in questo momento, e sono ciò che genera il link di citazione sotto una risposta AI. Se le blocchi, non comparirai nella risposta. Per quasi tutte le aziende è un errore semplice da evitare.

Fetcher attivati dall’utente - un costo limitato e specifico

Utente ChatGPT, Utente Claude. Recuperano la tua pagina quando qualcuno incolla il link in una chat e chiede informazioni. Bloccarli interrompe solo questo flusso. Ha senso se le pagine sono protette, altrimenti è inutile.

Crawler di addestramento - una decisione aziendale legittima

GPTBot, ClaudeBot, CCBot, Google-Extended. Raccolgono dati per addestrare modelli futuri. Bloccarli ha nessun effetto sul fatto che tu venga citato oggi. Molti editori li bloccano intenzionalmente, ed è una scelta legittima, non un difetto, perciò nessuno strumento dovrebbe segnalarlo come tale.

Quello che non è un crawler

Google-Extended non recupera mai nulla. È un token di opt-out che controlla se i contenuti già acquisiti da Googlebot possono addestrare Gemini. Bloccarlo non influisce affatto sull’indicizzazione o ranking di Google Search. Applebot-Extended è la stessa idea per Apple.

Una volta attivo il file, verifica cosa permette realmente con il il resto degli strumenti gratuiti anche.

Domande frequenti

Devo bloccare i crawler AI?
Dipende completamente dal tipo, e metterli tutti insieme è il motivo per cui molti si escludono involontariamente dalla ricerca AI. Bloccare bot di recupero come OAI-SearchBot, Claude-SearchBot e PerplexityBot significa non poter essere citati nelle risposte AI. Bloccare bot di addestramento come GPTBot e CCBot non influisce sulle citazioni, solo sull'addestramento futuro. La maggior parte di chi dice "blocca AI" intende il secondo e per errore fa il primo.
Qual è la differenza tra Google-Extended e Googlebot?
Google-Extended non è un crawler. È un token di opt-out che controlla se i contenuti già recuperati da Googlebot possono essere usati per l'addestramento di Gemini. Bloccarlo non influisce sull'indicizzazione o sul ranking in Google Search. Applebot-Extended funziona allo stesso modo per Apple.
Robots.txt impedisce l'indicizzazione di una pagina?
No, ed è l'errore più comune con robots.txt. Disallow blocca il crawling, non l'indicizzazione. Una pagina bloccata in robots.txt può comunque apparire nei risultati - di solito senza descrizione - se altre pagine vi linkano. Per escludere qualcosa dall'indice serve un meta tag noindex, che richiede che la pagina sia crawlable per poter leggere il tag.
Dove va il file?
Alla radice del dominio, esattamente: https://example.com/robots.txt. Si applica per protocollo, host e porta, quindi ogni sottodominio ne ha bisogno uno proprio. I crawler non cercano altrove e non lo troveranno in una sottocartella.
Crawl-delay funziona?
Non per Google, che lo ignora completamente - usa invece l'impostazione del crawl rate in Search Console. Bing e Yandex lo rispettano. È presente per loro, ma nella maggior parte dei siti dovrebbe restare vuoto.