Draftcamp

Gerador de robots.txt

Cria um robots.txt que trata os crawlers de treino AI, recuperação e busca do utilizador como decisões separadas

Funciona totalmente no teu navegador – o teu texto nunca é enviado

Motores de busca

Um caminho por linha

Ignorado pelo Google

Crawlers de IA

Três decisões separadas, não uma. Bloqueio desligado por defeito.

Retrieval (citation-eligible)

Estas produzem citações. Bloqueá-las elimina-te completamente das respostas de IA – quase sempre um erro.

User-triggered fetch

Estas carregam a tua página quando alguém cola o link numa conversa. Bloqueá-las impede isso, e mais nada.

Model training

Estas recolhem dados para treinar modelos futuros. Bloqueá-las não afeta se és citado hoje. Uma decisão comercial legítima de qualquer forma.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Carrega na raiz do teu domínio, exatamente em /robots.txt. Cada subdomínio precisa do seu.

Bloquear crawlers de IA são três decisões, não uma

Quase todos os geradores de robots.txt oferecem uma única caixa "bloquear bots de IA". Essa opção junta três resultados diferentes, e o mais comum é um site que queria sair do treino de modelos e acabou por se excluir da pesquisa de IA.

Crawlers de recuperação – bloqueá-los custa-te citações

OAI-SearchBot, Claude-SearchBot e PerplexityBot são as que importam aqui. Estas páginas são acedidas para responder a uma pergunta que alguém está a fazer neste momento, e são elas que geram o link de citação sob uma resposta de IA. Bloqueá-las significa que não apareces na resposta. Para quase todas as empresas, isto é um erro simples.

Buscadores acionados pelo utilizador – um custo específico e limitado

Utilizador ChatGPT, Utilizador Claude. Estes buscam a tua página quando alguém cola o link numa conversa e pergunta sobre ela. Bloqueá-los interrompe esse fluxo e nada mais. Faz sentido bloquear se as tuas páginas são restritas; caso contrário, é inútil.

Crawlers de treino – uma decisão legítima de negócio

GPTBot, ClaudeBot, CCBot, Google-Extended. Estes recolhem corpora para treinar modelos futuros. Bloqueá-los tem nenhum efeito sobre se és citado hoje. Muitos editores bloqueiam-nos de propósito, e é uma escolha defensável - não um defeito, por isso nenhuma ferramenta deve assinalá-lo como tal.

Aquele que não é um crawler

Google-Extended nunca busca nada. É um token de opt-out que controla se o conteúdo que o Googlebot já tem pode treinar o Gemini. Bloqueá-lo não afeta a indexação ou ranking do Google Search. Applebot-Extended é a mesma ideia para a Apple.

Quando o ficheiro estiver ativo, confirma o que realmente permite com o restante das ferramentas gratuitas também.

Perguntas frequentes

Devo bloquear crawlers de IA?
Depende totalmente do tipo, e juntar tudo é como as pessoas se excluem acidentalmente da pesquisa por IA. Bloquear bots de recuperação como OAI-SearchBot, Claude-SearchBot e PerplexityBot significa que não podes ser citado em respostas de IA. Bloquear bots de treino como GPTBot e CCBot não afeta citações – apenas impede treino futuro do modelo. A maioria que diz "bloquear IA" quer dizer o segundo e faz o primeiro por engano.
Qual é a diferença entre Google-Extended e Googlebot?
Google-Extended não é um crawler. É um token de exclusão que controla se o conteúdo que o Googlebot já recolheu pode ser usado para treino do Gemini. Bloqueá-lo não afeta a indexação ou ranking na Pesquisa Google. Applebot-Extended funciona da mesma forma para a Apple.
O robots.txt impede que uma página seja indexada?
Não, e este é o erro mais comum no robots.txt. Disallow impede o crawling, não a indexação. Uma página bloqueada no robots.txt pode aparecer nos resultados – geralmente sem descrição – se outras páginas linkarem para ela. Para manter algo fora do índice precisas de uma meta tag noindex, e isso exige que a página seja rastreável para ler a tag.
Onde é que o ficheiro deve ficar?
Na raiz do domínio, exatamente: https://example.com/robots.txt. Aplica-se por protocolo, host e porta, por isso cada subdomínio precisa do seu próprio. Os crawlers não procuram noutro lado e não o encontram numa subpasta.
O Crawl-delay funciona?
Não para o Google, que o ignora completamente – usa a definição de taxa de rastreio no Search Console. Bing e Yandex respeitam-no. Está aí para esses, mas na maioria dos sites deve ficar vazio.