Três decisões, não um único interruptor
A maioria dos conselhos sobre robots.txt para IA trata todos os bots como iguais. Não são, e essa diferença decide se apareces nas respostas de IA ou não.
Recuperação – bloquear custa-te citações
OAI-SearchBot, Claude-SearchBot, PerplexityBot buscar páginas para responder a uma pergunta em tempo real e gerar o link de citação sob a resposta. Bloqueá-las exclui-te da pesquisa AI. Para quase todas as empresas, é um erro, geralmente cometido por acidente ao tentar fazer outra coisa.
Acionado pelo utilizador – um custo limitado
Utilizador ChatGPT e Utilizador Claude buscar a tua página quando alguém cola o link numa conversa. Bloqueá-lo impede isso e mais nada.
Formação - uma decisão empresarial real
GPTBot, ClaudeBot, CCBot, Google-Extended recolher corpora para modelos futuros. Bloqueá-los tem nenhum efeito na citação atual. Muitos editores bloqueiam-nos de propósito. É uma escolha, não um defeito, e reportamos como nem bom nem mau.
Aquele que não é um crawler
Google-Extended nunca busca nada. Controla se o conteúdo que o Googlebot já tem pode treinar o Gemini, e bloqueá-lo não afeta o Google Search. Equipas bloqueiam-no por medo de perder ranking, o que não acontece, ou evitam-no por receio de perder um opt-out de treino que queriam.
Para saber se a página vale a pena ser citada quando os crawlers a visitam, executa o Verificador de visibilidade AI. Para escrever as regras inicialmente, usa o gerador de robots.txt em vez disso.