AI 크롤러를 차단해야 할까?

어떤 종류냐에 따라 다릅니다. 이들을 한꺼번에 막으면 AI 검색에서 제외될 수 있어요. OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색 봇을 차단하면 AI 답변에 인용되지 않습니다. GPTBot, CCBot 같은 학습 봇을 차단해도 인용에는 영향 없고 모델 학습만 거부해요. 대부분 'AI 차단'이라 말할 때 두 번째를 뜻하지만 첫 번째를 실수로 하죠.

Google-Extended와 Googlebot의 차이는?

Google-Extended는 크롤러가 아니에요. Googlebot이 수집한 콘텐츠를 Gemini 학습에 쓸지 말지 선택하는 토큰입니다. 차단해도 구글 검색 색인이나 순위에 전혀 영향 없어요. Applebot-Extended도 애플에서 같은 방식으로 작동합니다.

robots.txt가 페이지 색인을 막나요?

아니요, 이게 robots.txt에서 가장 흔한 실수입니다. Disallow는 크롤링만 막고 색인은 막지 않아요. robots.txt로 차단된 페이지도 다른 페이지가 링크하면 검색 결과에 나오는데 보통 설명은 없죠. 색인에서 완전히 제외하려면 noindex 메타 태그가 필요하고, 이 태그를 읽으려면 페이지가 크롤 가능해야 합니다.

이 파일은 어디에 두는 거야?

도메인 루트에 정확히 위치해야 합니다: https://example.com/robots.txt. 프로토콜, 호스트, 포트별로 적용되므로 서브도메인마다 각각 필요해요. 크롤러는 다른 곳을 보지 않고 하위 폴더에서도 찾지 않습니다.

Crawl-delay가 효과가 있나요?

구글은 전혀 무시하니 Search Console에서 크롤링 속도 설정을 하세요. Bing과 Yandex는 이를 존중합니다. 그래서 존재하지만 대부분 사이트에선 비워두는 게 좋습니다.

robots.txt 생성기

AI 크롤러 차단은 한 가지가 아니라 세 가지 결정이야

거의 모든 robots.txt 생성기는 'AI 봇 차단' 체크박스 하나만 제공해. 이 하나가 세 가지 전혀 다른 결과를 섞어버려서, 모델 학습 제외하려다 AI 검색에서 사이트가 아예 사라지는 일이 흔해.

검색용 크롤러 - 이걸 막으면 인용 링크를 잃어버려

OAI-SearchBot, Claude-SearchBot 그리고 PerplexityBot 여기서 중요한 건 바로 이 페이지들이야. 이 페이지들은 누군가 지금 묻는 질문에 답하기 위해 불러와지고, AI 답변 아래 인용 링크를 생성하지. 이 페이지들을 차단하면 답변에 포함되지 않아. 거의 모든 비즈니스에서 이건 명백한 실수야.

사용자 유발 크롤러 - 좁고 구체적인 비용

ChatGPT-User, Claude-User. 누군가 채팅에 링크를 붙여넣고 물으면 페이지를 가져와. 막으면 그 흐름만 끊겨. 페이지가 유료라면 막는 게 합리적, 아니면 쓸모없어.

학습용 크롤러 - 정당한 비즈니스 결정

GPTBot, ClaudeBot, CCBot, Google-Extended. 이들은 미래 모델 학습용 데이터를 수집해. 차단하면 영향 없음 오늘날 인용 여부에 대해. 많은 출판사가 의도적으로 차단하는데, 이는 결함이 아닌 정당한 선택이라 어떤 도구도 이를 문제로 표시해서는 안 돼.

크롤러가 아닌 것

Google-Extended 아무것도 가져오지 않아. Googlebot이 가진 콘텐츠로 Gemini 학습을 제어하는 옵트아웃 토큰이며, 차단해도 Google 검색 색인이나 순위에 전혀 영향 없어. Applebot-Extended Apple도 같은 개념이야.

파일이 활성화되면 실제 허용 범위를 확인해봐 나머지 무료 도구들 마찬가지야.