AIクローラーをブロックすべき？

どの種類かによる。まとめて扱うとAI検索から除外されることがある。OAI-SearchBotやClaude-SearchBot、PerplexityBotなどの取得ボットをブロックするとAI回答で引用されなくなる。GPTBotやCCBotなどの学習ボットをブロックしても引用には影響せず、将来のモデル学習を拒否するだけ。多くの人は「AIをブロック」と言って後者を指し、誤って前者をブロックしている。

Google-ExtendedとGooglebotの違いは？

Google-Extendedはクローラーではなく、Googlebotが取得済みのコンテンツをGeminiの学習に使うかどうかを制御するオプトアウトトークン。これをブロックしてもGoogle検索のインデックスやランキングには影響しない。Applebot-Extendedも同様にApple向け。

robots.txtはページのインデックス登録を防ぐ？

いいえ、これがrobots.txtで最も多い誤解。Disallowはクロールを止めるだけでインデックス登録は止めない。robots.txtでブロックされたページでも、他のページからリンクされていれば説明なしで検索結果に出ることがある。インデックスから外すにはnoindexメタタグが必要で、そのためにはタグを読み取れるようクロール可能にしなければならない。

ファイルはどこに置くの？

ドメインのルートに置く、正確には https://example.com/robots.txt。プロトコル、ホスト、ポートごとに適用されるため、サブドメインごとに必要。クローラーは他の場所は見ず、サブディレクトリ内には見つけない。

Crawl-delayは効果ある？

Googleは完全に無視するので、代わりにSearch Consoleのクロール速度設定を使う。BingやYandexは尊重する。これらのためにあるが、多くのサイトでは空のままで問題ない。

robots.txt生成器

AIクローラーのブロックは1つじゃなく3つの判断が必要

ほとんどのrobots.txtジェネレーターは「AIボットをブロック」1つのチェックボックスだけ。これは3つの全く違う結果を混同していて、多くの場合、モデル学習を拒否したつもりがAI検索からサイトが消えてしまいます。

リトリーバルクローラー - これをブロックすると引用が減る

OAI-SearchBot, Claude-SearchBot および PerplexityBot ここで重要なのはこれらです。これらは今まさに誰かが尋ねている質問に答えるためのページを取得し、AIの回答の下に引用リンクを生成します。これらをブロックすると、回答に表示されません。ほとんどのビジネスにとって、これは単純なミスです。

ユーザー起動型フェッチャー - 限られた特定のコスト

ChatGPT-User, Claude-Userチャットにリンクを貼って質問された時にページを取得します。ブロックするとその流れが止まるだけ。他は影響なし。ページがゲート付きならブロックしても合理的、それ以外は無意味です。

トレーニングクローラー - 正当なビジネス判断

GPTBot, ClaudeBot, CCBot, Google-Extended将来のモデル学習用のコーパスを収集します。ブロックすると 影響はありません 今日引用されるかどうかに関するものです。多くの出版社が意図的にブロックしており、それは正当な選択であり欠陥ではないため、どのツールもそれを欠陥として指摘すべきではありません。

クローラーではないもの

Google-Extended 何も取得しません。Googlebotが既に持つコンテンツでGeminiを学習させるかどうかを制御するオプトアウトトークンです。ブロックしてもGoogle検索のインデックスやランキングには全く影響しません。 Applebot-Extended Appleでも同じ考え方です。

ファイルを公開したら、実際に何を許可しているか確認しようその他の無料ツール同様に。