Tiga keputusan, bukan satu tombol
Kebanyakan saran robots.txt tentang AI menganggap semua bot sama. Padahal tidak, dan perbedaan itu menentukan apakah kamu muncul di jawaban AI atau tidak.
Pengambilan - pemblokiran membuatmu kehilangan kutipan
OAI-SearchBot, Claude-SearchBot, PerplexityBot mengambil halaman untuk menjawab pertanyaan langsung, dan menghasilkan tautan kutipan di bawah jawaban. Memblokir ini membuatmu keluar dari pencarian AI. Untuk hampir semua bisnis, ini kesalahan, dan biasanya terjadi secara tidak sengaja saat mencoba melakukan hal lain.
Dipicu pengguna - biaya terbatas
ChatGPT-User dan Claude-User mengambil halamanmu saat seseorang menempelkan tautan di chat. Memblokirnya akan merusak fungsi ini dan tidak yang lain.
Pelatihan - keputusan bisnis nyata
GPTBot, ClaudeBot, CCBot, Google-Extended mengumpulkan korpora untuk model masa depan. Memblokirnya memiliki tidak ada efek pada kutipan hari ini. Banyak penerbit sengaja memblokir ini. Itu pilihan, bukan cacat, dan kami melaporkannya tanpa nilai baik atau buruk.
Yang bukan crawler
Google-Extended tidak pernah mengambil apa pun. Ini mengatur apakah konten yang sudah dimiliki Googlebot bisa melatih Gemini, dan memblokirnya tidak memengaruhi Google Search. Tim memblokirnya karena takut peringkat turun yang sebenarnya tidak mungkin terjadi, atau menghindarinya karena takut keluar dari pelatihan yang sebenarnya mereka inginkan.
Untuk tahu apakah halaman layak dikutip setelah crawler masuk, jalankan Pemeriksa visibilitas AI. Untuk membuat aturan awal, gunakan generator robots.txt sebagai gantinya.