Draftcamp

مولد ملف robots.txt

أنشئ robots.txt يعامل زواحف تدريب الذكاء الاصطناعي، الاسترجاع وجلب المستخدم كقرارات منفصلة

يعمل بالكامل في متصفحك - نصك لا يُرفع أبداً

محركات البحث

مسار واحد في كل سطر

يتجاهله Google

زواحف AI

ثلاث قرارات منفصلة، ليست واحدة. الحجب معطل افتراضياً.

Retrieval (citation-eligible)

هذه تولد اقتباسات. حظرها يعني استبعادك من إجابات AI - وغالباً ما يكون خطأ.

User-triggered fetch

هذه تجلب صفحتك عندما يلصق أحدهم الرابط في دردشة. الحظر يوقف ذلك فقط، ولا شيء آخر.

Model training

هذه تجمع بيانات تدريب للنماذج المستقبلية. الحظر لا يؤثر على اقتباسك اليوم. قرار تجاري مشروع بأي حال.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

ارفعه إلى جذر نطاقك، في /robots.txt بالضبط. كل نطاق فرعي يحتاج ملفه الخاص.

حجب زواحف AI هو ثلاث قرارات، وليس قراراً واحداً

معظم مولدات robots.txt تقدم خياراً واحداً لـ"حجب بوتات AI". هذا الخيار يخلط بين ثلاث نتائج مختلفة تماماً، والنتيجة الأكثر شيوعاً هي موقع كان يريد الانسحاب من تدريب النماذج لكنه حذف نفسه عن البحث في AI عن طريق الخطأ.

زواحف الاسترجاع - حجبها يكلفك الاستشهادات

OAI-SearchBot, Claude-SearchBot و PerplexityBot هي الصفحات المهمة هنا. هذه الصفحات تُستدعى للإجابة على سؤال يطرحه شخص ما الآن، وهي التي تُنتج رابط الاقتباس تحت إجابة الذكاء الاصطناعي. إذا منعتها، فلن تظهر في الإجابة. بالنسبة لمعظم الأعمال، هذا خطأ واضح.

المسترجعون الذين يفعّلهم المستخدم - تكلفة محدودة ومحددة

ChatGPT-User, Claude-User. هؤلاء يسترجعون صفحتك عندما يلصق شخص رابطك في دردشة ويسأل عنه. حجبهم يوقف هذا التدفق فقط ولا شيء آخر. من المعقول حجبهم إذا كانت صفحاتك محمية؛ وإلا فهو بلا فائدة.

زواحف التدريب - قرار تجاري مشروع

GPTBot, ClaudeBot, CCBot, Google-Extended. هؤلاء يجمعون مجموعات بيانات لتدريب النماذج المستقبلية. حجبهم له لا تأثير حول ما إذا كنت تُقتبس اليوم. كثير من الناشرين يحظرونها عمدًا، وهذا خيار مبرر - ليس عيبًا، ولهذا لا يجب لأي أداة أن تعتبره كذلك.

الذي ليس زاحفًا

Google-Extended لا يجلب أي شيء أبدًا. هو رمز انسحاب يتحكم فيما إذا كان المحتوى الذي يملكه Googlebot يمكن أن يدرب Gemini. حظره لا يؤثر على فهرسة أو ترتيب بحث Google على الإطلاق. Applebot-Extended هي نفس الفكرة بالنسبة لـ Apple.

بمجرد أن يصبح الملف نشطاً، تحقق مما يسمح به فعلياً مع بقية الأدوات المجانية أيضًا.

أسئلة شائعة

هل يجب أن أحجب زواحف الذكاء الاصطناعي؟
يعتمد الأمر كليًا على النوع، وخلطها معًا يجعل الناس يحذفون أنفسهم من بحث الذكاء الاصطناعي عن طريق الخطأ. حجب بوتات الاسترجاع مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot يعني أنك لن تُقتبس في إجابات الذكاء الاصطناعي. حجب بوتات التدريب مثل GPTBot وCCBot لا يؤثر على الاقتباس إطلاقًا - فقط يمنع تدريب النماذج المستقبلية. معظم من يقولون "حجب الذكاء الاصطناعي" يقصدون الثاني ويخطئون في الأول.
ما الفرق بين Google-Extended وGooglebot؟
Google-Extended ليس زاحفًا. هو رمز انسحاب يتحكم فيما إذا كان المحتوى الذي جلبه Googlebot يمكن استخدامه لتدريب Gemini. حظره لا يؤثر على فهرسة أو ترتيب بحث Google بأي شكل. Applebot-Extended يعمل بنفس الطريقة لأبل.
هل يمنع robots.txt فهرسة الصفحة؟
لا، وهذه أكثر الأخطاء شيوعًا في robots.txt. Disallow يمنع الزحف، لا الفهرسة. الصفحة المحجوبة في robots.txt قد تظهر في النتائج - عادة بدون وصف - إذا كانت مرتبطة من صفحات أخرى. لمنع شيء من الفهرس تحتاج إلى وسم noindex، وهذا يتطلب أن تكون الصفحة قابلة للزحف ليُقرأ الوسم.
أين يوضع الملف؟
في جذر النطاق، بالضبط: https://example.com/robots.txt. ينطبق حسب البروتوكول والمضيف والمنفذ، لذا كل نطاق فرعي يحتاج ملفه الخاص. الزواحف لا تبحث في أماكن أخرى ولن تجده في مجلد فرعي.
هل يعمل Crawl-delay؟
ليس لجوجل، التي تتجاهله تمامًا - استخدم إعداد معدل الزحف في Search Console بدلاً من ذلك. Bing وYandex يحترمانه. هو موجود لهم، لكن في معظم المواقع يجب تركه فارغًا.