Draftcamp

Générateur de robots.txt

Crée un robots.txt qui gère séparément les crawlers d'entraînement IA, de récupération et d'accès utilisateur

Fonctionne entièrement dans ton navigateur - ton texte n’est jamais envoyé

Moteurs de recherche

Un chemin par ligne

Ignoré par Google

Crawlers IA

Trois décisions distinctes, pas une seule. Le blocage est désactivé par défaut.

Retrieval (citation-eligible)

Celles-ci génèrent des citations. Les bloquer te supprime totalement des réponses IA – presque toujours une erreur.

User-triggered fetch

Celles-ci récupèrent ta page quand quelqu’un colle le lien dans un chat. Les bloquer empêche cela, rien d’autre.

Model training

Celles-ci collectent des données pour entraîner les futurs modèles. Les bloquer n’impacte pas ta citation actuelle. Une décision business légitime dans les deux cas.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Upload à la racine de ton domaine, exactement à /robots.txt. Chaque sous-domaine en a besoin d’un.

Bloquer les crawlers IA, c’est trois choix, pas un seul

Presque tous les générateurs de robots.txt proposent une seule case « bloquer les bots IA ». Cette case mélange trois résultats très différents, et le plus courant est un site qui voulait se retirer de l’entraînement des modèles mais qui s’est accidentellement supprimé des recherches IA.

Crawlers de récupération – les bloquer te coûte des citations

OAI-SearchBot, Claude-SearchBot et PerplexityBot sont celles qui comptent ici. Elles récupèrent des pages pour répondre à une question posée en ce moment, et ce sont elles qui génèrent le lien de citation sous une réponse AI. Les bloquer, c’est s’exclure de la réponse. Pour presque toutes les entreprises, c’est une erreur évidente.

Fetchers déclenchés par l’utilisateur – un coût précis et limité

ChatGPT-User, Claude-User. Ils récupèrent ta page quand quelqu’un colle ton lien dans un chat et pose une question. Les bloquer casse ce flux uniquement. Raisonnable si tes pages sont protégées, sinon inutile.

Crawlers d’entraînement – une décision business légitime

GPTBot, ClaudeBot, CCBot, Google-Extended. Ils collectent des corpus pour entraîner les futurs modèles. Les bloquer a aucun effet sur ta citation aujourd’hui. Beaucoup d’éditeurs les bloquent volontairement, ce qui est un choix défendable - pas un défaut, donc aucun outil ne devrait le signaler comme tel.

Celui qui n'est pas un crawler

Google-Extended ne récupère jamais rien. C’est un jeton d’exclusion qui contrôle si le contenu déjà en possession de Googlebot peut entraîner Gemini. Le bloquer n’affecte en rien l’indexation ou le classement dans Google Search. Applebot-Extended c’est la même idée pour Apple.

Une fois le fichier en ligne, vérifie ce qu’il autorise réellement avec le le reste des outils gratuits aussi.

Questions fréquentes

Dois-tu bloquer les crawlers IA ?
Ça dépend entièrement du type, et les confondre fait que les gens se bloquent eux-mêmes dans la recherche IA. Bloquer les bots de récupération comme OAI-SearchBot, Claude-SearchBot et PerplexityBot empêche d’être cité dans les réponses IA. Bloquer les bots d’entraînement comme GPTBot et CCBot n’a aucun effet sur la citation — ça refuse juste l’entraînement futur du modèle. La plupart des gens qui disent « bloquer l’IA » veulent dire le second et font par erreur le premier.
Quelle est la différence entre Google-Extended et Googlebot ?
Google-Extended n’est pas un crawler. C’est un jeton d’exclusion qui contrôle si le contenu déjà récupéré par Googlebot peut être utilisé pour l’entraînement Gemini. Le bloquer n’affecte en rien ton indexation ou classement Google Search. Applebot-Extended fonctionne de la même façon pour Apple.
Le fichier robots.txt empêche-t-il l’indexation d’une page ?
Non, c’est l’erreur la plus fréquente avec robots.txt. Disallow empêche le crawl, pas l’indexation. Une page bloquée dans robots.txt peut toujours apparaître dans les résultats — souvent sans description — si d’autres pages y font un lien. Pour exclure une page de l’index, il faut une balise noindex, et pour ça la page doit être crawlable pour que la balise soit lue.
Où placer ce fichier ?
À la racine du domaine, exactement : https://example.com/robots.txt. Ça s’applique par protocole, hôte et port, donc chaque sous-domaine doit avoir le sien. Les crawlers ne cherchent pas ailleurs et ne le trouveront pas dans un sous-dossier.
Le Crawl-delay fonctionne-t-il ?
Pas pour Google, qui l’ignore complètement — utilise plutôt le réglage du taux de crawl dans Search Console. Bing et Yandex le respectent. Il est là pour eux, mais sur la plupart des sites il doit rester vide.