Vérificateur de crawler IA

Trois décisions, pas un simple interrupteur

La plupart des conseils robots.txt sur l’IA traitent tous les bots de la même façon. Ce n’est pas le cas, et cette différence détermine si tu apparais dans les réponses IA ou pas.

Récupération - bloquer te coûte des citations

OAI-SearchBot, Claude-SearchBot, PerplexityBot récupérer des pages pour répondre à une question en direct, et produire le lien de citation sous la réponse. Bloquer cela te prive de la recherche IA. Pour presque toutes les entreprises, c’est une erreur, souvent faite par accident en voulant faire autre chose.

Déclenché par l’utilisateur - un coût limité

ChatGPT-User et Claude-User récupérer ta page quand quelqu’un colle le lien dans un chat. Bloquer cela casse cette fonction et rien d’autre.

Formation - une vraie décision business

GPTBot, ClaudeBot, CCBot, Google-Extended collecter des corpus pour de futurs modèles. Les bloquer a aucun effet sur la citation aujourd’hui. Beaucoup d’éditeurs les bloquent volontairement. C’est un choix, pas un défaut, et nous ne le jugeons ni bon ni mauvais.

Celui qui n'est pas un crawler

Google-Extended ne récupère jamais rien. Il détermine si le contenu déjà en possession de Googlebot peut entraîner Gemini, et le bloquer n’affecte pas Google Search. Les équipes le bloquent par peur d’une baisse de classement impossible, ou l’évitent par crainte d’un refus de formation qu’elles souhaitaient en fait.

Pour savoir si la page mérite d'être citée une fois les crawlers entrés, lance le Vérificateur de visibilité AI. Pour écrire les règles au départ, utilise le générateur de robots.txt à la place.

Questions fréquentes

Quels crawlers IA comptent le plus ?

Ce sont les crawlers de récupération : OAI-SearchBot, Claude-SearchBot et PerplexityBot. Ils récupèrent les pages pour répondre à une question posée en temps réel, et génèrent le lien de citation sous une réponse IA. Si tu les bloques, tu n'apparais pas dans les résultats IA, peu importe le reste de la page.

Bloquer GPTBot, est-ce la même chose que bloquer ChatGPT ?

Non, c’est la confusion la plus importante ici. GPTBot collecte des données pour entraîner les futurs modèles. OAI-SearchBot récupère les pages pour répondre aux questions immédiatement. Bloquer GPTBot ne te retire pas des recherches ChatGPT ; bloquer OAI-SearchBot oui.

Qu'est-ce que Google-Extended ?

Ce n’est pas un crawler. C’est un jeton d’exclusion qui contrôle si le contenu déjà récupéré par Googlebot peut servir à entraîner Gemini. Le bloquer n’a aucun impact sur l’indexation ou le classement Google. Applebot-Extended fonctionne de la même façon pour Apple.

Je n'ai pas de robots.txt. Est-ce un problème ?

Non. L’absence de robots.txt signifie qu’aucune page n’est interdite, ce qui est la bonne configuration par défaut pour la plupart des sites. Il ne faut en ajouter un que si tu veux exclure quelque chose ou déclarer un sitemap.

À quelle date remonte la liste des crawlers ?

Elle provient du même registre que l’extension d’audit de page DraftCamp, mise à jour quand les fournisseurs publient ou renommant des tokens. Chaque entrée indique le vrai coût du blocage, au lieu de traiter tous les bots IA de la même façon.