Drei Entscheidungen, kein einfacher Schalter
Die meisten robots.txt-Tipps zu KI behandeln jeden Bot gleich. Das sind sie nicht, und der Unterschied entscheidet, ob du in KI-Antworten auftauchst.
Abruf – Blockieren kostet dich Verweise
OAI-SearchBot, Claude-SearchBot, PerplexityBot Seiten abrufen, um eine Live-Frage zu beantworten, und den Quellenlink unter der Antwort erzeugen. Das Blockieren verhindert AI-Suchen. Für fast jedes Unternehmen ist das ein Fehler, der meist versehentlich beim Versuch, etwas anderes zu tun, passiert.
Vom Nutzer ausgelöst – ein geringer Aufwand
ChatGPT-Nutzer und Claude-Nutzer Deine Seite abrufen, wenn jemand den Link in einen Chat einfügt. Blockieren bricht das und sonst nichts.
Training – eine echte Geschäftsentscheidung
GPTBot, ClaudeBot, CCBot, Google-Extended Sammelt Korpora für zukünftige Modelle. Das Blockieren hat keine Auswirkung auf Zitate heute. Viele Publisher blockieren das bewusst. Das ist eine bewusste Entscheidung, kein Fehler, und wir bewerten es weder positiv noch negativ.
Der, der kein Crawler ist
Google-Extended ruft nie etwas ab. Es regelt, ob Googlebot-Inhalte für Gemini trainieren dürfen, und das Blockieren beeinflusst die Google-Suche nicht. Teams blockieren es aus Angst vor Rankingverlusten, die nicht eintreten, oder vermeiden es aus Angst vor einem Training-Opt-out, das sie eigentlich wollten.
Um zu prüfen, ob die Seite nach dem Crawlen zitierenswert ist, nutze den AI Visibility Checker. Um die Regeln überhaupt zu erstellen, nutze den robots.txt Generator .