llms.txt und wie viel du davon halten solltest
Die Idee, vorgeschlagen von Jeremy Howard im Jahr 2024, ist einfach: eine Markdown-Datei unter /llms.txt sagt einem Sprachmodell, welche Seiten deiner Website lesenswert sind. Robots.txt sagt, was ein Crawler nicht anfassen darf; llms.txt sagt, was er priorisieren soll.
Die ehrliche Haltung zur Verbreitung
Kein großer AI-Anbieter hat sich verpflichtet, sie zu lesen. Wer dir sagt, llms.txt sei für AI-Sichtbarkeit notwendig, will dir etwas verkaufen. Fakt ist: Die Verbreitung wächst bei Dokumentationsseiten und Entwickler-Tools, die Datei ist statisch und kostet nichts, und wenn sich die Konvention durchsetzt, bist du schon dabei.
Es ist eine günstige Wette auf eine plausible Konvention. Zehn Minuten wert, aber kein Projekt.
Was AI-Sichtbarkeit wirklich voranbringt
In dieser Reihenfolge: Retrieval-Crawler überhaupt auf die Seite lassen, dann Inhalte so strukturieren, dass eine klare Antwort herausgezogen werden kann. Eine Datei mit deinen URLs nützt nichts, wenn OAI-SearchBot ist verboten oder wenn jeder Abschnitt drei Absätze braucht, um zum Punkt zu kommen.
Prüfe die erste mit dem AI-Crawler-Checker und der zweite mit dem AI Visibility Checker auch.
Kuratiere sie
Wir generieren aus deiner Sitemap, weil das die einzige vollständige Liste ist, aber eine Sitemap zielt auf Vollständigkeit, llms.txt auf Auswahl. Zwanzig Seiten, die wirklich etwas beantworten, schlagen vierhundert mit deinem Tag-Archiv. Lösche großzügig und schreibe eine echte Ein-Zeilen-Beschreibung oben.