llms.txt și cât să crezi din el
Ideea, propusă de Jeremy Howard în 2024, este simplă: un fișier markdown la /llms.txt care spune unui model lingvistic ce pagini de pe site-ul tău merită citite. Robots.txt spune ce nu poate atinge un crawler; llms.txt spune ce ar trebui să prioritizeze.
Poziția sinceră privind adoptarea
Niciun furnizor major de AI nu s-a angajat să îl citească. Oricine îți spune că llms.txt e necesar pentru vizibilitatea AI vinde ceva. Ce e adevărat: adoptarea se răspândește printre site-urile de documentație și uneltele pentru dezvoltatori, fișierul este static și nu costă nimic să fie servit, iar dacă convenția se menține, tu deja ești acolo.
E un pariu ieftin pe o convenție plauzibilă. Merită zece minute, nu un proiect.
Ce crește cu adevărat vizibilitatea AI
În ordine: să permiți crawlerelor să acceseze pagina, apoi să ai conținut structurat astfel încât să poată fi extras un răspuns clar. Un fișier cu URL-urile tale nu ajută dacă OAI-SearchBot este interzis, sau dacă fiecare secțiune are nevoie de trei paragrafe ca să ajungă la subiect.
Verifică primul cu Verificatorul de crawler AI și al doilea cu Verificatorul de vizibilitate AI de asemenea.
Curăță-l
Generăm din sitemap pentru că e singura listă completă disponibilă, dar sitemap-ul urmărește completitudinea, iar llms.txt selectivitatea. Douăzeci de pagini care răspund cu adevărat bat patru sute care includ arhiva de taguri. Șterge cu generozitate și scrie o descriere reală, pe un rând, în partea de sus.