llms.txt generator

Cria um llms.txt a partir do teu sitemap para que os modelos de linguagem encontrem o que vale a pena ler

Introduz um site para criar o seu llms.txt

Lemos a tua homepage e sitemap.xml, depois criamos um mapa markdown das páginas que valem a pena ler.

llms.txt, e o quanto acreditar nele

A ideia, proposta por Jeremy Howard em 2024, é simples: um ficheiro markdown em /llms.txt que indica a um modelo de linguagem quais as páginas do teu site que valem a pena ler. Robots.txt diz o que o crawler não pode tocar; llms.txt diz o que deve priorizar.

A posição honesta sobre a adoção

Nenhum grande fornecedor de AI se comprometeu a lê-lo. Quem te disser que llms.txt é necessário para visibilidade AI está a vender algo. O que é verdade: a adoção está a crescer em sites de documentação e ferramentas para programadores, o ficheiro é estático e não custa nada servir, e se a convenção se mantiver já estás lá.

É uma aposta barata numa convenção plausível. Vale dez minutos, não vale um projeto.

O que realmente aumenta a visibilidade AI

Por ordem: permitir que crawlers de recuperação acedam à página, depois ter conteúdo estruturado para que uma resposta clara possa ser extraída. Um ficheiro com as tuas URLs não serve para nada se OAI-SearchBot está proibido, ou se cada secção demora três parágrafos a chegar ao ponto.

Verifica o primeiro com o Verificador de crawler AI e o segundo com o Verificador de visibilidade AI também.

Faz a curadoria

Geramos a partir do teu sitemap porque é a única lista completa disponível, mas um sitemap visa a completude e llms.txt visa a seletividade. Vinte páginas que realmente respondem algo valem mais que quatrocentas que incluem o teu arquivo de tags. Apaga generosamente e escreve uma descrição verdadeira de uma linha no topo.

Perguntas frequentes

O que é o llms.txt?
Uma convenção proposta, publicada por Jeremy Howard em 2024: um ficheiro markdown em /llms.txt que lista as páginas do teu site mais importantes para ler, para que um modelo de linguagem que aceda ao teu site encontre o conteúdo sem rastrear navegação, banners de cookies e rodapés.
As empresas de IA realmente o leem?
Não de forma fiável, e é importante ser claro quanto a isso. Nenhum grande fornecedor de IA se comprometeu a respeitar o llms.txt. A adoção está a crescer em sites de documentação e ferramentas para programadores, e o custo é um ficheiro estático. Trata-o como uma aposta barata numa convenção, não como algo com retorno mensurável hoje.
Onde é que o ficheiro deve ficar?
Na raiz do teu domínio: https://example.com/llms.txt. Alguns sites também publicam llms-full.txt com o texto completo das páginas-chave em vez de links para elas.
Por que só os primeiros 100 URLs?
Porque um llms.txt útil é selecionado, não exaustivo. Um despejo de sitemap com 4.000 URLs anula o propósito – o ficheiro existe para indicar quais as páginas importantes. Considera o que geramos como um rascunho inicial e reduz.
Isto é igual a um sitemap?
Não. Um sitemap é XML para rastreadores de busca e visa a completude. O llms.txt é markdown para modelos de linguagem e visa a seletividade, com espaço para uma descrição que explica o que é o site e por que uma página importa.