llms.txt generator

llms.txt, 그리고 그 신뢰도

2024년 Jeremy Howard가 제안한 아이디어는 간단해: markdown 파일을 /llms.txt 언어 모델에게 네 사이트에서 읽을 가치가 있는 페이지를 알려줘. Robots.txt는 크롤러가 접근 금지할 것을, llms.txt는 우선순위를 정할 것을 말해.

도입에 대한 솔직한 입장

주요 AI 업체 중 이 파일을 읽겠다고 약속한 곳은 없어. llms.txt가 AI 가시성에 필수라고 말하는 사람은 뭔가를 팔려는 거야. 사실은 문서 사이트와 개발 도구에서 도입이 늘고 있고, 파일은 정적이며 제공 비용도 없고, 관례가 유지된다면 이미 그 위치에 있다는 뜻이야.

그럴듯한 관례에 대한 저렴한 도박이야. 10분 투자할 가치가 있지만 프로젝트로 할 정도는 아니야.

실제로 AI 가시성을 높이는 것

순서대로: 검색 크롤러가 페이지에 접근할 수 있게 하고, 깔끔한 답변을 뽑을 수 있도록 콘텐츠를 구조화하는 거야. URL 목록 파일은 아무 소용 없어 만약 OAI-SearchBot 금지되었거나, 모든 섹션이 요점까지 3단락씩 걸릴 때.

먼저 이것을 확인해봐 AI 크롤러 검사기 그리고 두 번째는 AI 가시성 검사기를 실행해봐 마찬가지야.

직접 선별해봐

사이트맵에서 생성하는 이유는 유일한 완전 목록이기 때문이지만, 사이트맵은 완전성을, llms.txt는 선별성을 목표로 해. 진짜 답변하는 20페이지가 태그 아카이브 포함 400페이지보다 낫지. 과감히 삭제하고 맨 위에 진짜 한 줄 설명을 써.

자주 묻는 질문

llms.txt가 뭘까?

2024년 Jeremy Howard가 제안한 규약으로, /llms.txt라는 마크다운 파일에 사이트에서 가장 읽을 가치가 있는 페이지를 나열해 언어 모델이 네비게이션, 쿠키 배너, 푸터를 크롤링하지 않고 핵심 내용을 찾게 하는 방식이야.

AI 회사들이 실제로 이 파일을 읽을까?

아직은 확실하지 않아, 솔직히 말하는 게 좋아. 주요 AI 업체 중 llms.txt를 준수하겠다고 약속한 곳은 없어. 문서 사이트와 개발자 도구에서 채택이 늘고 있고, 비용은 정적 파일 하나뿐이니, 오늘 당장 눈에 띄는 효과보다는 규약에 대한 저렴한 투자로 봐야 해.

이 파일은 어디에 두는 거야?

도메인 루트에 위치: https://example.com/llms.txt. 일부 사이트는 링크 대신 주요 페이지 전체 텍스트를 담은 llms-full.txt도 공개해.

왜 처음 100개 URL만?

유용한 llms.txt는 선별된 목록이지 전부를 담지 않아. 4,000개 URL 전부를 덤프하는 사이트맵은 목적에 맞지 않아—이 파일은 중요한 페이지를 알려주기 위한 거야. 우리가 생성한 걸 초안으로 보고 줄여야 해.

이게 사이트맵이랑 같은 거야?

아니야. 사이트맵은 검색 크롤러용 XML로 완전성을 목표로 하고, llms.txt는 언어 모델용 마크다운으로 선택성을 목표로 하며 사이트와 각 페이지의 중요성을 설명하는 공간도 있어.