llms.txt generator

llms.txt, dan seberapa banyak yang bisa dipercaya darinya

Ide yang diajukan Jeremy Howard pada 2024 ini sederhana: sebuah file markdown di /llms.txt yang memberi tahu model bahasa halaman mana di situsmu yang layak dibaca. Robots.txt mengatakan apa yang crawler tidak boleh sentuh; llms.txt mengatakan apa yang harus diprioritaskan.

Posisi jujur tentang adopsi

Tidak ada vendor AI besar yang berkomitmen membacanya. Siapa pun yang bilang llms.txt diperlukan untuk visibilitas AI sedang menjual sesuatu. Yang benar: adopsi menyebar di situs dokumentasi dan alat pengembang, file ini statis dan gratis untuk diakses, dan jika konvensi ini berlaku, kamu sudah ada di sana.

Ini taruhan murah pada konvensi yang masuk akal. Layak dicoba selama sepuluh menit, tapi tidak layak dijadikan proyek.

Apa yang sebenarnya meningkatkan visibilitas AI

Urutannya: membiarkan crawler pengambilan data mengakses halaman, lalu mengatur konten agar jawaban yang jelas bisa diambil. File yang mencantumkan URL-mu tidak berguna jika OAI-SearchBot dilarang, atau jika setiap bagian butuh tiga paragraf untuk mencapai inti.

Periksa yang pertama dengan Pemeriksa crawler AI dan yang kedua dengan Pemeriksa visibilitas AI juga.

Atur dengan cermat

Kami membuatnya dari sitemap-mu karena itu satu-satunya daftar lengkap yang tersedia, tapi sitemap bertujuan untuk kelengkapan sedangkan llms.txt untuk selektivitas. Dua puluh halaman yang benar-benar menjawab lebih baik daripada empat ratus yang hanya berisi arsip tag. Hapus dengan bijak, dan tulis deskripsi satu baris yang nyata di atasnya.

Pertanyaan umum

Apa itu llms.txt?

Konvensi yang diusulkan, diterbitkan oleh Jeremy Howard pada 2024: file markdown di /llms.txt yang mencantumkan halaman di situsmu yang paling layak dibaca, agar model bahasa yang mengakses situsmu bisa menemukan isi utama tanpa harus menjelajah navigasi, banner cookie, dan footer.

Apakah perusahaan AI benar-benar membacanya?

Tidak bisa diandalkan, dan sebaiknya jujur soal itu. Tidak ada vendor AI besar yang berkomitmen menghormati llms.txt. Penggunaannya meningkat di situs dokumentasi dan alat pengembang, dan biayanya hanya satu file statis. Anggap ini sebagai taruhan murah pada sebuah konvensi, bukan sesuatu dengan hasil terukur saat ini.

Di mana file itu diletakkan?

Di akar domainmu: https://example.com/llms.txt. Beberapa situs juga menerbitkan llms-full.txt yang berisi teks lengkap halaman utama, bukan hanya tautannya.

Kenapa hanya 100 URL pertama?

Karena llms.txt yang berguna adalah hasil kurasi, bukan daftar lengkap. Dump sitemap dengan 4.000 URL justru menghilangkan maksudnya - file ini dibuat untuk menunjukkan halaman mana yang penting. Anggap hasil yang kami buat sebagai draf awal dan potong sesuai kebutuhan.

Apakah ini sama dengan sitemap?

Tidak. Sitemap adalah XML untuk crawler pencari dan bertujuan lengkap. llms.txt adalah markdown untuk model bahasa dan bertujuan selektif, dengan ruang untuk deskripsi yang menjelaskan apa situs itu dan mengapa halaman tertentu penting.