llms.txt: Apa Itu dan Apa yang Belum Terbukti

llms.txt adalah berkas teks berformat Markdown yang diletakkan di akar sebuah situs, berisi ringkasan tentang situs itu beserta daftar tautan ke halaman-halaman terpentingnya. Usulannya muncul pada 2024, dengan gagasan sederhana: memberi model bahasa versi situs yang bersih dan mudah dibaca, tanpa menu, iklan, dan skrip.

Berkas ini perlu dibahas dengan jujur, karena posisinya sedang berada di titik yang canggung: banyak dibicarakan, mudah dipasang, dan belum terbukti dibaca siapa pun.

Apa yang Ada di Dalamnya

Isinya Markdown biasa, bukan format khusus. Pola yang lazim:

• Judul berisi nama situs
• Satu paragraf yang menjelaskan situs itu apa
• Beberapa bagian berisi daftar tautan ke halaman penting, tiap tautan disertai satu kalimat penjelas
• Bagian opsional untuk halaman yang kurang prioritas

Sebagian situs juga menyediakan versi Markdown dari tiap halamannya, misalnya dengan menambahkan akhiran tertentu pada URL, agar isi halaman bisa dibaca tanpa lapisan tampilan.

Bedanya dengan robots.txt dan sitemap.xml

Ketiganya sering dicampuradukkan, padahal fungsinya berbeda:

Berkas	Fungsi	Statusnya
robots.txt	Menyatakan bagian mana yang boleh dan tidak boleh dirayapi	Standar lama, dipatuhi crawler besar
sitemap.xml	Mendaftar URL yang ada beserta waktu perubahannya	Standar, dibaca mesin pencari
llms.txt	Menyediakan ringkasan situs yang mudah dibaca model bahasa	Usulan, belum jadi standar

Perbedaan terpenting: robots.txt dan sitemap.xml dibaca oleh mesin yang jelas identitasnya. llms.txt belum punya kepastian itu.

Yang Belum Terbukti — dan Ini Perlu Dinyatakan Terang

Sampai artikel ini ditulis, belum ada penyedia mesin AI besar yang mengonfirmasi bahwa mereka membaca llms.txt sebagai bagian dari proses pengambilan sumber. Dari pihak Google, tanggapan yang muncul di ruang publik justru cenderung skeptis, dengan alasan bahwa berkas semacam ini menciptakan kemungkinan isi yang berbeda antara yang dibaca mesin dan yang dilihat manusia.

Ini penting karena banyak artikel yang beredar menulis llms.txt seolah sudah menjadi keharusan. Yang sebenarnya terjadi:

• Berkasnya ada dan bisa diakses siapa pun, termasuk crawler mana pun yang ingin mengambilnya
• Tidak ada bukti bahwa mesin AI besar memperlakukannya secara khusus
• Tidak ada mekanisme untuk memverifikasi apakah sebuah jawaban AI berasal dari berkas itu atau dari halaman biasa

Lalu Kenapa Tetap Layak Dipasang

Alasannya bukan karena terbukti, melainkan karena biayanya nyaris nol dan risikonya juga nyaris nol.

Memasangnya butuh satu berkas teks. Kalau nanti terbukti dibaca, situs sudah siap. Kalau tidak pernah dibaca, tidak ada yang rugi selain waktu menulisnya.

Ada juga manfaat sampingan yang sering terlewat: menyusun llms.txt memaksa pemilik situs merumuskan situsnya ini apa dan halaman mana yang benar-benar penting. Latihan itu sendiri berguna, terlepas dari apakah ada mesin yang membacanya.

Cara Memasang yang Wajar

Letakkan di akar situs, dapat diakses lewat /llms.txt.

Tulis ringkasan yang menyatakan sesuatu. Satu paragraf yang menjelaskan situs ini apa, untuk siapa, dan mencakup apa. Bukan kalimat pemasaran — berkas ini tidak dibaca calon pelanggan.

Daftarkan halaman yang benar-benar penting saja. Menyalin seluruh sitemap ke dalamnya menghilangkan gunanya. Yang membuat berkas ini berbeda dari sitemap justru penyaringannya.

Beri satu kalimat penjelas per tautan. Judul saja tidak cukup menjelaskan isi.

Pastikan isinya sama dengan halaman aslinya. Menyediakan versi yang berbeda antara yang dibaca mesin dan yang dilihat manusia adalah praktik yang berisiko, dan itu justru keberatan utama yang dilontarkan terhadap gagasan berkas ini.

Perbarui saat struktur situs berubah. Berkas yang isinya menunjuk ke halaman yang sudah tidak ada lebih buruk daripada tidak ada berkas sama sekali.

Yang Sebaiknya Tidak Dilakukan

• Menjadikannya prioritas. Kalau halaman situs sendiri belum jelas strukturnya, memasang llms.txt tidak akan menutupi itu.
• Menjualnya sebagai jaminan. Tidak ada yang bisa menjamin efek dari berkas yang belum terbukti dibaca.
• Menaruh klaim yang tidak ada di situs. Isi berkas ini harus mencerminkan situsnya, bukan versi yang lebih bagus dari situsnya.

Pengaturan yang jauh lebih berpengaruh terhadap apakah mesin AI boleh mengakses sebuah situs sama sekali adalah aturan di robots.txt — dibahas terpisah di artikel tentang AI crawler. Sementara markup yang benar-benar dibaca mesin dan sudah jadi standar dibahas di artikel tentang schema untuk AI search.

Urutan pengerjaan yang lebih menentukan bisa dilihat di panduan AI search.