Robots.txt Adalah: Pengertian, Sintaks, dan Cara Menggunakannya dengan Benar

Robots.txt adalah file teks yang diletakkan di root direktori website untuk memberikan instruksi kepada web crawler — termasuk Googlebot — tentang halaman atau folder mana yang boleh dan tidak boleh dirayapi. File ini diakses crawler setiap kali mereka mengunjungi website, sebelum mulai merayapi halaman mana pun.

Yang sering disalahpahami: robots.txt bukan alat keamanan. File ini bersifat publik — siapa pun bisa membacanya di domain.com/robots.txt. Halaman yang di-disallow pun masih bisa terindeks jika ada backlink dari website lain yang mengarah ke sana. Untuk konten yang benar-benar tidak ingin muncul di Google, gunakan tag noindex — bukan robots.txt.

Sintaks Dasar dan Cara Membacanya

File robots.txt terdiri dari beberapa komponen utama yang perlu dipahami:

User-agent menentukan crawler mana yang dituju oleh instruksi berikutnya. Tanda bintang (*) berarti berlaku untuk semua crawler. Googlebot berarti instruksi khusus untuk crawler Google.

Disallow memblokir crawler dari merayapi path atau folder tertentu. Disallow: /wp-admin/ misalnya, mencegah Googlebot masuk ke folder admin WordPress.

Allow mengizinkan crawler masuk ke path tertentu di dalam folder yang sudah di-disallow. Ini berguna untuk mengizinkan satu subfolder di dalam folder yang diblokir secara keseluruhan.

Sitemap memberitahu crawler lokasi file sitemap. Menambahkan ini di robots.txt membantu semua crawler — bukan hanya Googlebot — menemukan sitemap dengan cepat.

Contoh robots.txt yang umum untuk WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.com/sitemap.xml

Halaman yang Sebaiknya di-Disallow

Tidak semua halaman perlu diblokir, tapi ada beberapa kategori yang sebaiknya tidak dirayapi karena membuang crawl budget dan tidak memberikan nilai SEO:

• Halaman admin dan backend — folder /wp-admin/, /wp-login.php/, atau halaman CMS lainnya
• Halaman hasil pencarian internal — URL dengan parameter seperti ?s=keyword atau ?filter= yang menghasilkan halaman duplikat
• Halaman staging atau development — jika subdomain staging diakses publik, blokir crawler untuk menghindari duplicate content
• File sistem yang tidak relevan — folder plugin, tema, atau file temporary yang tidak perlu diindeks

Yang sebaiknya tidak diblokir meski terasa tidak perlu: file CSS dan JavaScript. Googlebot butuh mengakses keduanya untuk merender halaman dan menilai pengalaman pengguna. Memblokir resource ini bisa menurunkan penilaian Page Experience.

Cara Mengecek dan Memvalidasi robots.txt

Google Search Console menyediakan tools robots.txt Tester di menu Legacy Tools — bisa digunakan untuk memverifikasi apakah URL tertentu diblokir atau tidak oleh konfigurasi yang ada. Tools ini juga menampilkan error sintaks jika ada.

Untuk WordPress, Rank Math dan Yoast SEO menyediakan editor robots.txt langsung dari dashboard — tanpa perlu mengakses file server secara manual. Perubahan langsung tersimpan dan bisa ditest melalui preview.

Setelah setiap perubahan besar pada robots.txt, verifikasi ulang bahwa halaman-halaman penting masih bisa dirayapi — terutama setelah migrasi website, perubahan struktur URL, atau update CMS. Satu baris Disallow: / yang salah bisa memblokir seluruh website dari Google dalam hitungan jam.

Pelajari lebih lanjut tentang hubungan antara robots.txt dan sitemap dalam strategi technical SEO yang lebih luas. Jika kamu butuh audit konfigurasi teknis website secara menyeluruh, jasa SEO bikinwebjogja siap membantu.