Panduan Lengkap Robots.txt untuk SEO

Apa itu Robots.txt?

File robots.txt adalah sebuah file teks sederhana yang ditempatkan di root direktori website Anda (contoh: www.websiteanda.com/robots.txt). File ini berfungsi memberikan instruksi kepada web crawler (seperti Googlebot) mengenai halaman mana saja di situs Anda yang boleh atau tidak boleh mereka kunjungi dan indeks.

Mengapa Robots.txt Penting?

1. Mencegah Overloading: Jika website Anda sangat besar, crawler bisa membebani server jika mencoba meng-crawl seluruh halaman sekaligus. robots.txt membantu mengatur crawl budget.
2. Menyembunyikan Halaman Pribadi: Mencegah halaman seperti keranjang belanja, panel admin, atau hasil pencarian internal muncul di hasil pencarian publik.
3. Mencegah Duplikasi Konten: Anda dapat memblokir bot dari merayapi URL dengan parameter tertentu yang menghasilkan konten duplikat.

Sintaks Dasar Robots.txt

Struktur file ini sangat sederhana, umumnya terdiri dari dua bagian utama:

• User-agent: Nama bot yang Anda beri instruksi (misal: Googlebot atau * untuk semua bot).
• Disallow / Allow: Perintah untuk melarang atau mengizinkan bot mengakses direktori/file tertentu.

Contoh Umum:

User-agent: *
Disallow: /admin/
Disallow: /checkout/
Allow: /

(Contoh di atas melarang semua bot mengakses folder admin dan checkout, namun mengizinkan halaman lainnya).

Kesalahan Umum yang Harus Dihindari

• Jangan gunakan robots.txt untuk menyembunyikan informasi sensitif (gunakan perlindungan password atau noindex).
• Berhati-hati dengan perintah Disallow: / karena ini akan memblokir seluruh website Anda dari Google!

Selalu uji file robots.txt Anda menggunakan alat yang disediakan di Google Search Console untuk memastikan tidak ada kesalahan fatal.