LogoJasaWebsite

Cara Teknis Memblokir Bot AI yang Suka Mencuri Konten Website

02 Juli 2026 • 2 menit baca

TeknologiPemrogramandan Desain
Gambar untuk Cara Teknis Memblokir Bot AI yang Suka Mencuri Konten Website

Seperti yang telah kita bahas pada artikel sebelumnya mengenai Bahaya AI yang Crawl Sembarangan, bot dari perusahaan kecerdasan buatan dapat membebani server Anda dan mengambil konten secara sepihak.

Lalu, apa yang bisa dilakukan oleh pemilik website atau web developer untuk membentengi properti digital mereka? Berikut adalah panduan teknis yang bisa langsung Anda terapkan.

1. Menggunakan File robots.txt

Metode paling mendasar dan mudah diterapkan adalah melalui instruksi di file robots.txt. File ini berfungsi sebagai "aturan lalu lintas" untuk bot yang baik (good bots). Beberapa raksasa AI seperti OpenAI dan Anthropic menghargai protokol ini.

Anda bisa menambahkan daftar bot AI yang umum di dalam file robots.txt Anda:

# Blokir OpenAI (ChatGPT)
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

# Blokir Anthropic (Claude)
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-Web
Disallow: /

# Blokir Google AI/Bard (Jika ingin diblokir khusus AI-nya, bukan Google Search)
User-agent: Google-Extended
Disallow: /

# Blokir Common Crawl (Database yang sering digunakan untuk melatih AI)
User-agent: CCBot
Disallow: /

2. Memblokir Berdasarkan User-Agent di Level Server (.htaccess atau Nginx)

Karena tidak semua bot mematuhi robots.txt (terutama bot AI tidak resmi), Anda bisa menggunakan pemblokiran di tingkat web server.

Jika Anda menggunakan Apache (.htaccess):

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Google-Extended) [NC]
RewriteRule .* - [F,L]
</IfModule>

Jika Anda menggunakan Nginx:

if ($http_user_agent ~* (GPTBot|ClaudeBot|CCBot|Google-Extended)) {
    return 403;
}

3. Perlindungan Menggunakan WAF (Web Application Firewall)

Cara paling tangguh saat ini adalah menggunakan layanan pihak ketiga seperti Cloudflare.

  1. Masuk ke dasbor Cloudflare.
  2. Buka menu Security -> Bots.
  3. Aktifkan fitur "AI Scrapers and Crawlers Block" (Tersedia untuk pengguna tertentu / versi terbaru).
  4. Jika opsi tersebut belum tersedia, Anda bisa pergi ke WAF (Custom Rules), dan buat rule baru untuk memblokir rentang IP atau string User-Agent dari layanan cloud yang dikenal agresif.

Kesimpulan

Mengamankan konten digital di era AI memerlukan pendekatan proaktif yang berlapis. Jangan lupa untuk senantiasa memantau server log Anda untuk mendeteksi anomali trafik yang biasanya menjadi indikator adanya crawling dalam skala masif.