AI Crawlers & Indexing

Dulu robots.txt sering diperlakukan seperti file kecil yang cuma dibuka ketika ada masalah indexing. Satu developer mengurus. SEO sesekali cek. Selesai. Di 2026, file itu punya konsekuensi lebih luas karena semakin banyak crawler datang dengan tujuan yang berbeda. Ada crawler Search. Ada…

Tim infrastructure membuka log. Ada request dengan user-agent: ChatGPT-User. Beberapa menit kemudian muncul: OAI-SearchBot. Karena sama-sama OpenAI, dashboard menggabungkan keduanya menjadi satu kategori: “ChatGPT crawler.” Masalah selesai? Tidak. Justru dimulai. OpenAI mendokumentasikan bahwa ChatGPT-User dan OAI-SearchBot punya purpose berbeda. OAI-SearchBot adalah crawler…

Seorang infrastructure engineer melihat user-agent baru di log: OAI-AdsBot. Reaksi pertama: “Bot AI lagi?” Marketing: “Block aja kalau nggak penting.” Lima menit kemudian paid media team bertanya: “Kenapa landing page ads kita gagal diverifikasi?” Ini tipe incident yang mulai masuk akal pada…

Dua nama. Satu perusahaan. Dua tujuan berbeda. Itu seharusnya cukup untuk membuat policy berbeda. Tetapi masih banyak website yang memperlakukan OAI-SearchBot dan GPTBot sebagai satu hal: “Bot OpenAI.” Lalu pilihan dibuat biner. Allow OpenAI. Atau block OpenAI. Di 2026, itu terlalu kasar.…

Ada page yang public, tapi tidak ingin muncul di Search. Misalnya: Thank-you page. Internal search result. Temporary campaign. Duplicate utility page. Account helper. Certain archive. Tim buka robots.txt. “Disallow aja.” Itu terlihat masuk akal. Crawler tidak masuk. Masalahnya, kalau crawler tidak masuk,…

Satu baris bisa membuat tim merasa sudah mengambil keputusan besar. `User-agent: GPTBot` `Disallow: /` “Done. OpenAI kita block.” Belum tentu. Yang diblok baru crawler dengan purpose tertentu. Kalau Search masih memakai user-agent lain, Search bisa tetap berjalan. Kalau user-triggered access memakai jalur…

Robots.txt yang baik seharusnya datang setelah policy. Bukan sebelum. Banyak organisasi melakukan kebalikannya. Mereka buka file. Lihat bot list dari internet. Lalu menulis: Allow. Disallow. Allow. Disallow. Tanpa menjawab: “Kenapa?” Hasilnya crawler policy menjadi koleksi keputusan teknis yang tidak punya owner bisnis.…

Ada dua cara membuat crawler problem. Pertama: tidak punya rate limit sama sekali. Bot agresif datang. Server panas. Database overload. User ikut kena. Kedua: rate limit terlalu ketat. Crawler resmi datang. Dua puluh request. 429. Search crawl melambat atau gagal. Dua-duanya buruk.…

Kalau robots.txt adalah policy, log server adalah bukti operasional. Di file config kita bisa menulis: OAI-SearchBot allow. GPTBot disallow. Googlebot allow. Unknown bot challenge. Tapi yang benar-benar terjadi baru terlihat di logs. Apakah crawler datang? Dari IP mana? Path apa? Status code?…

Robots.txt bilang Allow. Server sehat. Sitemap ada. Page public. Tetapi crawler resmi tetap menerima 403. Ini salah satu incident paling membingungkan buat tim SEO karena semua pemeriksaan “Search” terlihat benar. Masalahnya bukan di robots. Masalahnya di layer sebelum origin. CDN. WAF. Bot…