Log server bilang: `OAI-SearchBot`. Apakah itu pasti OpenAI? Belum tentu. Log lain bilang: `Googlebot`. Apakah pasti Google? Juga belum tentu. User-Agent adalah header HTTP yang dikirim client untuk menjelaskan dirinya. Ia berguna untuk classification, tetapi bukan authentication. Client bisa menulis apa saja.…
Crawler Verification: Jangan Percaya User-Agent Saja Read More »
Ada tiga tombol yang sebenarnya lebih berguna daripada “block AI” dan “allow AI”. Allow. Disallow. Monitor. Monitor sering dilupakan. Padahal untuk crawler yang purpose-nya belum jelas, belum verified, belum punya business impact, atau baru muncul, “monitor dulu” bisa jadi keputusan paling matang.…
Kapan Harus Allow, Disallow, atau Monitor AI Crawler Read More »
Situs Indonesia. Audience Indonesia. Server Singapore. Security team melihat serangan paling banyak datang dari luar negeri. Lalu rule dibuat: “Selain Indonesia, block.” Traffic manusia lokal aman. Dashboard security turun. Semua terlihat bagus. Sampai tim Search bertanya: “Kenapa crawler nggak masuk?” Masalahnya, crawler…
AI Crawler dan Geo-Blocking: Risiko untuk Website Indonesia Read More »
Satu website bisa bilang tiga hal yang berbeda kepada machine. “Boleh ambil halaman ini.” “Boleh ambil, tapi jangan tampilkan di Search.” “Boleh tampilkan di Search, tapi jangan gunakan crawler training tertentu.” Masalahnya, banyak tim masih mencoba menyampaikan ketiga keputusan itu dengan satu…
Cara Memisahkan Crawl Permission, Index Permission, dan Training Permission Read More »
“SearchBot sudah masuk.” Log menunjukkan 200. robots.txt Allow. WAF tidak block. Page public. Sitemap ditemukan. Tapi ketika tim mengetes query di AI Search: Brand tidak muncul. Atau muncul tanpa citation. Atau citation jatuh ke media lain. Reaksi paling cepat: “Crawler-nya nggak bekerja.”…
SearchBot Masuk tapi Citation Tidak Ada: Kenapa Crawlability Bukan Jaminan Read More »
Publisher bisa punya dua keinginan yang kelihatannya bertentangan. “Kami ingin tetap ditemukan.” “Kami tidak ingin content dipakai training model.” Di 2026, dua hal itu tidak selalu harus disatukan menjadi pilihan biner. Setidaknya dalam ekosistem OpenAI, dokumentasi resmi memisahkan OAI-SearchBot untuk Search dan…
Crawler Governance untuk Publisher yang Tidak Ingin Kontennya Dipakai Training Read More »
Tiga URL bisa berada di domain yang sama dan butuh policy yang benar-benar berbeda. `/blog/ai-search/` Public. `/member/report-q3/` Member-only. `staging.example.id/` Staging. Kalau semua hanya diatur lewat robots.txt, ada sesuatu yang salah. Public content memang perlu keputusan crawler. Member area perlu access control. Staging…
Crawler Access untuk Staging, Member Area, dan Public Content Read More »
Security team ingin satu hal: Bot jahat jangan masuk. SEO team ingin satu hal: Crawler penting jangan diblok. Masalahnya, internet tidak lagi punya dua kategori sesederhana “human” dan “bot”. Ada: Search engine crawler. AI Search crawler. Training crawler. Ads validator. User-triggered agent.…
Bot Mitigation Modern dan Tantangan Verified AI Crawlers Read More »
Landing page iklan punya lifecycle yang berbeda dari artikel editorial. Artikel: Published. Crawled. Indexed. Retrieved. Maybe cited. Landing page iklan: Submitted to ad platform. Validated. Reviewed. Checked for policy/safety. Evaluated for relevance. Then used as destination for paid traffic. Karena workflow-nya berbeda,…
AI Crawler untuk Landing Page Iklan: Kenapa Jalurnya Berbeda Read More »
“Log crawler kita simpan berapa lama?” Pertanyaan ini sering dijawab dengan angka instan. 30 hari. 90 hari. Satu tahun. Masalahnya, tidak ada angka universal yang otomatis benar untuk semua website. Log retention adalah tradeoff antara: Operational troubleshooting. Security. Historical analysis. Storage cost.…
Crawler Log Retention: Data Berapa Lama yang Layak Disimpan Read More »
