Tim mengubah robots.txt. OAI-SearchBot diblok pada satu page. Beberapa hari kemudian, URL itu masih muncul dalam sebuah konteks ChatGPT. Reaksi pertama mudah ditebak. “Berarti robots.txt diabaikan?” Belum tentu. Ada perbedaan besar antara: Crawler mengambil content page. System mengetahui bahwa sebuah URL ada.…
Bagaimana AI Crawler Menemukan URL dari Sumber Pihak Ketiga Read More »
Ada robots.txt yang bisa dibaca dalam dua menit. Ada yang terlihat seperti configuration language hasil tiga generasi SEO, developer, security, agency, dan plugin. Ratusan baris. User-agent lama. Bot yang sudah tidak ada. Rule duplicate. Path typo. Comments tahun 2022. `Crawl-delay` untuk Google.…
Robots.txt Besar dan Rumit: Cara Menjaganya Tetap Bisa Diaudit Read More »
Crawler governance 2026 bukan soal punya robots.txt paling panjang. Bukan juga soal memblok semua bot yang namanya terdengar “AI”. Yang dibutuhkan justru lebih sederhana: Tahu siapa yang datang. Tahu mereka datang untuk apa. Tahu content mana yang boleh diakses. Tahu control mana…
Checklist AI Crawler Governance untuk 2026 Read More »
Brand besar jarang hidup di satu domain. Corporate: brand.com. Indonesia: brand.co.id. Shop: shop.brand.com. Support: support.brand.com. Docs: docs.brand.com. Investor: investor.brand.com. Legacy: oldbrand.com. Campaign: brand2026.id. Partner microsite. Subsidiary domain. Setiap host bisa punya robots.txt sendiri. Setiap host bisa punya CDN/WAF sendiri. Setiap host bisa…
Crawler Policy untuk Multi-Domain Brand Read More »
Ada page yang crawlable. Status 200. Robots allow. Konten bagus. Structured data benar. Tetapi URL yang muncul di Search bukan URL yang tim harapkan. Atau page tidak muncul sama sekali. Atau Google memilih versi parameter. Atau AI Mode menautkan halaman lain dari…
AI Search Indexing dan Canonicalization: Apa yang Perlu Dipantau Read More »
