Update date: 28 July 2026
OpenAI membedakan crawler untuk search, training, dan user-triggered access. Robots policy yang baik harus menyebut tujuan izin atau blokir, bukan memukul rata semua user agent.
Apa yang berubah
- OAI-SearchBot berkaitan dengan surfacing website di ChatGPT search.
- GPTBot berkaitan dengan model training sesuai dokumentasi provider.
- ChatGPT-User mewakili request yang dipicu user dalam konteks tertentu.
- Gunakan server log dan dokumentasi resmi, bukan asumsi dari nama bot.
Mengapa penting untuk GEO, AEO, dan AI visibility
Crawler governance menjadi bagian dari AI visibility dan data governance sekaligus.
Batas interpretasi
User agent dapat dipalsukan dan crawling tidak menjamin inclusion.
Sumber resmi
Knowledge Relationships
This asset is connected to canonical nodes through typed relationships maintained in the GEO.or.id knowledge registry.
- Is Part Of: AI Protocols
- Is Part Of: Publications
- Related To: MCP 2026-07-28 Release Candidate: Dari Connector Menjadi Infrastruktur Aplikasi
- Related To: Mengapa llms.txt Bukan Jalan Pintas Masuk Google AI Mode
- Related To: Graph
- Related To: System Map