OAI-SearchBot, GPTBot, ChatGPT-User, dan OAI-AdsBot: Jangan Sampai Salah Atur Robots.txt

Pukul 09.17, tim infrastructure mengirim screenshot robots.txt ke channel marketing.

“Udah aman. Semua OpenAI bot kita block.”

Marketing Lead membalas cepat.

“Semua?”

“Iya. Biar nggak dipakai training.”

Lalu satu jam kemudian ada pertanyaan baru.

“Kalau semua diblok, website kita masih bisa muncul di ChatGPT Search nggak?”

Di sinilah masalahnya.

Pada 2026, istilah “OpenAI bot” sudah terlalu kasar untuk dipakai sebagai satu kategori. OpenAI mendokumentasikan beberapa crawler dan user-agent dengan fungsi berbeda. OAI-SearchBot, GPTBot, ChatGPT-User, dan OAI-AdsBot tidak melakukan pekerjaan yang sama.

Kalau robots.txt memperlakukan semuanya identik, business objective bisa ikut rusak.

Perusahaan yang ingin muncul di ChatGPT Search tetapi tidak ingin content dipakai untuk potential model training punya kebutuhan berbeda dari advertiser yang perlu landing page divalidasi. Begitu juga website yang ingin mengizinkan tindakan user-triggered tetapi membatasi automatic crawling.

Jadi sebelum menulis satu baris Disallow, pertanyaan pertama bukan:

“AI bot boleh atau nggak?”

Pertanyaan pertama:

“Bot yang mana, untuk fungsi apa?”

OAI-SearchBot adalah crawler untuk Search

OpenAI menjelaskan OAI-SearchBot digunakan untuk membantu menampilkan website dalam fitur pencarian ChatGPT.

Ini crawler yang paling relevan kalau objective-nya visibility di ChatGPT Search.

Jika website memblokir OAI-SearchBot, OpenAI menyatakan site yang opt out tidak akan ditampilkan sebagai source di ChatGPT search answers, walaupun navigational link tertentu masih dapat muncul dalam kondisi tertentu.

Artinya publisher atau brand yang ingin content-nya ditemukan, diringkas, dikutip, dan ditautkan dalam ChatGPT Search sebaiknya tidak sembarangan memblokir OAI-SearchBot.

Ini berbeda dari GPTBot.

OAI-SearchBot bukan nama lain GPTBot.

Dan allow OAI-SearchBot bukan berarti otomatis mengizinkan potential model training melalui GPTBot.

OpenAI secara eksplisit mengatakan setting bot tersebut independent.

Ini sangat penting.

Robots policy bisa granular.

Search visibility boleh.

Training opt-out juga boleh.

Tidak perlu memilih paket “semua atau tidak sama sekali”.

GPTBot terkait potential training

GPTBot digunakan untuk crawl content yang dapat digunakan untuk membuat generative AI foundation models OpenAI lebih useful dan safe.

Jika site tidak ingin content-nya digunakan untuk potential training melalui mekanisme crawler tersebut, OpenAI mendokumentasikan bahwa webmaster dapat disallow GPTBot.

Perhatikan distinction-nya.

Block GPTBot tidak sama dengan block ChatGPT Search.

Kalau Search objective tetap ada, OAI-SearchBot bisa tetap di-allow.

Contoh policy conceptually:

OAI-SearchBot: allow.

GPTBot: disallow.

Ini mungkin cocok untuk publisher yang ingin mendapatkan discovery dan referral dari ChatGPT Search tetapi tidak ingin mengizinkan GPTBot untuk potential training.

Tentu decision tersebut harus mengikuti legal, licensing, editorial, dan business policy organisasi.

Jangan copy robots.txt competitor tanpa memahami objective sendiri.

ChatGPT-User beda lagi

ChatGPT-User digunakan untuk certain user actions di ChatGPT dan Custom GPTs.

Misalnya user meminta ChatGPT membuka sebuah page dalam konteks tertentu.

OpenAI menjelaskan ChatGPT-User tidak melakukan automatic web crawling seperti search crawler. Karena action-nya dipicu user, robots.txt rules may not apply.

Ini nuance yang sering hilang.

Jika tim security melihat ChatGPT-User di logs, jangan langsung menyimpulkan:

“Crawler Search sedang indexing.”

Belum tentu.

Bisa user-triggered request.

OpenAI juga menyatakan ChatGPT-User bukan user-agent yang menentukan apakah content muncul dalam Search. Untuk Search opt-out dan automatic crawl, gunakan OAI-SearchBot policy.

Jadi jangan memakai ChatGPT-User sebagai proxy Search visibility.

Kalau ingin audit crawl Search, lihat OAI-SearchBot.

Kalau melihat ChatGPT-User, interpretasinya berbeda.

OAI-AdsBot khusus iklan

Pada 2026 OpenAI juga mendokumentasikan OAI-AdsBot.

Fungsinya jauh lebih spesifik.

OAI-AdsBot digunakan untuk memvalidasi safety halaman yang diajukan sebagai landing page iklan di ChatGPT. OpenAI juga dapat memakai content landing page untuk menentukan kapan iklan relevan ditampilkan.

OpenAI menyatakan data yang dikumpulkan OAI-AdsBot tidak digunakan untuk melatih generative AI foundation models.

Untuk advertiser, ini bot penting.

OpenAI advertiser guidance mengatakan OAI-AdsBot harus diizinkan agar landing page dapat divalidasi dan direview untuk ChatGPT Ads.

Mereka juga merekomendasikan OAI-SearchBot.

Jadi kalau marketing menjalankan ChatGPT Ads tetapi security block OAI-AdsBot, campaign bisa punya readiness problem.

Ini bukan SEO problem.

Ini ad operations problem.

Satu user-agent yang salah di WAF bisa menghambat review landing page.

Empat bot, empat pertanyaan

Sebelum konfigurasi, buat decision table.

OAI-SearchBot:
Apakah kita ingin website dapat muncul sebagai source dalam ChatGPT Search?

GPTBot:
Apakah kita mengizinkan content untuk potential training melalui crawler ini?

ChatGPT-User:
Bagaimana kita menangani request yang dipicu pengguna atau Custom GPT?

OAI-AdsBot:
Apakah kita menjalankan atau akan menjalankan ChatGPT Ads yang membutuhkan landing page validation?

Sekarang robots policy mengikuti business policy.

Bukan ketakutan generik terhadap “AI crawler”.

Robots.txt bukan satu-satunya layer

Tim sering merasa sudah selesai setelah robots.txt benar.

Belum.

OpenAI advertiser guidance menyebut website bisa gagal dicrawl karena beberapa layer:

robots.txt,

WAF,

CDN,

bot mitigation,

JavaScript challenge,

CAPTCHA,

authentication,

geo rules,

rate limiting.

Bayangkan robots.txt mengatakan Allow.

Cloudflare mengembalikan 403.

Crawler tetap tidak bisa mengakses.

Atau CDN rate-limit 429.

Atau login wall.

Jadi crawlability audit harus melihat actual HTTP behavior.

Policy dan implementation harus sama.

Robots.txt berkata “boleh” tetapi infrastructure berkata “nggak boleh” tetap berarti blocked.

Ini problem klasik lintas team.

Marketing mengubah robots.

Security punya firewall rule.

DevOps punya bot protection.

Cloudflare punya managed rule.

Semua harus align.

Jangan whitelist user-agent saja tanpa verifikasi

User-agent string bisa dipalsukan.

OpenAI menerbitkan IP ranges untuk crawler tertentu.

Untuk security team yang perlu lebih kuat dari string matching, gunakan documented IP ranges dan verified bot mechanisms jika provider mendukung.

OpenAI sendiri menyarankan kombinasi identification, provider-level bot verification, firewall allowlists, dan published ranges jika diperlukan.

Jangan mengambil satu IP dari access log hari ini lalu hardcode selamanya.

Crawler infrastructure bisa berubah.

Gunakan source resmi.

Policy harus maintainable.

OAI-AdsBot bahkan disebut officially verified dan allowlisted oleh Cloudflare dalam guidance OpenAI.

Ini useful untuk advertiser troubleshooting.

Tetapi tetap audit actual config.

Jangan menganggap default Cloudflare selalu sama dengan site-specific rules Anda.

Rate limiting juga bisa bikin false negative

Site merasa bot diblok.

Padahal tidak.

Traffic burst memicu 429.

Ini especially relevant kalau landing pages atau banyak URLs di-submit dalam batch.

OpenAI advertiser guidance menyarankan melihat:

429 responses,

firewall logs,

CDN logs,

bot mitigation events,

request throttling.

Untuk ads, batch yang lebih kecil juga bisa membantu saat troubleshooting.

Pelajaran general:

crawler access bukan binary robots.txt only.

Ada transport layer.

Infrastructure state matters.

Search visibility policy sebaiknya tertulis

Jangan simpan rule sebagai tribal knowledge.

Buat one-page crawler policy.

Contoh:

Objective:
Website ingin eligible untuk ChatGPT Search.

OAI-SearchBot:
Allow public content.

GPTBot:
Disallow berdasarkan company policy.

ChatGPT-User:
Monitor, security rules sesuai risk.

OAI-AdsBot:
Allow pada advertising landing pages jika ads digunakan.

Private areas:
Auth required.

Sensitive paths:
Excluded.

Owner:
Infrastructure + Legal + Marketing.

Review:
Quarterly atau saat OpenAI docs berubah.

Sekarang kalau engineer baru masuk, mereka tidak perlu menebak.

Robots.txt menjadi implementation dari policy.

Bukan policy itu sendiri.

Publisher punya trade-off berbeda

Publisher mungkin ingin:

ChatGPT Search referral.

Citation.

Brand visibility.

Tetapi tidak ingin training crawl.

Policy bisa allow OAI-SearchBot dan block GPTBot.

OpenAI bahkan memberi contoh bahwa settings independent.

Ini memudahkan publisher membuat distinction yang sebelumnya sering dicampur.

Namun licensing agreement atau partnership bisa punya kondisi sendiri.

Jangan hanya mengandalkan generic robots policy kalau ada contract khusus.

Legal team perlu terlibat.

AI Optimization tidak boleh mengabaikan content rights.

Advertiser punya trade-off berbeda

Advertiser mungkin tidak peduli Search visibility pada campaign tertentu.

Tetapi mereka butuh OAI-AdsBot.

Landing page harus accessible.

Jika WAF hanya allow browser manusia, review gagal.

Jika page geo-blocked secara agresif, review bisa gagal.

Jika ada app-only redirect, validation bisa bermasalah.

OpenAI menyarankan directly reachable web landing page bila memungkinkan.

Marketing dan infra perlu test sebelum campaign upload besar.

Ads readiness adalah crawler readiness.

Tapi crawler yang benar.

OAI-AdsBot.

Jangan allow GPTBot hanya karena ads error.

Itu tidak menyelesaikan fungsi yang salah.

Kesalahan paling umum

Pertama:

Block semua OpenAI bots karena ingin opt-out training.

Akibat:
Search visibility ikut hilang.

Kedua:

Allow semua bots karena ingin masuk ChatGPT Search.

Akibat:
Training policy organisasi mungkin tidak sesuai niat.

Ketiga:

Menganggap ChatGPT-User adalah Search crawler.

Akibat:
Log interpretation salah.

Keempat:

Menjalankan ChatGPT Ads tetapi block OAI-AdsBot.

Akibat:
Landing page review terganggu.

Kelima:

Robots allow, WAF block.

Akibat:
Tim merasa config benar tetapi crawler tetap gagal.

Keenam:

Mengandalkan third-party bot list yang outdated.

Akibat:
Rule tertinggal saat crawler berubah.

Source resmi harus menjadi reference.

Jangan copy aturan lama dari artikel 2024

Landscape berubah.

Dulu OAI-AdsBot belum relevan.

Atlas belum ada.

Crawler docs berkembang.

OpenAI menyediakan RSS feed untuk crawler documentation updates.

Infrastructure team yang serius bisa monitor perubahan.

Tidak perlu daily.

Tetapi crawler policy sebaiknya review ketika OpenAI mengubah docs.

AI Search adalah moving system.

Robots rules yang benar tahun lalu belum tentu lengkap sekarang.

Audit log server juga bisa memberi insight

Lihat user-agent.

Path.

status code.

frequency.

response time.

CDN result.

WAF event.

Country/IP.

Jangan hanya lihat hits.

Interpret berdasarkan bot function.

OAI-SearchBot hits content pages:
search crawl.

GPTBot hits:
potential training crawl.

OAI-AdsBot hits landing page:
ad validation.

ChatGPT-User hits one URL after user request:
user-triggered context.

Sekarang log menjadi business telemetry.

Bukan sekadar bot noise.

Tetapi jangan menjadikan crawl frequency sebagai “AI authority score”.

Lebih sering dicrawl tidak otomatis berarti lebih sering dikutip.

Crawler log menunjukkan access behavior.

Bukan recommendation.

Di meeting awal, engineer berkata:

“Semua OpenAI bot sudah diblok, jadi aman.”

Sekarang pertanyaannya berubah.

“Aman untuk objective yang mana?”

Kalau objective hanya training opt-out, memblokir SearchBot mungkin terlalu luas.

Kalau objective Search visibility, memblokir GPTBot tidak otomatis merusak Search.

Kalau objective ads, AdsBot harus accessible.

Kalau user-triggered action, ChatGPT-User punya behavior berbeda.

Robots.txt yang bagus bukan yang paling panjang.

Robots.txt yang bagus adalah yang merepresentasikan policy bisnis secara presisi.

Di era banyak AI crawlers, precision itu makin penting.

Satu baris Disallow bisa berarti bukan hanya “bot tidak boleh masuk”.

Ia bisa berarti Search visibility hilang, ad review gagal, atau policy training menjadi lebih luas dari yang sebenarnya diinginkan.

Jadi sebelum edit file kecil bernama robots.txt, pastikan organisasi sudah menjawab pertanyaan besar:

content ini boleh dipakai untuk apa, oleh bot yang mana, dan untuk tujuan bisnis yang apa.