Cara Membuat Query Set untuk Audit AI Visibility yang Tidak Bias

Audit AI visibility bisa terlihat sangat ilmiah padahal dari awal sudah bias. Biasnya bukan selalu datang dari model. Sering kali justru datang dari orang yang memilih pertanyaan.

Kalau kita ingin membuktikan bahwa sebuah brand “kuat di AI”, lalu query set-nya dipenuhi pertanyaan yang secara natural mengarah ke brand tersebut, hasilnya hampir pasti bagus. Dashboard kemudian menunjukkan mention tinggi, citation tinggi, dan tim merasa optimasi berhasil.

Masalahnya sederhana: kita sedang mengukur tes yang kita desain sendiri untuk menang.

Query set adalah fondasi audit AI visibility. Kalau fondasinya buruk, seluruh statistik di atasnya ikut bermasalah. Mention rate, citation rate, recommendation rate, share of model, sampai competitor benchmark bisa terlihat presisi tetapi sebenarnya hanya mencerminkan cara kita memilih prompt.

Karena itu membuat query set yang tidak bias bukan pekerjaan copywriting. Ini pekerjaan measurement design.

Mulai dari Buyer Universe, Bukan dari Keyword Brand

Kesalahan paling umum adalah membuka Search Console, mengambil keyword yang sudah menghasilkan traffic, lalu mengubahnya menjadi prompt AI.

Data itu tetap berguna, tetapi tidak cukup.

Search Console hanya menunjukkan sebagian query yang berhubungan dengan website kita di Google. Ia tidak otomatis mewakili seluruh pertanyaan yang mungkin diajukan buyer kepada AI.

AI conversation juga lebih panjang, contextual, dan natural.

Seorang buyer tidak selalu mengetik “jasa GEO Indonesia”.

Dia bisa bertanya:

“Kenapa brand saya muncul di Google tapi jarang disebut ChatGPT?”

“Agency apa yang bisa bantu perusahaan B2B muncul di AI search?”

“Apa bedanya SEO dan GEO untuk bisnis enterprise?”

“Siapa yang bisa audit citation brand di ChatGPT dan Gemini?”

“Kalau website sudah bagus secara SEO, apa masih perlu AI optimization?”

Kalau query set hanya berisi keyword yang sudah dekat dengan bahasa website, kita mengukur kecocokan terhadap vocabulary kita sendiri.

Mulailah dari buyer universe: masalah, kebutuhan, pertanyaan, keraguan, comparison, validation, dan decision criteria yang benar-benar mungkin muncul sebelum transaksi.

Pisahkan Intent Cluster

Query set yang sehat tidak boleh menjadi satu keranjang besar.

Minimal pisahkan berdasarkan intent.

Discovery: user baru memahami masalah.

Problem diagnosis: user mencoba mencari penyebab.

Solution exploration: user ingin tahu pendekatan atau kategori solusi.

Comparison: user membandingkan opsi.

Provider selection: user meminta vendor, agency, produk, atau layanan.

Validation: user mengecek apakah pilihan tertentu kredibel.

Branded: user secara eksplisit menyebut brand.

Post-purchase atau implementation: user mencari bantuan setelah memilih solusi.

Kenapa cluster penting?

Karena brand bisa sangat kuat pada satu tahap dan hilang pada tahap lain.

Misalnya sebuah software sering disebut untuk query “apa itu payroll automation” karena punya banyak educational content. Tetapi saat user bertanya “software payroll Indonesia yang cocok untuk 500 karyawan”, brand tersebut tidak muncul.

Kalau semua query dicampur, total mention rate mungkin terlihat lumayan. Padahal pada intent komersial yang paling dekat ke revenue, visibility-nya lemah.

Jangan Biarkan Branded Query Menggelembungkan Skor

Branded query harus dipisahkan dari non-branded query.

Ini rule dasar.

Kalau kita bertanya “Apa layanan Brand X?” lalu Brand X disebut, itu bukan evidence kuat bahwa model memilih brand secara independen.

Branded query berguna untuk mengaudit entity accuracy.

Apakah AI memahami perusahaan dengan benar?

Apakah founder benar?

Apakah produk benar?

Apakah lokasi benar?

Apakah relationship dengan perusahaan lain benar?

Tetapi branded query tidak boleh dipakai untuk membuktikan competitive visibility.

Kalau 30 persen query set menyebut nama brand secara eksplisit, mention rate akan inflated.

Gunakan Language Variants

Buyer tidak berbicara seperti keyword tool.

Di Indonesia, satu maksud bisa muncul dalam banyak gaya.

Formal:
“Penyedia jasa optimasi visibilitas AI untuk perusahaan di Indonesia.”

Semi-formal:
“Agency GEO yang bagus untuk brand B2B Indonesia.”

Conversational:
“Siapa yang bisa bantu brand gue biar lebih sering disebut AI?”

Problem-led:
“Kenapa kompetitor sering muncul di ChatGPT tapi brand saya nggak?”

Outcome-led:
“Gimana caranya supaya brand lebih gampang ditemukan dan dikutip AI?”

Semua itu bisa mengarah ke kebutuhan yang sama.

Query set sebaiknya memiliki variasi bahasa yang realistis tanpa membuat variasi palsu hanya demi memperbesar jumlah sample.

Kalau sepuluh prompt hanya mengganti “bagus” menjadi “terbaik”, “recommended”, “rekomendasi”, dan “top”, kita mungkin sebenarnya menguji hal yang hampir sama berkali-kali.

Tujuannya bukan punya seribu query. Tujuannya punya representasi intent yang masuk akal.

Jangan Membuat Prompt yang Leading

Prompt leading adalah prompt yang sudah mengarahkan model ke kesimpulan tertentu.

Contoh:

“Kenapa Brand X adalah agency GEO terbaik di Indonesia?”

Ini bukan query audit visibility. Ini prompt yang menanamkan premis.

Versi yang lebih netral:

“Agency apa yang menyediakan layanan GEO dan AI visibility optimization di Indonesia?”

Atau:

“Bandingkan beberapa penyedia GEO untuk perusahaan B2B di Indonesia.”

Hal serupa berlaku pada kompetitor.

Kalau kita hanya menguji query yang wording-nya sangat cocok dengan positioning brand kita dan tidak cocok dengan positioning kompetitor, benchmark menjadi tidak fair.

Query harus merepresentasikan kebutuhan buyer, bukan copywriting homepage kita.

Bangun Query dari Banyak Sumber

Satu orang sebaiknya tidak menjadi satu-satunya sumber query set.

Gunakan kombinasi data.

Sales call notes dapat menunjukkan pertanyaan nyata dari prospect.

Customer support dapat menunjukkan pain point setelah penggunaan.

Search Console dapat menunjukkan bahasa pencarian organik.

Paid search dapat menunjukkan commercial intent.

Site search dapat menunjukkan apa yang dicari orang di website.

Forum dan komunitas dapat memberi vocabulary natural.

Social media dapat menunjukkan bagaimana isu dibahas secara informal.

Autocomplete dan related searches dapat memberi varian demand.

Tim produk dapat memberi use case yang mungkin belum populer di keyword tools.

Competitor pages dapat membantu melihat kategori dan language gap, bukan untuk menyalin positioning mereka.

Kalau audit sangat penting, lakukan workshop kecil dengan sales, marketing, product, dan customer success. Bias individu akan lebih kecil daripada jika semua prompt ditulis oleh satu SEO specialist dalam satu sore.

Stratified Query Set Lebih Berguna daripada Random Campuran

Kita tidak harus mengambil query secara random dari internet.

Yang lebih realistis adalah stratified sampling.

Misalnya target 120 query.

30 discovery.
25 problem diagnosis.
25 comparison.
20 provider selection.
10 validation.
10 branded entity accuracy.

Kemudian di dalamnya dibagi lagi berdasarkan persona atau segment jika bisnis memang punya beberapa buyer.

Untuk B2B, mungkin ada CEO, marketing director, procurement, technical lead, dan founder.

Untuk consumer, bisa ada first-time buyer, price-sensitive buyer, enthusiast, atau user dengan kebutuhan spesifik.

Struktur ini membuat coverage bisa dibaca.

Kalau provider-selection visibility hanya 8 persen tetapi discovery 52 persen, kita tahu area yang perlu diperbaiki.

Tanpa stratifikasi, average menyembunyikan masalah.

Tentukan Inclusion dan Exclusion Rule

Query set harus punya aturan masuk dan keluar.

Inclusion rule misalnya:

Relevan dengan produk atau layanan yang benar-benar dijual.
Masuk ke market dan geography yang ditargetkan.
Bisa ditanyakan buyer secara masuk akal.
Tidak membutuhkan informasi pribadi.
Tidak sengaja mendikte jawaban.
Punya intent yang bisa diklasifikasikan.

Exclusion rule misalnya:

Prompt yang hanya mencari definisi terlalu umum dan tidak punya hubungan strategis.
Prompt yang menyebut brand ketika sedang mengukur non-branded discovery.
Prompt duplikat dengan variasi kosmetik.
Prompt yang bergantung pada event sangat sementara jika audit dimaksudkan sebagai baseline stabil.
Prompt yang jawabannya membutuhkan data privat atau tidak tersedia publik.

Aturan ini membantu mencegah cherry-picking setelah hasil terlihat.

Lock Query Set sebelum Testing

Ini bagian yang sering dilanggar.

Query set sebaiknya dikunci sebelum pengujian utama.

Kenapa?

Karena setelah melihat output, manusia cenderung ingin mengganti query yang hasilnya “aneh”.

Misalnya brand tidak muncul di 12 query. Tim lalu merasa query tersebut “kurang relevan” dan menghapusnya.

Tetapi ketika brand muncul di query yang sama-sama borderline, query itu dipertahankan.

Itu survivorship bias.

Kalau ada query yang ternyata memang buruk, boleh direvisi, tetapi dokumentasikan sebagai perubahan metodologi dan jangan mencampur hasil sebelum dan sesudah seolah satu seri yang identik.

Versioning Query Set

Query set juga perlu versi.

Contoh:

QSET-GEO-ID-2026-08-v1.

Bulan berikutnya ada tiga kategori layanan baru dan lima query lama sudah obsolete.

Jangan diam-diam overwrite.

Buat v2, catat perubahan, lalu tentukan apakah trend comparison masih apple-to-apple.

Untuk KPI jangka panjang, pertahankan core panel query yang stabil.

Di luar itu, buat rotating panel untuk tren baru.

Dengan begitu kita mendapatkan dua manfaat:

Core set menjaga comparability.

Rotating set menjaga freshness.

Ini lebih sehat daripada memilih antara “query set tidak pernah berubah” dan “query set berubah total setiap bulan”.

Geography dan Bahasa Harus Eksplisit

Untuk brand Indonesia, geography bukan detail kecil.

Query “best accounting software” bisa menghasilkan konteks berbeda dari “software akuntansi untuk perusahaan Indonesia”.

Bahasa juga dapat mengubah source preference dan brand mix.

Jadi audit bisa memiliki layer:

Bahasa Indonesia, konteks Indonesia.
Bahasa Inggris, konteks Indonesia.
Bahasa Inggris, global comparison.
Bahasa campuran jika memang umum bagi buyer.

Jangan gabungkan semuanya tanpa label.

Jika bisnis multi-country, query set sebaiknya dibagi berdasarkan market. Brand yang kuat di Indonesia belum tentu relevant di Singapore atau Australia.

Hindari Menganggap Query Set sebagai Volume Pasar

Seratus query audit bukan berarti masing-masing punya demand yang sama.

Query set adalah panel measurement, bukan otomatis market-share dataset.

Kalau ingin memberi bobot berdasarkan commercial importance atau estimated demand, lakukan secara eksplisit.

Misalnya provider-selection query diberi strategic weight lebih tinggi karena dekat dengan revenue.

Tetapi jangan menyebut weighted score sebagai “share of all AI searches” tanpa data populasi yang mendukung.

Kita biasanya tidak memiliki keseluruhan denominator percakapan pengguna di semua AI platform.

Jadi bahasa report harus disiplin: observed visibility pada panel query, bukan universal visibility.

Uji dengan Blind Review bila Bisa

Untuk audit yang serius, reviewer sebaiknya tidak selalu tahu target hypothesis.

Misalnya reviewer A mengklasifikasikan apakah jawaban berisi recommendation, reviewer B memeriksa citation quality.

Kalau semua reviewer tahu bahwa project ingin membuktikan Brand X membaik, subconscious bias bisa masuk.

Blind review tidak selalu practical untuk tim kecil, tetapi konsepnya penting.

Minimal buat classification rule sebelum melihat hasil.

Misalnya recommendation dianggap positif hanya jika brand diberikan sebagai opsi yang relevan terhadap kebutuhan, bukan sekadar disebut.

Citation dianggap owned hanya jika source berada di domain resmi yang sudah didefinisikan.

Entity error hanya dihitung jika menyangkut fakta yang bisa diverifikasi.

Semakin konkret rule, semakin kecil ruang “feeling”.

Query Set yang Bagus Bukan yang Membuat Brand Terlihat Bagus

Kalimat ini perlu ditempel di dashboard team.

Tujuan audit bukan membuktikan optimasi berhasil.

Tujuan audit adalah mengetahui kondisi sebenarnya.

Kalau brand hanya muncul di branded queries, kita harus melihat itu.

Kalau kompetitor mendominasi comparison intent, itu data.

Kalau AI tidak mengenali kategori layanan kita, itu problem positioning.

Kalau citation berasal dari pihak ketiga yang outdated, itu risk.

Query set yang jujur kadang menghasilkan laporan yang tidak nyaman. Justru itu nilainya.

Audit yang selalu hijau kemungkinan besar tidak cukup menantang.

Checklist Praktis sebelum Query Set Dipakai

Sebelum testing, tanyakan:

Apakah query berasal dari lebih dari satu sumber?

Apakah branded dan non-branded dipisahkan?

Apakah buyer journey terwakili?

Apakah commercial intent cukup banyak?

Apakah ada language variation yang realistis?

Apakah query leading sudah dibuang?

Apakah competitor comparison dibuat fair?

Apakah geography jelas?

Apakah duplicate intent sudah dikurangi?

Apakah inclusion dan exclusion rule tertulis?

Apakah query set sudah dikunci dan diberi versi?

Apakah core panel dipisahkan dari trend panel?

Apakah tim bisa menjelaskan kenapa setiap cluster ada?

Kalau jawabannya iya, audit punya fondasi yang jauh lebih kuat.

AI Visibility Bukan Tes Hafalan Brand

Pada akhirnya, query set adalah cara kita mensimulasikan ruang keputusan buyer.

Kita ingin melihat kapan brand ditemukan, kapan dilewatkan, kapan dikutip, kapan direkomendasikan, dan kapan dijelaskan secara salah.

Semakin dekat query set dengan real buyer questions, semakin berguna audit untuk bisnis.

Sebaliknya, semakin query set dibentuk untuk mengejar skor bagus, semakin besar risiko organisasi mengoptimasi dashboard, bukan real visibility.

Measurement yang tidak bias memang tidak pernah 100 persen steril. Pemilihan query selalu melibatkan judgement.

Yang bisa kita lakukan adalah membuat judgement itu eksplisit, terdokumentasi, repeatable, dan terbuka untuk diaudit.

Di situlah bedanya antara “kami mencoba beberapa prompt di AI” dan AI visibility measurement yang benar-benar bisa dipakai untuk mengambil keputusan.