Mengukur AI Answer Volatility: Kenapa Satu Kali Tes Tidak Pernah Cukup

Pagi hari sebuah brand muncul sebagai rekomendasi pertama. Siang hari namanya turun ke urutan ketiga. Malamnya tidak muncul sama sekali.

Besoknya brand itu kembali disebut, tetapi sumber yang dikutip berubah.

Kalau tim hanya mengambil screenshot pagi hari, report terlihat fantastis.

Kalau kompetitor mengambil screenshot malam hari, kesimpulannya bisa kebalik.

Inilah alasan AI answer volatility perlu diukur sebagai fenomena sendiri.

Volatility bukan sekadar “AI suka berubah-ubah”. Ia adalah tingkat ketidakstabilan output untuk query, kondisi, atau periode tertentu.

Bagi bisnis, ini penting karena visibility yang sesekali tinggi tidak sama nilainya dengan visibility yang konsisten. Brand yang muncul dalam satu demo belum tentu punya presence yang durable. Source yang dikutip sekali belum tentu menjadi source preference yang stabil.

Tanpa volatility measurement, kita mudah menganggap snapshot sebagai trend.

Apa yang Sebenarnya Berubah?

AI answer volatility bisa terjadi di beberapa layer.

Pertama, mention volatility.

Brand muncul atau tidak muncul.

Kedua, ranking or ordering volatility.

Brand tetap muncul, tetapi posisinya dalam list berubah.

Ketiga, citation volatility.

Jawaban relatif sama, tetapi sumber yang dipilih berganti.

Keempat, recommendation volatility.

Brand kadang disebut sebagai pilihan utama, kadang hanya alternatif, kadang sekadar contoh.

Kelima, factual volatility.

Detail tentang brand berubah antar-output, termasuk yang salah.

Keenam, answer framing volatility.

Satu output menekankan harga, output lain menekankan reputation, yang lain menekankan fitur.

Kalau kita hanya menghitung mention, lima jenis perubahan lain tidak terlihat.

Karena itu volatility sebaiknya dipecah, bukan dijadikan satu label “unstable”.

Membuat Baseline dengan Repeated Runs

Cara paling sederhana adalah mengulang query yang sama pada kondisi yang dikontrol.

Misalnya satu query diuji lima kali dalam fresh conversation.

Hasil:

Run 1: Brand A, B, C.
Run 2: Brand A, C, D.
Run 3: Brand B, C, D.
Run 4: Brand A, B, C.
Run 5: Brand A, C, E.

Dari sini kita bisa menghitung observed presence.

Brand A: 4/5.
Brand B: 3/5.
Brand C: 5/5.
Brand D: 2/5.
Brand E: 1/5.

Secara sederhana, Brand C paling stable dalam sample itu.

Tetapi kita juga bisa melihat citation source.

Mungkin Brand C selalu disebut, tetapi link sumber berubah lima kali. Itu berarti entity presence stabil, source preference tidak stabil.

Dua insight berbeda.

Gunakan Fresh Conversation untuk Standalone Test

Conversation context bisa mengubah output.

Kalau kita ingin mengukur volatility query standalone, setiap run sebaiknya dimulai dari fresh conversation dengan wording persis sama.

Kalau run kedua dilakukan setelah bertanya tentang Brand A di run pertama, context sudah terkontaminasi.

Sebaliknya, jika yang ingin diuji adalah conversational journey, context justru bagian dari desain.

Misalnya user awalnya bertanya kategori, lalu mempersempit budget, lalu meminta comparison.

Journey volatility bisa menjadi metric sendiri.

Tetapi jangan campur standalone dan contextual runs dalam satu series.

Waktu Adalah Dimensi Volatility

Lima run dalam sepuluh menit tidak sama dengan lima run selama satu minggu.

Intraday repeat menangkap output variability jangka pendek.

Interday repeat menangkap perubahan yang mungkin terkait freshness, retrieval, model behavior, atau source environment.

Monthly repeat menangkap trend jangka lebih panjang.

Untuk audit yang serius, kita perlu lebih dari satu horizon.

Contoh:

Lima repeats dalam satu measurement window untuk melihat short-term consistency.

Core query set diulang mingguan atau bulanan untuk melihat persistence.

Event-driven retest setelah perubahan besar seperti rebrand, site migration, canonical restructuring, atau platform update.

Dengan begitu tim tidak panik karena satu output berubah, tetapi juga tidak terlalu santai ketika perubahan negatif bertahan tiga periode.

Volatility Score yang Transparan

Kita bisa membuat volatility score, tetapi formula harus jelas.

Versi paling sederhana untuk mention:

Jika brand muncul 5/5, volatility presence rendah.

Jika 0/5, presence juga konsisten, meskipun hasilnya buruk.

Jika 2/5 atau 3/5, volatility lebih tinggi.

Perhatikan satu nuance penting: “tidak pernah muncul” bukan high volatility. Itu low visibility dengan low volatility.

Jangan mencampur level dengan variability.

Metrik visibility menjawab “seberapa sering muncul”.

Metrik volatility menjawab “seberapa berubah hasilnya”.

Dua hal itu harus dipisah.

Untuk ordering, kita bisa menyimpan posisi brand ketika muncul dan menghitung spread.

Untuk citation, kita bisa menghitung berapa banyak source domain unik muncul across repeated runs.

Untuk recommendation framing, kita bisa memakai klasifikasi:

Primary recommendation.
Secondary recommendation.
Mention only.
Not mentioned.

Lalu lihat transisinya.

Tidak harus dibuat dengan statistik kompleks. Yang penting definisinya konsisten.

Source Volatility Sering Lebih Menarik daripada Brand Volatility

Misalnya brand disebut 10/10.

Tim senang.

Tetapi owned domain hanya dikutip 2/10. Delapan sisanya berasal dari media, forum, aggregator, dan direktori.

Dari sisi brand awareness, bagus.

Dari sisi narrative control, lebih complicated.

Jika sumber pihak ketiga akurat dan positif, tidak selalu problem.

Tetapi jika sumber tersebut outdated, AI bisa terus menyebarkan informasi lama.

Source volatility membantu melihat apakah AI punya beberapa jalur evidence atau sangat bergantung pada satu source.

Satu source dominant bisa menjadi kekuatan jika source itu authoritative.

Bisa juga menjadi risk jika source itu bukan milik brand dan mudah berubah.

Karena itu audit perlu menyimpan source domain per run.

Volatility dan Hallucination Harus Dibaca Bersama

Yang paling dangerous bukan hanya brand kadang muncul dan kadang tidak.

Yang lebih serius adalah fakta brand berubah.

Run 1 menyebut kantor di Jakarta.

Run 2 mengatakan kantor di Bandung.

Run 3 menyebut layanan yang sebenarnya tidak tersedia.

Run 4 menggunakan nama founder lama.

Run 5 benar.

Kalau report hanya menunjukkan mention rate 100 persen, hasilnya tampak sempurna.

Padahal entity accuracy kacau.

Volatility measurement harus punya factual consistency layer.

Pilih beberapa critical facts:

Legal entity.

Brand name.

Founder atau leadership bila publik dan relevan.

Core service.

Location.

Product category.

Official domain.

Relationship dengan parent company.

Kemudian cek apakah jawaban konsisten terhadap sumber authoritative.

Jangan menilai semua detail kecil. Fokus pada fakta yang jika salah bisa memengaruhi trust atau keputusan buyer.

Apa yang Bisa Menyebabkan Volatility?

Kita perlu hati-hati karena penyebab exact tidak selalu observable dari luar.

Beberapa kemungkinan umum meliputi variasi generative output, perubahan sumber retrieval, freshness sumber web, perubahan query interpretation, context, personalization, product changes, atau model updates.

Tetapi jangan menulis diagnosis pasti tanpa evidence.

Misalnya citation berubah setelah kita memperbaiki article.

Kita tidak boleh otomatis berkata, “Perubahan article menyebabkan citation volatility turun.”

Mungkin ada model update.

Mungkin kompetitor berubah.

Mungkin retrieval menemukan source baru.

Mungkin query demand context bergeser.

Bahasa yang lebih aman:

“Setelah perubahan halaman, observed citation consistency meningkat dalam measurement window. Hubungan kausal belum dapat dipastikan.”

Kalimat seperti itu mungkin tidak se-sexy “GEO optimization berhasil 47%”, tetapi lebih kredibel.

Volatility Berbeda antar Query

Query definisional cenderung bisa menghasilkan source pattern yang berbeda dari query recommendation.

Query yang sangat broad punya banyak kemungkinan jawaban.

Query dengan constraint ketat sering punya candidate set lebih kecil.

Contoh:

“Agency marketing terbaik?”

Sangat broad.

“Agency Indonesia yang fokus pada GEO dan AI visibility untuk B2B enterprise?”

Lebih constrained.

Kita tidak boleh menganggap volatility tinggi pada broad query selalu menunjukkan masalah brand.

Bisa saja query memang under-specified.

Karena itu segmentasikan volatility berdasarkan intent dan specificity.

Jika commercial query yang sangat specific tetap sangat volatile, itu lebih actionable.

Bisa berarti entity positioning belum kuat, evidence tersebar, atau candidate landscape memang sangat competitive.

Gunakan Competitor Baseline

Brand kita mungkin punya presence 3/5 dan terasa unstable.

Tetapi bagaimana kompetitor?

Jika semua top competitor juga berada di 2/5 sampai 3/5, mungkin query memang sangat volatile secara sistemik.

Jika Competitor A konsisten 5/5 sementara kita 1/5 hingga 3/5, gap-nya lebih meaningful.

Jadi volatility lebih berguna bila comparative.

Kita bisa membuat matrix:

Brand presence consistency.

Owned citation consistency.

Recommendation consistency.

Factual consistency.

Kemudian bandingkan beberapa brand dalam query cluster yang sama.

Fairness penting: query jangan dibuat terlalu cocok dengan vocabulary salah satu brand.

Jangan Screenshot Shopping

Screenshot shopping adalah memilih output yang paling mendukung narrative.

Ini sangat tempting.

Tim internal ingin menunjukkan hasil bagus kepada CEO.

Agency ingin menunjukkan improvement kepada client.

Sales ingin memakai contoh terbaik untuk pitch.

Satu screenshot boleh dipakai sebagai ilustrasi. Tetapi jangan jadikan itu satu-satunya evidence.

Kalau output dipilih dari 20 runs, sebutkan bahwa itu sample dari measurement set dan tampilkan statistik keseluruhannya.

Misalnya:

Brand disebut 14/20 runs.

Primary recommendation 6/20.

Owned domain cited 8/20.

Screenshot di bawah adalah salah satu contoh dari run dengan owned citation.

Sekarang screenshot punya konteks.

Tanpa itu, ia hanya anecdote.

Kapan Volatility Menjadi Alarm?

Tidak semua volatility buruk.

AI memang generative.

Tujuan kita bukan membuat setiap kata output identik.

Alarm lebih relevan ketika perubahan menyentuh hal strategis.

Brand presence turun konsisten pada high-intent queries.

Owned citation digantikan sumber outdated.

Recommendation framing berubah dari positive ke negative.

Entity facts menjadi tidak konsisten.

Competitor stabil sementara brand kita volatile.

Volatility naik setelah migration atau restructuring dan bertahan.

Source diversity jatuh menjadi ketergantungan pada satu domain.

Ini layak investigasi.

Sebaliknya, perubahan wording atau urutan kecil pada list yang semuanya tetap menyebut brand mungkin tidak perlu escalation.

Dashboard Volatility yang Berguna

Dashboard tidak perlu rumit.

Untuk setiap core query, simpan:

Observed mention rate.

Recommendation rate.

Owned citation rate.

Number of unique citation domains.

Entity error count.

Presence consistency.

Tanggal dan test condition.

Kemudian beri flag.

Stable-positive.

Stable-negative.

Volatile.

Improving.

Declining.

Needs review.

Label ini bukan pengganti raw data. Ia membantu triage.

Tim bisa memprioritaskan “volatile + commercial + high value” lebih dulu daripada membaca ratusan output satu per satu.

Satu Kali Tes Tidak Cukup karena AI Visibility Adalah Distribusi, Bukan Foto

Kalau ada satu konsep yang perlu dibawa pulang, ini dia.

AI visibility sebaiknya dipikirkan sebagai distribusi kemungkinan output dalam kondisi tertentu, bukan satu jawaban yang dianggap representatif selamanya.

Satu tes memberi snapshot.

Repeat memberi pattern.

Repeat across time memberi trend.

Competitor comparison memberi context.

Human review memberi meaning.

Baru setelah lima layer itu digabung, kita mulai punya measurement yang layak untuk keputusan.

Brand tidak perlu mengejar output identik setiap saat. Itu tidak realistis.

Yang perlu dicari adalah visibility yang cukup konsisten pada query strategis, citation yang berasal dari sumber berkualitas, entity information yang benar, dan perubahan yang bisa dipantau sebelum menjadi problem besar.

Kalau measurement system bisa membedakan antara random noise dan persistent shift, volatility berubah dari hal yang bikin panik menjadi sinyal yang bisa dikelola.

Dan itu jauh lebih berguna daripada satu screenshot bagus yang kebetulan muncul jam 09.17 pagi.