AI Answer Stability: Jawaban Konsisten Belum Tentu Jawaban Benar

Ada jenis hasil audit AI yang gampang bikin tim terlalu cepat senang.

Lima kali ditanya, jawabannya sama.

Besok dites lagi, jawabannya masih sama.

Minggu berikutnya, masih konsisten.

Di dashboard, ini terlihat cantik: stability tinggi.

Masalahnya cuma satu.

Kalau jawabannya salah, kita baru saja mengukur konsistensi sebuah kesalahan.

AI answer stability memang berguna. Tetapi stability bukan sinonim accuracy, trust, atau truth. Ia hanya menjawab pertanyaan yang lebih sempit: seberapa konsisten suatu sistem menghasilkan jawaban yang serupa ketika kondisi pengujian diulang.

Untuk program AI visibility, distinction ini wajib dijaga. Kalau tidak, metric stability bisa memberi rasa aman palsu.

Stabil bukan berarti benar

Bayangkan calon klien bertanya:

“Apakah Firma X punya kantor di Surabaya?”

AI menjawab:

“Ya, Firma X memiliki kantor di Surabaya.”

Query yang sama dijalankan lima kali. Lima-limanya menjawab ya.

Padahal kantor Surabaya sudah ditutup enam bulan lalu.

Secara stability, hasilnya sangat tinggi.

Secara factual accuracy, hasilnya salah.

Secara business consequence, calon klien bisa datang ke lokasi yang sudah tidak aktif.

Jadi ada setidaknya tiga dimensi berbeda:

Stability: apakah output berulang relatif sama?

Accuracy: apakah factual claim benar?

Freshness: apakah fakta masih berlaku pada waktu pengujian?

Ketiganya harus dibaca bersama.

Satu metric tidak boleh mengambil alih fungsi metric lain.

OpenAI sendiri menjelaskan bahwa language model dapat menghasilkan pernyataan yang terdengar masuk akal tetapi salah. Dalam riset tentang hallucination, salah satu contoh yang menarik justru menunjukkan model bisa memberikan jawaban berbeda-beda pada pertanyaan yang sama. Tetapi kebalikannya juga mungkin: model dapat terus mengulang representasi yang salah jika source landscape, learned pattern, atau retrieval path yang digunakan tetap mendukung kesalahan tersebut.

Karena itu consistency bukan evidence kebenaran.

Apa sebenarnya yang ingin diukur?

Sebelum membuat AI Answer Stability Score, tentukan unit analisis.

Apakah kita mengukur:

Kesamaan wording?

Kesamaan factual claims?

Kesamaan source?

Kesamaan recommendation?

Kesamaan ranking urutan brand?

Kesamaan sentiment?

Kesamaan uncertainty?

Itu semua berbeda.

Dua jawaban bisa memakai kalimat berbeda tetapi factual conclusion sama.

Contoh:

Run 1:
“Brand A menyediakan layanan konsultasi pajak untuk perusahaan.”

Run 2:
“Perusahaan dapat menggunakan Brand A untuk kebutuhan konsultasi perpajakan.”

Secara textual similarity mungkin sedang.

Secara claim stability tinggi.

Sebaliknya, dua jawaban bisa memakai struktur hampir sama tetapi satu angka berubah:

“Harga mulai Rp5 juta.”

“Harga mulai Rp7 juta.”

Secara semantic tone mirip.

Secara buyer consequence berbeda.

Jadi untuk GEO measurement, claim-level stability biasanya lebih berguna daripada sekadar menghitung similarity teks.

Stability perlu query panel yang dibekukan

Kalau query berubah, kita tidak sedang mengukur stability.

Contoh:

Hari pertama:
“Siapa konsultan pajak terbaik di Jakarta?”

Hari kedua:
“Rekomendasi konsultan pajak untuk perusahaan asing di Jakarta.”

Hari ketiga:
“Konsultan pajak murah Jakarta.”

Itu tiga intent berbeda.

Jawaban berbeda tidak otomatis menunjukkan instability.

Untuk pengukuran yang lebih masuk akal, freeze query.

Simpan prompt exact.

Catat platform.

Tanggal.

Locale.

Mode search jika relevan.

Status login jika relevan.

Conversation state.

Jumlah run.

Kalau sistem punya model selector yang diketahui, catat versinya.

Tujuannya bukan membuat eksperimen akademik sempurna.

Tujuannya membuat hasil bisa dibaca ulang oleh tim tiga bulan kemudian tanpa bertanya, “Ini sebenarnya dites pakai kondisi apa?”

Fresh session dan continuing conversation jangan dicampur

Ini sering terlewat.

Jawaban pada chat baru bisa berbeda dari jawaban setelah sepuluh turn conversation.

Context sebelumnya memengaruhi interpretasi.

Misalnya user sudah mengatakan:

“Saya cari vendor enterprise dengan kantor Jakarta.”

Lalu bertanya:

“Bagaimana Brand X?”

Jawaban AI akan memakai context tersebut.

Jika besok query “Bagaimana Brand X?” diuji di fresh session, jawabannya mungkin lebih general.

Itu bukan instability model semata.

Test condition berubah.

Buat dua kelompok:

Fresh-query stability.

Conversational-context stability.

Keduanya useful untuk use case berbeda.

Buyer journey nyata sering conversation-based.

Tetapi benchmark bulanan lebih mudah dikontrol dengan fresh session.

Source stability adalah layer lain

ChatGPT Search dapat memberikan jawaban dengan link ke sumber web. Google AI features juga dapat menampilkan link menuju sumber yang dianggap relevan.

Karena itu jangan hanya simpan output.

Simpan source yang muncul, jika tersedia.

Skenario menarik:

Jawaban stabil, source berubah.

Atau:

Source stabil, jawaban berubah.

Contoh:

Run 1 dan Run 2 sama-sama mengutip official pricing page, tetapi angka yang dirangkum berbeda.

Itu bisa menunjukkan synthesis issue.

Sebaliknya:

Run 1 memakai website resmi.

Run 2 memakai media.

Run 3 memakai directory.

Tetapi semua menghasilkan fakta yang sama.

Claim stability tinggi, source stability rendah.

Dua observasi ini punya implication berbeda.

Untuk brand, source stability bisa membantu memetakan domain mana yang berulang kali menjadi evidence path.

Tetapi jangan menganggap domain yang sering dipilih sebagai “preferred source permanen”. Sistem search dan generative answer bersifat dinamis. Query, waktu, indeks, dan system behavior dapat berubah.

Repeated answer salah adalah prioritas tinggi

Kalau sebuah error terjadi satu kali, kita monitor.

Kalau error yang sama muncul 15 dari 15 run, itu bukan alasan berkata, “Bagus, stabil.”

Itu justru persistent misinformation.

Buat classification:

Stable-correct.

Stable-wrong.

Unstable-mostly-correct.

Unstable-mixed.

Unstable-mostly-wrong.

Unknown atau unverifiable.

Kategori “stable-wrong” harus mendapat perhatian khusus karena kesalahan tersebut berpotensi terlihat authoritative.

Manusia punya bias sederhana: repetition feels true.

Semakin sering kita melihat klaim sama, semakin familiar.

Dalam konteks bisnis, buyer yang bertanya beberapa kali atau lewat beberapa platform bisa menganggap repeated claim sebagai konfirmasi.

Di sinilah stability menjadi risk signal, bukan quality signal.

Cross-platform stability perlu hati-hati

Misalnya ChatGPT, Google AI Mode, dan platform lain semuanya menyebut fakta yang sama.

Apakah berarti fakta benar?

Belum tentu.

Mereka bisa menemukan source publik yang sama.

Atau beberapa source yang semuanya menyalin origin yang sama.

Cross-platform agreement bukan independent verification otomatis.

Lakukan provenance check.

Jika tiga sistem mengutip artikel yang sama, kita punya tiga output tetapi satu evidence origin.

Kalau tiga sistem memakai sumber independen yang konsisten, signal-nya lebih kuat.

Tetap bukan proof absolut.

Tetapi jauh lebih informatif.

Stability pada recommendation lebih kompleks

Pertanyaan seperti:

“Software CRM terbaik untuk startup Indonesia?”

tidak punya satu factual answer.

Recommendation dipengaruhi kebutuhan.

Budget.

Team size.

Integration.

Security.

Language.

Availability.

Criteria.

Kalau AI selalu merekomendasikan brand yang sama, apakah itu stable?

Ya.

Apakah itu benar?

Pertanyaan “benar” di sini harus diganti menjadi “well-supported dan fit dengan criteria”.

Audit recommendation sebaiknya memeriksa:

Apakah criteria dijelaskan?

Apakah alternatives relevan?

Apakah claim tentang product akurat?

Apakah pricing current?

Apakah recommendation diberi qualification?

Apakah ada commercial influence yang perlu dibedakan?

Stability pada evaluative answer tidak boleh diperlakukan seperti stability pada alamat kantor.

Stability harus dipasangkan dengan confidence

Buat matriks sederhana.

High stability + high accuracy:
healthy signal.

High stability + low accuracy:
persistent error.

Low stability + high accuracy:
variasi wording atau source mungkin tidak masalah selama fakta benar.

Low stability + low accuracy:
high uncertainty environment.

Tambahkan severity.

Kesalahan nama warna produk tidak sama dengan kesalahan izin, harga, alamat, legal status, atau layanan kesehatan.

Dashboard yang matang tidak memberi satu skor 82/100 lalu selesai.

Ia menjelaskan type of instability dan consequence.

Cara pengujian yang realistis

Ambil 30 query penting.

Kelompokkan:

Identity.

Product atau service.

Price.

Location.

Comparison.

Reputation.

Policy.

Buyer-intent.

Jalankan masing-masing tiga sampai lima kali pada condition yang sama.

Catat claim utama.

Catat source.

Label factual status.

Hitung:

Claim stability.

Source stability.

Accuracy.

Freshness.

Severity.

Kemudian ulangi pada interval waktu yang masuk akal.

Jangan terlalu sering kalau source landscape tidak berubah dan cost besar.

Tetapi untuk fakta cepat berubah seperti stock, price, availability, schedule, atau role holder, cadence harus lebih tinggi.

Stability across time berbeda dari within-session stability

Ada dua pertanyaan.

Apakah jawaban stabil hari ini?

Apakah jawaban stabil selama tiga bulan?

Jawaban bisa 100 persen konsisten dalam satu hari tetapi berubah setelah model update, source update, atau website berubah.

Karena itu simpan time series.

Tanggal adalah bagian dari evidence.

Kalau output berubah setelah organisasi memperbaiki source conflict, itu observation menarik.

Tetapi jangan langsung menulis:

“Perubahan website menyebabkan model update.”

Kausalitas mungkin tidak bisa dibuktikan.

Lebih aman:

“Setelah source correction dilakukan pada tanggal X, jawaban yang sebelumnya salah tidak muncul dalam pengujian Y selama periode Z.”

Bahasa seperti ini lebih defensible.

AI Answer Stability bukan ranking factor

Ini perlu dikunci.

Tidak ada dasar publik untuk mengatakan:

“Semakin stabil jawaban AI tentang brand, semakin tinggi trust score brand.”

Stability adalah metric observasi buatan kita.

Ia membantu diagnosis.

Bukan sinyal yang diketahui digunakan platform untuk ranking atau citation.

GEO.or.id sebaiknya membedakan:

Platform fact.

Measurement framework.

Interpretation.

Hypothesis.

Practical implication.

Kalau empat layer ini dicampur, framework internal mudah berubah menjadi pseudo-science.

Kapan stability berguna untuk keputusan?

Pertama, ketika kita ingin tahu apakah satu screenshot representatif.

Kalau hasil berubah besar antar-run, satu screenshot lemah.

Kedua, ketika memprioritaskan correction.

Persistent wrong answer lebih urgent daripada transient cosmetic error.

Ketiga, ketika memonitor perubahan source landscape.

Source yang terus muncul bisa menjadi target audit.

Keempat, ketika mengevaluasi program AI visibility.

Kita bisa melihat apakah correct answer menjadi lebih konsisten dari waktu ke waktu.

Kelima, ketika menguji high-stakes facts.

Semakin berisiko claim, semakin penting repeated verification.

Tim tidak harus mengejar stabilitas maksimal

Ada kondisi di mana variasi itu sehat.

Untuk pertanyaan exploratory, AI boleh memberi angle berbeda.

Untuk recommendation, shortlist bisa berubah ketika criteria berubah.

Untuk ide kreatif, stability bahkan bukan objective utama.

Target yang masuk akal adalah factual integrity pada hal yang memang seharusnya stabil.

Nama legal.

Alamat aktif.

Policy current.

Product capability.

Relationship antarentity.

Harga jika memang fixed dan current.

Status layanan.

Untuk opini dan recommendation, fokus pada reasoning quality dan evidence.

Bukan identical output.

Kesimpulan yang perlu dibawa ke dashboard

AI Answer Stability adalah metric penting karena generative answer tidak selalu deterministic dalam pengalaman pengguna.

Tetapi stability hanya satu dimensi.

Jawaban yang sama berulang kali bisa berarti:

Model memahami fakta dengan baik.

Source landscape konsisten.

Atau kesalahan lama sedang direplikasi dengan sangat konsisten.

Kita baru tahu setelah memeriksa accuracy, freshness, provenance, dan severity.

Jadi jangan merayakan consistency sendirian.

Pertanyaan yang lebih matang bukan:

“Apakah AI selalu menjawab sama?”

Pertanyaannya:

“Apakah fakta yang benar muncul secara konsisten, dengan evidence yang layak, dalam kondisi pengujian yang terdokumentasi?”

Itulah stability yang benar-benar berguna.

Bukan karena output terlihat rapi di dashboard.

Karena ketika buyer menerima jawaban yang sama berkali-kali, organisasi perlu tahu apakah repetition tersebut sedang memperkuat kebenaran atau justru memperkuat kesalahan.