Hallucination Frequency: Metrik yang Berguna kalau Didefinisikan dengan Benar

“Hallucination rate kita bulan ini 12 persen.”

Kalimat itu terdengar sangat data-driven.

Pertanyaan berikutnya harus langsung muncul:

Dua belas persen dari apa?

Dari seluruh jawaban?

Dari seluruh klaim?

Dari query faktual?

Dari satu platform?

Dari lima run per query?

Apakah stale information dihitung hallucination?

Apakah wrong entity juga masuk?

Kalau jawabannya belum jelas, angka 12 persen belum banyak berarti.

Hallucination frequency bisa menjadi metrik yang berguna untuk AI search monitoring. Tetapi hanya jika unit analisis, taxonomy, denominator, severity, dan metode sampling didefinisikan sebelum angka dihitung.

Tanpa itu, kita punya metric theater.

Mulai dari definisi operasional

OpenAI menggunakan istilah hallucination untuk kondisi ketika model menghasilkan jawaban yang tidak benar. NIST dalam Generative AI Profile banyak menggunakan istilah confabulation untuk risiko output yang salah atau tidak konsisten dengan fakta.

Dalam audit brand, definisi perlu lebih operasional.

Contoh:

“Hallucination adalah klaim faktual yang dibuat sebagai fakta tetapi tidak didukung oleh evidence yang tersedia dalam audit atau bertentangan dengan source yang lebih authoritative dan current.”

Definisi ini belum sempurna, tetapi bisa diuji.

Kemudian buat exclusions.

Tidak termasuk:

Opini model.

Recommendation subjektif.

Prediksi yang jelas dilabeli sebagai prediksi.

Uncertainty yang dinyatakan.

Informasi yang belum bisa diverifikasi.

Perbedaan wording yang tidak mengubah fakta.

Stale fact yang dulunya benar, jika taxonomy Anda memilih memisahkannya.

Mengapa stale fact sebaiknya dipisah?

Karena action berbeda.

AI mengarang nama CEO yang tidak pernah ada: unsupported fabrication.

AI menyebut CEO lama yang berhenti bulan lalu: stale information.

Keduanya salah bagi user.

Tetapi root cause investigation berbeda.

Menyatukan semua menjadi hallucination membuat corrective workflow kurang tajam.

Denominator adalah fondasi

Bayangkan 100 query.

50 tidak menghasilkan klaim tentang brand.

50 menghasilkan jawaban faktual.

Dari 50, lima memiliki error.

Apakah hallucination frequency 5 persen atau 10 persen?

Tergantung denominator.

Kalau denominator seluruh query: 5/100.

Kalau denominator answer yang mengandung factual claim: 5/50.

Dua-duanya bisa valid untuk pertanyaan berbeda.

Karena itu label metric harus eksplisit.

Query-level hallucination incidence.

Answer-level hallucination incidence.

Claim-level error rate.

Misalnya:

Query-level incidence = jumlah query yang setidaknya memiliki satu hallucination dibagi jumlah query yang diuji.

Answer-level incidence = jumlah answer dengan setidaknya satu hallucination dibagi seluruh answer.

Claim-level error rate = jumlah factual claim yang salah dibagi factual claim yang dinilai.

Jangan sebut semuanya “hallucination rate”.

Unit berbeda, cerita berbeda.

Claim-level lebih mahal tetapi lebih diagnostik

Misalnya satu answer berisi 12 klaim:

Nama brand benar.

Lokasi benar.

Founder benar.

Tahun berdiri salah.

Produk benar.

Harga salah.

Sisa benar.

Pada answer-level, ini satu answer hallucinated.

Pada claim-level, dua dari 12 claim salah.

Mana yang lebih berguna?

Untuk executive dashboard, answer-level mungkin cukup.

Untuk correction work, claim-level jauh lebih informatif.

Kita bisa tahu field apa yang bermasalah.

Price.

Location.

Founder.

License.

Product.

Policy.

Relationship.

Measurement sebaiknya punya dua layer:

Executive incidence.

Operational claim error.

Jangan memaksa satu angka melayani semua orang.

Sampling harus mewakili real use case

Hallucination frequency dari 20 branded query tidak bisa digeneralisasi menjadi “AI accuracy terhadap brand”.

Query set harus punya cluster.

Identity.

Product.

Pricing.

Location.

Policy.

Comparison.

Reputation.

Eligibility.

Buyer-intent.

High-stakes facts jika relevan.

Local language.

Code-switching.

Pertanyaan panjang.

Pertanyaan ambigu.

Branded dan non-branded.

Kemudian beri weight sesuai business relevance.

Kalau 80 persen buyer bertanya layanan dan harga, tetapi test set 80 persen berisi sejarah perusahaan, metric akan terlihat bagus tanpa membantu bisnis.

Sampling adalah editorial decision sekaligus measurement decision.

Repeated runs penting karena output bisa berubah

Satu query satu run memberi snapshot.

Bukan distribution.

Misalnya:

Query: “Siapa CEO Brand X?”

Run 1 benar.

Run 2 benar.

Run 3 salah.

Run 4 benar.

Run 5 salah.

Kalau hanya menyimpan Run 1, rate terlihat nol.

Kalau hanya menyimpan Run 3, terlihat 100 persen.

Repeated testing memberi gambaran frequency.

Catat condition:

Platform.

Mode.

Model jika diketahui.

Tanggal.

Locale.

Status login jika relevan.

Fresh session atau continuing conversation.

Web access atau mode pencarian jika tersedia.

Prompt exact.

Tanpa context, hasil sulit direplikasi.

Hallucination frequency harus punya time window

Jangan gabungkan Januari dan Agustus lalu menyebut “current rate”.

Model berubah.

Index berubah.

Source berubah.

Brand facts berubah.

Query behavior berubah.

Gunakan window.

Weekly untuk high-change environment.

Monthly untuk executive trend.

Quarterly untuk broader benchmark.

Tergantung volume.

Kemudian bandingkan apples to apples.

Query panel yang sama.

Metode yang sama.

Classification yang sama.

Kalau methodology berubah, version-kan.

“HF v1” dan “HF v2”.

Jangan diam-diam mengubah denominator lalu membuat grafik terlihat membaik.

Severity lebih penting daripada raw count

Dua puluh hallucination kecil bisa lebih ringan daripada satu error kritis.

Contoh kecil:

AI menyebut brand berdiri “sekitar 2015” padahal 2016.

Contoh material:

AI menyebut layanan memiliki izin tertentu padahal tidak.

Atau memberi alamat klinik yang sudah tutup.

Atau menjelaskan return policy secara salah.

Karena itu buat severity weight.

Misalnya:

Low: cosmetic atau historical minor.

Medium: bisa memengaruhi pemahaman buyer.

High: memengaruhi transaksi, eligibility, financial, legal, atau health decision.

Critical: berpotensi menyebabkan harm serius atau pelanggaran.

Lalu dashboard menampilkan:

Frequency.

Severity distribution.

Persistent errors.

New errors.

Resolved errors.

Lebih berguna daripada satu score.

Persistence adalah dimensi ketiga

Error yang muncul sekali belum tentu punya makna yang sama dengan error yang muncul 18 kali selama enam minggu.

Buat persistence.

Transient.

Intermittent.

Persistent.

Cross-platform persistent.

Contoh:

Error alamat muncul satu kali di satu model lalu tidak pernah lagi.

Monitor.

Error alamat muncul berulang di tiga platform dan ternyata directory besar masih salah.

Prioritize.

Hallucination watch menjadi lebih actionable ketika frequency digabung dengan persistence.

Source evidence perlu dicatat

Kalau platform menampilkan citation atau source link, simpan.

Kadang “hallucination” ternyata source-grounded but stale.

AI mengutip artikel lama yang benar pada 2024.

Itu bukan fabrication murni.

Root cause-nya source freshness atau temporal synthesis.

Kadang source benar tetapi model menyimpulkan terlalu jauh.

Itu reasoning/synthesis error.

Kadang citation tidak mendukung claim.

Itu citation mismatch.

Taxonomy minimal:

Unsupported fabrication.

Stale fact.

Wrong entity.

Source conflict.

Citation mismatch.

Overgeneralization.

Wrong relationship.

Numeric error.

Policy interpretation error.

Dengan taxonomy ini, corrective action lebih tepat.

Inter-rater agreement jangan diabaikan

Dua reviewer bisa berbeda.

Reviewer A menilai claim salah.

Reviewer B menilai “unclear”.

Kalau metric penting, buat rule adjudication.

Contoh:

Verified correct.

Verified incorrect.

Unsupported.

Ambiguous.

Not applicable.

Kemudian setidaknya sebagian sample dinilai dua orang untuk melihat consistency.

Tidak perlu menjadi paper akademik.

Tetapi kalau reviewer agreement rendah, jangan menjual rate dengan dua angka desimal.

Precision tampilan harus mengikuti precision metode.

“11,37 persen” terlihat ilmiah.

Kalau classification-nya subjektif dan sample 37 query, angka itu justru misleading.

Confidence harus ikut metric.

Hallucination frequency bukan ukuran trust universal

Ini batas yang sangat penting.

Rate rendah tidak otomatis berarti brand “dipercaya AI”.

Bisa saja brand hampir tidak pernah disebut.

Atau query set terlalu mudah.

Atau model sering menjawab “tidak tahu”.

Atau satu critical error tersembunyi dalam rate rendah.

Trust lebih luas:

Accuracy.

Freshness.

Source quality.

Consistency.

Coverage.

Uncertainty handling.

Severity.

Hallucination frequency adalah satu komponen.

Bukan seluruh trust.

Jangan membandingkan platform tanpa standardisasi

Platform A punya web search aktif.

Platform B menjawab dari context berbeda.

Platform C menampilkan source.

Platform D menggunakan conversation history.

Kalau metode tidak sama, rate tidak comparable.

Bisa tetap dilaporkan.

Tetapi labelnya:

“Observed hallucination incidence under test conditions.”

Bukan:

“Model A 30 persen lebih akurat daripada Model B.”

Untuk membuat comparative claim yang kuat, desain eksperimennya harus jauh lebih ketat.

GEO.or.id sebaiknya menahan diri dari leaderboard yang kelihatan viral tetapi metodologinya tipis.

Metric harus memperbaiki keputusan

Tanya fungsi metrik.

Kalau frequency naik, apa yang dilakukan?

Audit source conflict?

Update canonical facts?

Escalate critical claim?

Change chatbot source?

Review product feed?

Contact directory?

Add correction?

Kalau tidak ada action path, metrik hanya dekorasi.

Buat threshold berbasis risk.

Critical error: immediate review.

Persistent high-severity: priority remediation.

Transient low-severity: monitor.

Platform-wide spike: investigate model/source change.

Resolved error: retain history, jangan hapus seolah tidak pernah terjadi.

Correction log adalah bagian dari measurement.

Contoh format yang cukup sehat

Periode: 1 sampai 31 Juli 2026.

Platform: X, mode Y.

Query panel: 100 query, lima cluster.

Runs: 3 per query.

Total answers: 300.

Answers dengan factual brand claims: 240.

Answers dengan minimal satu verified incorrect claim: 18.

Answer-level incidence: 7,5 persen.

High-severity: 2.

Persistent errors: 4 claim.

Top taxonomy: stale product availability, wrong location, entity confusion.

Reviewer: dua reviewer untuk 20 persen sample.

Limitation: locale Indonesia, logged-out, query panel internal, tidak mewakili seluruh user behavior.

Sekarang angka punya konteks.

Bisa dibandingkan bulan depan selama metode sama.

Dan jika query panel berubah, version-kan.

Tujuan akhirnya bukan membuat AI kelihatan buruk

Hallucination monitoring bukan konten untuk menakut-nakuti direksi.

Tujuannya adalah memahami risk surface.

Model generatif memang bisa salah.

Sumber publik juga bisa salah.

Organisasi sendiri bisa menerbitkan informasi yang konflik.

Measurement yang baik membantu memisahkan jenis masalah tersebut.

Hallucination frequency berguna ketika definisinya jelas.

Kalau tidak, ia mudah menjadi angka yang cantik tetapi kosong.

Definisikan unit.

Definisikan denominator.

Pisahkan taxonomy.

Catat severity.

Ulangi testing.

Simpan context.

Version-kan metode.

Laporkan limitation.

Dan yang paling penting, hubungkan metric ke correction workflow.

Dengan begitu “12 persen” bukan headline.

Ia menjadi alat untuk memutuskan error mana yang perlu diperbaiki hari ini, mana yang perlu dipantau, dan mana yang sebenarnya bukan hallucination sama sekali.

Ada satu problem statistik lain: false positive.

Reviewer bisa menandai sebuah jawaban sebagai hallucination hanya karena wording berbeda dari website resmi, padahal substansinya benar. Sebaliknya, jawaban bisa terlihat cocok dengan copy website tetapi website itu sendiri sudah salah.

Karena itu “ground truth” harus ditentukan sebelum scoring.

Untuk setiap claim penting, tentukan reference source dan tanggal validasinya. Jika source conflict, jangan paksa label correct atau incorrect. Masukkan ke status conflicted atau unresolved.

Ini mencegah metric menghukum model untuk masalah data yang sebenarnya berasal dari organisasi sendiri.

Audit juga perlu menyimpan contoh borderline. Setelah beberapa minggu, taxonomy dapat diperbaiki. Jika definisi berubah material, jangan rewrite angka historis diam-diam. Version-kan metode dan jelaskan bahwa trend sebelum dan sesudah perubahan tidak sepenuhnya comparable.

Disiplin seperti ini membuat hallucination frequency lebih lambat dibuat, tetapi jauh lebih berguna ketika dipakai untuk keputusan.