Mengukur Hallucination Frequency untuk Brand dan Entity

Ada jenis AI visibility yang tidak layak dirayakan.

Brand muncul.

Nama perusahaan benar.

Jawabannya terlihat yakin.

Tetapi kota kantor salah.

Founder tertukar.

Produk yang sudah dihentikan disebut masih aktif.

Layanan yang tidak pernah dijual tiba-tiba muncul sebagai offering utama.

Kalau dashboard hanya menghitung mention, semua itu terlihat seperti kemenangan.

Padahal bagi brand, visibility yang salah bisa menjadi reputational risk.

Karena itu hallucination frequency perlu masuk ke audit brand dan entity.

Bukan sebagai metric untuk menakut-nakuti tim.

Sebagai quality control.

Pertanyaannya sederhana:

Ketika AI membicarakan entity kita, seberapa sering ia menghasilkan critical factual error?

Sebelum Mengukur, Tentukan Apa yang Disebut Hallucination

Istilah hallucination sering dipakai terlalu luas.

Output yang kurang lengkap belum tentu hallucination.

Opinion yang tidak kita suka belum tentu hallucination.

Brand tidak direkomendasikan bukan hallucination.

Citation ke competitor bukan hallucination.

Untuk audit entity, definisi yang lebih operasional:

Hallucination atau factual error adalah claim yang dapat diverifikasi dan bertentangan dengan authoritative evidence, atau claim spesifik yang dibuat tanpa basis yang dapat ditemukan ketika seharusnya dapat diverifikasi.

Tetapi audit praktis sebaiknya memakai label:

Correct.

Incomplete.

Ambiguous.

Outdated.

Incorrect.

Unsupported/unverifiable.

Kenapa dipisah?

Karena outdated berbeda dari fabricated.

Incomplete berbeda dari wrong.

Ambiguous perlu human review.

Kalau semua dimasukkan satu bucket “hallucination”, diagnosis jelek.

Buat Critical Fact Set

Jangan fact-check setiap adjective.

Pilih fakta yang material.

Untuk organization:

Official brand name.

Legal entity if public/relevant.

Official domain.

Headquarters/location.

Founder or leadership if public and material.

Core services.

Products.

Parent/subsidiary relationship.

Market availability.

Contact/channel if part of query.

Untuk product:

Brand.

Product name.

Model.

Capability.

Price if current and official.

Availability.

Compatibility.

Safety limitation.

Untuk person:

Role.

Organization relationship.

Public professional history.

Jangan mengumpulkan data personal sensitif yang tidak perlu.

Audit brand bukan surveillance.

Critical fact set membuat review scalable.

Skenario Ilustratif: Mention Rate 90%, Accuracy 70%

Bayangkan sebuah perusahaan software.

Audit 100 outputs.

Brand disebut di 90.

Tim awalnya senang.

Setelah fact-check:

63 correct.

12 incomplete.

8 outdated.

5 critical incorrect.

2 ambiguous.

Mention rate:
90%.

Critical accuracy:
63/90 fully correct jika definisinya strict.

Critical error frequency:
5/90.

Outdated frequency:
8/90.

Sekarang picture berubah.

Brand memang visible.

Tetapi ada entity hygiene problem.

Mungkin AI masih melihat halaman lama.

Mungkin third-party profiles outdated.

Mungkin brand baru rebrand.

Mungkin source conflict.

Kita belum tahu penyebab.

Tetapi metric menunjukkan area yang perlu investigation.

Denominator yang Benar

Hallucination frequency harus dihitung dari output yang benar-benar membuat factual claims tentang brand.

Bukan semua query.

Misalnya 100 runs.

Brand disebut 40.

Dari 40, 30 mengandung factual description.

Tiga punya critical error.

Ada beberapa denominator:

3/100 all runs.

3/40 brand-mentioned runs.

3/30 factual-claim-eligible runs.

Untuk risk, denominator ketiga sering paling meaningful.

Tetapi report bisa menyimpan semuanya.

Label jelas.

“Critical factual error observed in 10% of outputs that made checkable claims about the brand.”

Ini lebih precise daripada “AI hallucination rate 10%”.

Severity Lebih Penting daripada Count

Salah menulis tahun berdiri satu tahun mungkin minor.

Salah menyebut perusahaan sebagai licensed financial institution padahal bukan, bisa critical.

Jadi buat severity.

S0:
No issue.

S1:
Minor factual imprecision, low consequence.

S2:
Material error that can mislead evaluation.

S3:
Critical risk involving legal status, safety, financial claim, identity, availability, or other high-impact fact.

Severity taxonomy harus disesuaikan industri.

Healthcare, finance, legal, safety membutuhkan threshold lebih ketat.

Untuk lifestyle brand, product availability mungkin lebih important.

Frequency tanpa severity bisa membuat tim sibuk memperbaiki typo sambil melewatkan wrong legal identity.

Outdated Bukan Selalu Hallucination

Ini distinction yang berguna.

AI mengatakan CEO lama masih menjabat.

Fakta itu pernah benar.

Sekarang outdated.

Source mungkin stale.

Ini berbeda dari mengarang nama CEO yang tidak pernah ada.

Keduanya salah bagi user hari ini.

Tetapi remediation berbeda.

Outdated:
Perbaiki source freshness dan conflicting records.

Fabricated/unsupported:
Investigate entity confusion, source quality, model behavior.

Pisahkan classification agar strategy tidak asal.

Entity Confusion adalah Kategori Sendiri

Indonesia punya banyak nama brand mirip.

PT dengan nama generik.

Cabang dengan nama sama.

Produk yang namanya sama dengan perusahaan.

Founder yang punya beberapa bisnis.

Jika AI mencampur dua entity, itu bukan sekadar satu wrong fact.

Itu entity resolution failure.

Buat flag:

Entity confusion: yes/no.

Contoh:

Brand A Indonesia dicampur dengan Brand A di negara lain.

Product X dianggap anak perusahaan.

Founder dari company lain dipasangkan.

Website unofficial dianggap official.

Entity confusion perlu prioritas tinggi karena satu error bisa memicu banyak claim salah sekaligus.

Track Claim-Level dan Answer-Level

Answer-level:
Apakah output memiliki minimal satu critical error?

Claim-level:
Berapa claim salah dari seluruh claims yang diperiksa?

Contoh satu output:

10 factual claims.

2 wrong.

Answer-level hallucination:
Yes.

Claim-level error:
20%.

Kedua metric useful.

Answer-level bagus untuk user risk.

Claim-level bagus untuk diagnosis.

Tetapi claim extraction butuh effort lebih.

Untuk audit kecil, answer-level cukup.

Untuk entity critical, claim-level lebih kuat.

Repeat Runs

Satu error sekali bisa random.

Error yang muncul 8/10 runs lebih persistent.

Catat frequency per fact.

Misalnya:

Wrong HQ:
1/10.

Old founder:
8/10.

Wrong product:
2/10.

Sekarang remediation priority jelas.

Old founder adalah persistent error.

Bukan one-off.

Repeated testing juga membantu melihat apakah correction effort berhubungan dengan perubahan.

Jangan hanya screenshot satu jawaban salah lalu bilang “AI selalu salah”.

Source Attribution Membantu Diagnosis

Ketika output salah dan ada citations, buka source.

Apakah source juga salah?

Kalau yes:
Problem mungkin upstream information.

Kalau source benar tetapi answer salah:
Synthesis error mungkin terjadi.

Kalau citation tidak mendukung claim:
Citation alignment issue.

Kalau tidak ada source:
Lebih sulit diagnosis.

Simpan:

Error claim.

Cited source.

Source truth status.

Support alignment.

Ini mengubah hallucination audit dari complaint menjadi evidence.

Authoritative Truth Set

Tim perlu satu source of truth.

Misalnya:

Official company page.

Regulatory record.

Official product docs.

Current leadership page.

Approved press kit.

Public legal identity.

Jangan fact-check menggunakan random blog kalau official evidence tersedia.

Truth set harus versioned.

Kenapa?

Karena brand sendiri berubah.

Kalau harga berubah 1 Agustus, output 30 Juli tidak boleh dinilai salah menggunakan harga 9 Agustus tanpa date context.

Measurement harus time-aware.

Truth set punya effective date.

Jangan “Memperbaiki” AI dengan Membuat Fakta Baru

Saat menemukan hallucination, tim kadang tergoda membuat banyak pages yang mengulang fakta.

“Biar AI ngerti.”

Hati-hati.

Duplikasi massal bisa menambah noise.

Lebih baik perkuat canonical identity.

Official entity page.

Consistent organization information.

Product pages.

About.

Contact.

Press kit.

Structured data yang sesuai visible content.

Third-party corrections jika feasible.

Tetapi jangan menjanjikan bahwa satu schema atau page pasti menghilangkan hallucination.

Itu perlu observation.

Measurement dulu.

Remediation.

Retest.

Cross-Model Hallucination Matrix

Model berbeda bisa punya error berbeda.

Buat matrix:

Fact.

Model A.

Model B.

Model C.

Example:

HQ:
Correct / Correct / Wrong.

Founder:
Outdated / Correct / Correct.

Service:
Correct / Unsupported / Correct.

Parent company:
Wrong / Correct / Ambiguous.

Sekarang kita tahu apakah problem source-wide atau model-specific.

Kalau semua model salah pada fact yang sama, kemungkinan public information conflict patut dicek.

Kalau satu model saja, bisa jadi behavior-specific.

Masih hypothesis.

Tetapi lebih useful.

Hallucination Frequency Harus Dipisah dari Visibility

Dashboard:

Mention coverage: 68%.

Recommendation coverage: 31%.

Owned citation coverage: 24%.

Entity accuracy: 92%.

Critical error frequency: 4%.

Sekarang team tidak menyembunyikan quality di balik visibility.

Kalau mention naik tetapi accuracy turun, itu warning.

Kalau recommendation naik dan error turun, lebih sehat.

AI visibility seharusnya bukan hanya “muncul”.

Harus “muncul dengan benar”.

Buat Error Ledger

Setiap critical error:

Error ID.

Date.

Query.

Model/surface.

Claim.

Classification.

Severity.

Truth source.

Citation source if any.

Repeat frequency.

First observed.

Last observed.

Status.

Open.

Monitoring.

Resolved in observation.

Jangan menulis “resolved” hanya karena website diperbaiki.

Resolved berarti error tidak lagi terobservasi sesuai retest rule.

Ini distinction penting.

Kapan Retest?

Setelah remediation, jangan langsung sekali test lalu close.

Gunakan repeat.

Misalnya:

Five runs.

Two measurement windows.

Atau rule lain sesuai risk.

Jika error hilang 1 hari lalu kembali minggu depan, belum stable.

Persistent correction lebih penting.

Jangan Mengejar 0% sebagai Janji

Target zero critical error masuk akal sebagai aspiration internal.

Tetapi jangan menjanjikan bahwa perusahaan bisa mengontrol semua output model eksternal.

Kita tidak memiliki control penuh.

Yang bisa dikontrol:

Official information quality.

Consistency.

Source freshness.

Technical accessibility.

Public evidence.

Monitoring.

Correction workflow.

Dan escalation ke platform bila mekanisme tersedia.

Measurement harus realistis.

Hallucination Risk adalah Business Risk, Bukan Sekadar AI Issue

Kalau AI salah menyebut location, user bisa menghubungi kantor yang salah.

Kalau salah menyebut product capability, sales mendapat expectation yang tidak bisa dipenuhi.

Kalau salah menyebut legal status, reputational issue bisa besar.

Kalau salah mencampur entity, buyer bisa memilih perusahaan lain.

Jadi hallucination frequency layak dibaca oleh:

Marketing.

SEO/GEO.

Legal.

Product.

Customer support.

PR.

Leadership.

Tergantung severity.

Tidak semua error perlu crisis meeting.

Tetapi critical errors butuh owner.

Dari “AI Ngaco” ke Measurement

Kalimat “AI suka ngaco” tidak membantu.

Kita perlu lebih spesifik.

AI salah pada fakta apa?

Seberapa sering?

Di query mana?

Model mana?

Source mana?

Apakah error persistent?

Apakah outdated atau fabricated?

Seberapa besar consequence?

Setelah remediation, apakah frequency turun?

Itulah hallucination measurement.

Tujuannya bukan membuktikan model buruk.

Tujuannya menjaga brand representation tetap usable dan auditable.

Visibility yang tinggi tetapi salah bukan victory.

Visibility yang sedikit lebih rendah tetapi entity-nya konsisten bisa jauh lebih sehat.

Pada akhirnya, brand tidak hanya ingin dikenal AI.

Brand ingin dikenali sebagai dirinya sendiri.