AI Citation Observation: Data Minimum yang Harus Disimpan

Sebuah tim selesai melakukan audit AI citation.

Mereka punya 300 screenshot.

Foldernya rapi.

Nama file:
chatgpt-1.png
chatgpt-2.png
gemini-final.png
perplexity-new-final-2.png

Tiga minggu kemudian seseorang bertanya:

“Query persisnya apa?”

Tidak ada yang ingat.

“Run ini tanggal berapa?”

Tidak jelas.

“Logged in atau logged out?”

Tidak dicatat.

“Source link-nya apa?”

Di screenshot cuma terlihat domain pendek.

“Model version?”

Tidak disimpan.

Mendadak 300 screenshot berubah dari evidence menjadi galeri.

Inilah alasan citation observation perlu data minimum yang terstruktur.

Tidak harus membangun data warehouse.

Tidak harus langsung punya dashboard enterprise.

Tetapi setiap observation harus cukup lengkap untuk menjawab: apa yang diuji, dalam kondisi apa, apa yang keluar, source apa yang muncul, dan bagaimana hasilnya diklasifikasikan.

Kalau lima pertanyaan itu tidak bisa dijawab, comparison berikutnya akan rapuh.

Mulai dari Observation ID

Setiap run harus punya ID unik.

Contoh:

GEO-2026-08-Q023-R04.

Artinya:

Project GEO.
Measurement window Agustus 2026.
Query 23.
Run 4.

Format bebas.

Yang penting unique dan readable.

Observation ID menghubungkan:

Query.

Screenshot.

Raw answer.

Citation.

Reviewer note.

Classification.

Kalau nanti data pindah tool, ID tetap menjadi anchor.

Tanpa ID, file cepat berantakan.

Field 1: Query Persis

Jangan simpan “query tentang agency”.

Simpan text persis.

“Agency GEO Indonesia apa yang cocok untuk perusahaan B2B?”

Kenapa wording penting?

Karena sedikit perubahan dapat mengubah output.

“Agency GEO Indonesia terbaik” berbeda tone dari “agency GEO yang cocok”.

“Siapa penyedia” berbeda dari “bandingkan penyedia”.

Query adalah input experiment.

Kalau input tidak disimpan, hasil sulit direplikasi.

Jika query punya multi-turn context, simpan seluruh relevant conversation path.

Bukan hanya prompt terakhir.

Field 2: Query ID dan Intent

Query text bisa berubah dalam versioning.

Query ID memberi continuity.

Q023:
Provider selection, Indonesia, B2B GEO.

Simpan intent.

Discovery.

Problem diagnosis.

Comparison.

Provider selection.

Validation.

Branded entity check.

Technical.

Compliance.

Local.

Kenapa intent?

Karena citation rate pada query definition tidak fair dibandingkan recommendation query.

Intent memungkinkan segmentation.

Field 3: Date dan Time

AI behavior dynamic.

Simpan timestamp.

Minimal date.

Lebih baik date + local time + timezone.

Contoh:
2026-08-09 14:35 WIB.

Kenapa time zone?

Tim regional bisa menjalankan test dari lokasi berbeda.

Tanpa timezone, chronology membingungkan.

Timestamp juga membantu menghubungkan perubahan dengan:

Model update.

Website deploy.

Content refresh.

Platform rollout.

Incident.

Competitor event.

Tidak untuk membuktikan causality.

Untuk membuat timeline.

Field 4: Platform, Surface, dan Model

Jangan simpan hanya “OpenAI” atau “Google”.

Simpan product surface yang diuji.

Contoh:

Chat interface with search.

AI Mode.

AI Overview.

Perplexity answer.

Model name jika terlihat.

Mode tertentu.

Jika exact model tidak diketahui, tulis unknown.

Jangan menebak.

Kondisi product lebih penting daripada terlihat lengkap.

Simpan juga apakah web retrieval/search aktif bila user punya kontrol.

Field 5: Session Condition

Fresh conversation atau existing thread?

Logged in atau logged out?

Personalization aktif atau tidak diketahui?

Incognito?

Location context?

Language setting?

Untuk semua field yang tidak bisa dipastikan, tulis unknown.

Jangan kosongkan.

Unknown adalah data.

Blank sering dianggap lupa.

Ini discipline kecil yang besar efeknya.

Field 6: Locale, Country, Language

Terutama untuk multi-country audit.

Country context.

Language query.

Interface language jika relevant.

Testing location jika known.

Contoh:

Market: Indonesia.
Query language: Bahasa Indonesia.
Interface: English.
Tester location: Jakarta.

Jangan menganggap semuanya sama.

Local context bisa memengaruhi candidate set atau source selection.

Field 7: Raw Answer

Screenshot tidak cukup.

Simpan text output jika secara teknis dan policy memungkinkan.

Kenapa?

Text bisa dicari.

Diff.

Classify.

Compare.

Screenshot hanya visual.

Raw answer memungkinkan audit ulang.

Jika answer berubah saat page refresh, raw capture tetap ada.

Simpan as-is.

Jangan “rapikan” grammar.

Evidence harus merekam output, bukan rewrite reviewer.

Field 8: Citation URL Lengkap

Domain saja tidak cukup.

example.com bukan evidence page-level.

Simpan full URL.

Jika platform memakai redirect wrapper, simpan destination final jika bisa diverifikasi, dan optionally original displayed link.

Kenapa URL?

Domain bisa punya ratusan pages.

Citation behavior sering page-specific.

Satu report lama bisa dominant.

Satu product page bisa muncul berkali-kali.

Tanpa URL, kita tidak tahu asset mana yang sebenarnya dipilih.

Field 9: Citation Position atau Context

Jika interface memperlihatkan ordering atau source card position, simpan.

Tetapi jangan menganggap urutan selalu ranking of importance.

Cukup observation.

Juga simpan claim context.

Source digunakan untuk mendukung:

Definition?

Pricing?

Comparison?

Statistic?

Company identity?

Product capability?

Historical fact?

Ini membantu source-role analysis.

Field 10: Brand Mention

Yes/no.

Tetapi entity check juga perlu.

Brand name benar?

Entity benar?

Apakah nama mirip competitor?

Apakah parent company tertukar?

Mention yang salah entity tidak boleh dihitung positive.

Buat field:

Brand mentioned.
Entity matched.

Dua field.

Field 11: Recommendation Class

Jika query eligible.

Primary.

Secondary.

Conditional.

Mention only.

Negative/not suitable.

Not mentioned.

Rule harus tertulis.

Jangan membuat reviewer menilai berdasarkan feeling.

Recommendation class membantu memisahkan citation dari commercial selection.

Field 12: Source Ownership

Owned.

Earned third-party.

Competitor.

Institutional.

Community.

Marketplace.

Directory.

Research.

Other.

Satu URL bisa diklasifikasikan.

Ini berguna untuk source ecosystem.

Official source muncul 20 kali punya meaning berbeda dari 20 citations yang semuanya berasal dari aggregator.

Field 13: Factual Accuracy

Tidak perlu fact-check setiap kalimat.

Pilih critical facts.

Official name.

Product.

Location.

Founder/leadership if relevant.

Availability.

Price if publicly stated and current.

Relationship.

Simpan:

Correct.

Minor issue.

Critical error.

Unknown/unverifiable.

Ini menjadi dasar hallucination frequency.

Field 14: Reviewer

Siapa yang mengklasifikasikan?

Bukan untuk blame.

Untuk auditability.

Reviewer A dan B bisa punya interpretation berbeda.

Jika disagreement tinggi, rule perlu revisi.

Simpan reviewer ID/nama internal sesuai policy.

Kalau data publik tidak perlu menampilkan identitas personal.

Field 15: Evidence File

Screenshot file.

Raw text file.

HTML capture jika legal dan feasible.

Source archive if needed.

Simpan path/reference.

Observation table harus mengarah ke evidence object.

Jangan tempel semua evidence ke spreadsheet sampai file menjadi 500 MB.

Gunakan reference.

Field 16: Notes

Notes bukan tempat menulis essay.

Gunakan untuk exception.

“Citation card tidak terbuka.”

“Model asked clarification before answering.”

“Source URL redirected.”

“Output truncated.”

“Potential personalization.”

“Entity ambiguous.”

Notes menyelamatkan data aneh.

Tetapi core information harus tetap structured field.

Jangan bergantung pada notes untuk semuanya.

Minimum Viable Observation

Kalau tim kecil, mulai dengan 12 field:

Observation ID.
Query ID.
Query text.
Intent.
Date/time.
Platform/surface.
Session condition.
Market/language.
Brand mention.
Recommendation class.
Citation URL.
Factual error.

Itu sudah cukup untuk banyak baseline.

Lalu tambahkan:

Source type.

Citation context.

Raw answer.

Screenshot.

Reviewer.

Volatility.

Jangan menunggu schema data sempurna baru mulai.

Yang penting consistent.

Simpan Denominator

Ini sering hilang.

Citation rate 20%.

20 dari berapa?

100 runs?

50 runs yang menampilkan citation?

40 commercial queries?

Simpan eligibility.

Citation eligible: yes/no.

Recommendation eligible: yes/no.

Dengan field ini denominator bisa dihitung kembali.

Kalau hanya menyimpan final percentage, kita kehilangan basis angka.

Raw data lebih penting daripada dashboard.

Versioning Query Set

Simpan query set version.

v1.

v2.

v3.

Kalau wording berubah, jangan overwrite diam-diam.

Misalnya Q023 v1:
“Agency GEO terbaik Indonesia?”

Q023 v2:
“Agency GEO yang cocok untuk B2B Indonesia?”

Intent mirip.

Wording berbeda.

Trend comparison perlu annotation.

Version field menjaga history.

Satu dialog ilustratif dari audit room menjelaskan kenapa ini penting.

“Kenapa recommendation rate bulan ini turun?”

“Karena model berubah?”

“Belum tahu.”

“Query sama?”

“Sebagian.”

“Sebagian itu berapa?”

“Kayaknya 30% kita revisi.”

Di situ trend hampir tidak bisa dibaca.

Query version seharusnya menyelesaikan pertanyaan itu dalam 30 detik.

Privacy dan Data Hygiene

Jangan menyimpan prompt yang berisi personal data sensitif tanpa kebutuhan.

Audit AI visibility seharusnya memakai generic buyer scenarios atau approved business data.

Jika test menyangkut customer support, anonymize.

Jangan capture account identifier yang tidak perlu.

Evidence discipline bukan alasan menyimpan semuanya.

Data minimization tetap penting.

Observation Log Harus Append-Only secara Prinsip

Jangan menghapus result buruk.

Jangan overwrite screenshot karena run baru lebih bagus.

Simpan history.

Jika ada classification correction, catat revision.

Contoh:

Original class:
Mention only.

Revised:
Conditional recommendation.

Reason:
Reviewer rule updated.

Ini lebih credible daripada data yang selalu “bersih” karena result inconvenient dihapus.

Evidence ledger bukan marketing deck.

Ia audit record.

Apa yang Tidak Perlu Disimpan?

Tidak semua pixel.

Tidak semua DOM.

Tidak semua network request.

Tidak semua token.

Pilih sesuai purpose.

Kalau tujuan hanya citation observation, minimum data di atas cukup.

Kalau tujuan crawler engineering, dataset lain dibutuhkan.

Jangan membuat satu measurement system mencoba menyimpan seluruh dunia.

Complexity harus mengikuti decision.

Dari Screenshot ke Evidence yang Bisa Dipakai

Bayangkan tiga bulan kemudian.

CEO bertanya:

“Kenapa owned citation turun?”

Dengan observation log yang benar, analyst bisa menjawab:

Drop terutama terjadi pada 12 comparison queries.

Query set sama.

Testing window comparable.

Model/surface sama.

Third-party media menggantikan official pages pada 8 query.

Entity accuracy tetap stabil.

Recommendation tidak turun.

Sekarang ada diagnosis.

Kalau yang tersedia hanya screenshot, jawaban mungkin:

“Kayaknya bulan lalu lebih banyak.”

Itulah bedanya.

AI citation observation bukan aktivitas mengambil gambar layar.

Ia measurement.

Measurement membutuhkan input, condition, output, classification, dan evidence.

Data minimum tidak perlu rumit.

Tetapi harus cukup agar orang lain bisa memahami apa yang terjadi tanpa bergantung pada ingatan orang yang menjalankan test.

Kalau satu observation tidak bisa dijelaskan tiga minggu kemudian, ia belum menjadi evidence yang kuat.

Ia baru kenangan digital.

Satu prinsip terakhir: kalau field tidak diketahui, tulis unknown. Jangan mengisi asumsi demi membuat tabel terlihat lengkap. Dalam audit, ketidakpastian yang tercatat jauh lebih aman daripada kepastian yang dibuat-buat.

Disiplin mencatat unknown juga membuat audit berikutnya jauh lebih dapat dipercaya.