Measuring Source Preference: Cara Melihat Domain Mana yang Sering Dipilih AI

Pukul 10 pagi, seorang analyst membuka folder observasi yang isinya ratusan output AI.

Dia tidak mencari apakah brand muncul.

Itu sudah dihitung.

Pertanyaan hari itu lebih spesifik:

“Kalau model menjawab topik ini, domain mana yang paling sering dipakai sebagai sumber?”

Di layar mulai terlihat pola.

Official website muncul beberapa kali.

Media industri muncul lebih sering.

Satu forum cukup dominan di query troubleshooting.

Regulator hampir selalu muncul di query compliance.

Kompetitor ternyata sering menjadi source untuk definisi kategori.

Ini bukan sekadar trivia.

Source preference membantu kita memahami information ecosystem yang dipakai AI pada query set tertentu.

Tetapi istilah “preference” harus digunakan hati-hati.

Kita tidak bisa melihat internal preference score model.

Yang bisa kita ukur adalah observed source selection: domain mana yang muncul berulang sebagai citation atau supporting source dalam kondisi testing yang kita jalankan.

Itu sudah sangat berguna.

Mulai dari Unit yang Benar

Jangan langsung menghitung jumlah link.

Satu output bisa menampilkan lima link dari domain yang sama.

Kalau semua dihitung, domain tersebut terlihat lima kali lebih besar hanya karena page memiliki beberapa citations.

Lebih sehat punya beberapa unit:

Domain presence per run.

URL presence per run.

Total citation slots.

Unique domains.

Unique URLs.

Contoh:

Run 1:
example.com/a
example.com/b
media.id/article

Domain presence:
example.com = 1.
media.id = 1.

Citation slots:
example.com = 2.
media.id = 1.

Dua metric itu berbeda.

Domain presence lebih cocok untuk melihat seberapa sering source ecosystem memasukkan domain.

Citation slots lebih cocok untuk melihat prominence di output tertentu.

Jangan campur.

Buat Source Taxonomy

Domain mentah sulit dibaca.

Kelompokkan.

Owned:
Domain resmi brand.

Competitor:
Domain pesaing.

Publisher:
Media umum atau industri.

Community:
Forum, Reddit-like community, Q&A, discussion board.

Institutional:
Regulator, government, university, standards body.

Marketplace:
Marketplace atau aggregator commercial.

Directory:
Business directory.

Documentation:
Technical docs.

Research:
Paper, report, dataset, repository.

Social:
Platform sosial jika memang muncul sebagai source.

Kategori bisa disesuaikan.

Tujuannya bukan membuat taxonomy sempurna.

Tujuannya melihat pattern.

Kalau AI selalu memakai institutional source untuk query legal, normal.

Kalau query product specification justru bergantung pada forum lama, itu concern.

Preference Selalu Query-Dependent

Tidak ada domain yang universally preferred.

Satu domain bisa kuat pada topik A dan tidak muncul pada topik B.

Contoh:

Regulator kuat pada tax compliance.

Official brand docs kuat pada API configuration.

Media kuat pada market comparison.

Forum kuat pada real-world troubleshooting.

Jadi source preference harus dihitung per cluster.

Discovery.

Comparison.

Technical.

Compliance.

Pricing.

Review.

Provider selection.

Kalau semua query digabung, domain besar bisa terlihat dominant hanya karena query set banyak di satu kategori.

Analyst yang tadi menemukan regulator dominan kemudian membagi data.

Ternyata regulator hanya muncul pada 12 compliance queries, tetapi hadir hampir selalu.

Pada 80 query lain, nyaris tidak ada.

Aggregate awal misleading.

Cluster membuat meaning kembali.

Measure Frequency dan Stability

Frequency:
Seberapa sering domain muncul.

Stability:
Seberapa konsisten domain muncul pada repeated runs untuk query yang sama.

Misalnya:

Domain A muncul 40 kali across 100 runs.

Tetapi tersebar tipis di banyak query.

Domain B hanya 25 kali.

Namun pada lima query tertentu, ia muncul 5/5.

Domain B punya strong localized stability.

Ini valuable.

Kita bisa membuat matrix:

Domain.

Query coverage.

Total run presence.

Stable query count.

Unique URLs.

Average recency of selected pages jika data tersedia.

Owned/third-party class.

Sekarang source preference bukan cuma leaderboard.

Ia peta.

Source Diversity Juga Penting

Kalau satu domain mendominasi 90% citations, ada concentration.

Bisa bagus.

Bisa risk.

Kalau domain itu official documentation, mungkin logical.

Kalau domain itu aggregator yang datanya outdated, problem.

Measure diversity:

Unique domain count per query.

Top-1 share.

Top-3 share.

Concentration.

Jangan harus memakai formula kompleks.

Cukup lihat apakah source ecosystem terlalu bergantung pada sedikit domain.

Untuk brand, concentration pada satu third-party source menciptakan dependency.

Jika source tersebut berubah, narrative AI bisa ikut berubah.

Owned Domain Tidak Harus Selalu Nomor Satu

Tim marketing sering punya target:

“Official website harus jadi source utama.”

Tidak selalu.

Untuk claim pihak ketiga seperti market reputation, independent source justru lebih credible.

Untuk compliance, regulator lebih tepat.

Untuk scientific claim, research source lebih tepat.

Untuk product specification, official source biasanya logical.

Source strategy bukan domination.

Source strategy adalah source-role fit.

Pertanyaannya:

Apakah jenis informasi tertentu didukung oleh source yang appropriate?

Kalau answer tentang harga produk memakai forum lama, tidak ideal.

Kalau answer tentang pengalaman pengguna hanya memakai marketing page resmi, perspective-nya sempit.

Source preference audit harus membaca fitness, bukan ego domain.

Track URL, Bukan Hanya Domain

Domain bisa tampil kuat karena satu halaman.

Misalnya media.com muncul 35 kali.

Ternyata semua citations menuju satu article 2023.

Ini penting.

Domain preference tidak berarti seluruh domain dianggap useful.

Mungkin hanya satu URL yang sangat relevant.

Simpan URL-level data.

Top URL.

Publish/update date.

Topic.

Status.

Canonical.

Availability.

Kalau URL itu hilang, source pattern bisa berubah.

Untuk owned domain, insight ini sangat actionable.

Satu research page mungkin menjadi source engine.

Kita bisa memahami kenapa page itu useful lalu memperbaiki pages lain, bukan menduplikasi formula secara mekanis.

Recency Perlu Dilihat, tapi Jangan Diasumsikan sebagai Faktor Tunggal

Jika selected sources mayoritas baru, kita mungkin melihat freshness pattern.

Tetapi jangan langsung menulis:

“AI memilih page karena lebih fresh.”

Bisa jadi page baru juga lebih lengkap.

Lebih authoritative.

Lebih relevant.

Lebih accessible.

Query membutuhkan informasi temporal.

Source preference observation bisa mencatat date.

Lalu compare.

Contoh:

Query cluster news:
Selected sources median age lebih rendah.

Query cluster definition:
Sources lebih tua tetapi stable.

Itu observation yang masuk akal.

Causal claim tentang freshness membutuhkan test lebih lanjut.

Compare Models Secara Terpisah

Model A bisa banyak memilih official docs.

Model B lebih banyak publisher.

Model C lebih diverse.

Jangan aggregate dulu.

Buat table per model/surface.

Kemudian cross-model overlap.

Pertanyaan menarik:

Domain mana yang dipakai semua model?

Domain mana yang model-specific?

Owned domain kuat di mana?

Competitor domain kuat di mana?

Institutional sources universal atau localized?

Overlap memberi clue tentang source robustness.

Jika official page kita terobservasi lintas tiga model pada query cluster yang sama, itu lebih interesting daripada muncul berkali-kali pada satu model saja.

Tetap jangan menyebutnya proof of authority universal.

Simpan Condition

Source selection bisa berubah berdasarkan:

Date.

Model version.

Search/browse mode.

Locale.

Language.

Login/context.

Query wording.

Karena itu row-level data harus punya condition.

Tanpa itu, source preference report sulit diulang.

Contoh schema tabel sederhana:

Query ID.
Run ID.
Date.
Platform.
Surface.
Query text.
Citation domain.
Citation URL.
Source type.
Brand relation.
Position if visible.
Notes.

Satu run bisa punya beberapa rows.

Kemudian aggregate.

Jangan hanya copy screenshot ke deck.

Sumber Bisa Dipilih tetapi Tidak Mendukung Klaim

Ini quality check penting.

Citation presence belum tentu citation quality.

AI bisa menampilkan source yang topically related tetapi tidak benar-benar mendukung kalimat tertentu.

Manual review perlu sampling.

Tanya:

Apakah URL accessible?

Apakah content memuat claim?

Apakah source current?

Apakah entity benar?

Apakah citation context cocok?

Kalau domain sering muncul tetapi citation fit lemah, leaderboard saja menyesatkan.

Source preference harus dipasangkan dengan support quality.

Competitor Sources Bisa Mengajari Banyak Hal

Ini bagian yang kadang bikin tim defensif.

“Kenapa AI pakai website kompetitor?”

Jangan langsung melihatnya sebagai kekalahan.

Audit page tersebut.

Apa yang tersedia?

Clear comparison?

Definition?

Technical detail?

Use case?

Evidence?

Table?

FAQ?

Research?

Update?

Mungkin competitor page menjawab subquestion lebih jelas.

Kita tidak perlu copy.

Kita perlu memahami information gap.

Jika competitor domain sering menjadi source pada query tertentu, itu clue bahwa mereka memiliki asset yang dianggap relevant dalam observation set.

Actionable.

Bukan alasan untuk panik.

Source Preference dan Entity Preference Jangan Disamakan

AI bisa memakai domain kita sebagai source tanpa merekomendasikan brand kita.

Contoh:

Official website punya definisi bagus tentang satu teknologi.

AI mengutip definisi.

Lalu merekomendasikan competitor.

Source preference tinggi.

Brand selection rendah.

Sebaliknya brand bisa direkomendasikan tetapi source-nya media pihak ketiga.

Jadi selalu pisahkan:

Source selection.

Brand mention.

Recommendation.

Entity accuracy.

Jika empat layer dicampur, audit kehilangan insight.

Buat Source Map, Bukan Top 10 Domain Saja

Leaderboard menarik.

Tetapi map lebih berguna.

Untuk setiap query cluster:

Primary source types.

Top owned sources.

Top external sources.

Competitor source presence.

Source diversity.

Stable sources.

Emerging sources.

Outdated-risk sources.

Missing authoritative sources.

Sekarang tim bisa menentukan tindakan.

Update official documentation.

Create research asset.

Correct third-party information.

Strengthen entity page.

Improve factual coverage.

Or simply monitor.

Tidak semua source gap perlu content baru.

Kadang source external memang sudah tepat.

Kapan Preference Benar-Benar Bermakna?

Satu domain muncul sekali?

Anecdote.

Muncul berulang pada banyak runs?

Signal.

Muncul di banyak query?

Coverage.

Muncul lintas waktu?

Persistence.

Muncul lintas model?

Cross-model robustness.

Mendukung claim dengan baik?

Quality.

Lima layer itu membuat source preference jauh lebih meaningful.

Analyst di awal artikel akhirnya tidak membuat slide “Top 10 AI Sources” saja.

Dia membuat tiga map.

Commercial queries.

Technical queries.

Compliance queries.

Tiba-tiba pola yang sebelumnya random menjadi jelas.

Official website kuat pada technical.

Media kuat pada comparison.

Regulator kuat pada compliance.

Competitor dominan pada satu cluster yang belum punya content equivalent.

Itu decision-ready.

AI Source Preference Bukan Mystical Authority Score

Kita tidak perlu menebak-nebak “domain authority versi AI”.

Kita bisa mulai dari sesuatu yang observable.

Query apa yang diuji.

Source apa yang tampil.

Seberapa sering.

Seberapa stabil.

Dalam konteks apa.

Apakah citation benar-benar mendukung jawaban.

Dari sana baru kita membuat hypothesis.

Mungkin page tertentu sangat useful.

Mungkin source type tertentu lebih cocok untuk intent tertentu.

Mungkin official content punya gap.

Mungkin third-party evidence lebih kuat.

Semua hypothesis itu bisa diuji lagi.

Measurement yang baik tidak membutuhkan cerita mistis tentang model “menyukai” sebuah domain.

Cukup lihat pola source selection dengan disiplin.

Sering kali, pola itu sudah memberi cukup banyak petunjuk tentang information ecosystem yang sebenarnya sedang bekerja.