Cara Mengukur Share of Model Tanpa Membesar-besarkan Angka

“Share of Model kita 42%.”

Angkanya terdengar keren.

Masalahnya, kalimat itu belum berarti apa-apa sampai kita bertanya:

42% dari apa?

Dari semua percakapan ChatGPT di Indonesia?

Jelas bukan.

Dari query yang kita test?

Berapa query?

Platform mana?

Mention atau recommendation?

Satu run atau lima run?

Weighted atau tidak?

Share of Model bisa menjadi metric berguna.

Ia juga bisa menjadi vanity metric paling sophisticated di deck.

Bedanya ada di definisi.

Jangan pakai nama “market share” kalau yang diukur cuma sample query

Ini rule pertama.

Kita tidak memiliki census seluruh interaction user di model AI.

Jadi Share of Model seharusnya dibaca sebagai:

share of observed visibility dalam query panel yang didefinisikan.

Itu jauh lebih sempit.

Dan jauh lebih jujur.

Contoh:

100 fixed queries.

Brand A disebut pada 40.

Brand B 35.

Brand C 20.

Kalau hanya menghitung presence, Brand A punya 40% query coverage.

Apakah itu “40% share of model”?

Bisa disebut internal SoM jika methodology mendefinisikan demikian.

Tetapi jangan menulis:

“Brand A menguasai 40% AI conversation.”

Itu false extrapolation.

Universe kita hanya 100 query.

Definisikan event yang dihitung

Ada beberapa opsi.

Mention Share.

Citation Share.

Recommendation Share.

First-Mention Share.

Weighted Recommendation Share.

Jangan campur.

Misalnya query:

“Rekomendasikan accounting software.”

AI menjawab:

Brand A sebagai rekomendasi utama.

Brand B sebagai alternatif.

Brand C disebut hanya sebagai example legacy.

Kalau semua dihitung sama, nuance hilang.

Buat metric terpisah.

Mention Share:
A, B, C semua 1.

Recommendation Share:
A dan B 1, C 0.

Primary Recommendation:
A 1.

Sekarang dashboard lebih jujur.

Denominator harus eksplisit

Pilihan denominator:

Total queries.

Total brand mentions.

Total recommendations.

Total citation instances.

Masing-masing menghasilkan angka berbeda.

Contoh:

100 query.

50 query punya recommendation.

Brand A direkomendasikan di 20.

Recommendation coverage:
20/100 = 20%.

Share among recommendation events:
20 / total recommendation instances.

Jika ada 80 total recommendation instances, A = 25%.

Dua metric valid.

Nama berbeda.

Kalau denominator tidak ditulis, 20% dan 25% bisa dipakai sesuka hati.

Itu berbahaya.

Gunakan fixed competitive set

Share metric membutuhkan competitor universe.

Kalau bulan ini hanya membandingkan 3 brand, lalu bulan depan 10 brand, share berubah walaupun actual visibility sama.

Competitive set harus versioned.

Core competitor.

Emerging competitor.

Other.

Jangan mengeluarkan competitor yang naik hanya supaya share brand terlihat lebih besar.

Governance penting.

Jika market berubah, update set.

Tetapi beri break pada time series.

Query panel juga harus versioned

Sama seperti competitor set.

Kalau query bulan ini lebih favorable ke brand, share naik artifisial.

Gunakan core panel untuk trend.

Exploratory panel tidak masuk headline SoM sampai stabil.

Contoh:

Core panel v1:
80 query.

September ditambah 20 query new product.

Buat v2.

Jangan compare v1 dan v2 tanpa catatan.

Ini basic measurement hygiene.

Weighting boleh, tapi jangan disembunyikan

B2B brand mungkin ingin buyer-intent query punya weight lebih besar.

Masuk akal.

Contoh:

Informational weight 1.

Comparison 2.

Recommendation 3.

Procurement 4.

Hasilnya:

Weighted Share of Model.

Bukan raw share.

Tulis formula.

Jika tidak, orang akan mengira angka berasal dari simple count.

Weight sebaiknya terkait business importance.

Bukan dirancang agar brand menang.

Ada satu test governance:

Hitung score dengan dan tanpa weight.

Kalau perbedaannya ekstrem, periksa apakah weighting terlalu agresif.

Share tidak harus menjumlah 100% jika metric-nya coverage

Ini sumber kebingungan.

Kalau satu answer menyebut tiga brand, masing-masing bisa mendapat mention.

Brand A 60%.

Brand B 50%.

Brand C 40%.

Total 150%.

Tidak salah jika metric adalah query coverage.

Karena denominator per brand adalah total query.

Tetapi kalau Anda menyebutnya “share”, stakeholder mungkin berharap total 100%.

Solusinya:

gunakan nama Coverage Rate.

Kalau ingin total 100%, gunakan share of total mention instances.

Terminology matters.

Jangan memaksa satu nama untuk semua metric.

Platform harus dipisah

ChatGPT SoM.

Gemini SoM.

Perplexity SoM.

Jangan langsung aggregate.

Platform behavior berbeda.

Baru setelah itu boleh buat Combined Observed Share dengan weighting.

Misalnya:

ChatGPT 50%.

Gemini 30%.

Perplexity 20%.

Kenapa weight begitu?

Harus ada alasan.

Audience usage?

Strategic priority?

Traffic?

Kalau tidak ada data, equal weight lebih transparan daripada weight arbitrary.

Tetap sebut internal combined index.

Bukan global AI market share.

Repeat run meningkatkan kualitas

Satu query satu run terlalu volatile untuk high-stakes share.

Misalnya 30 core queries.

Run tiga kali.

Brand A muncul:

Run 1: 16.

Run 2: 12.

Run 3: 15.

Average observed coverage:
14.3/30.

Atau hitung per-query stability.

Query Q1:
3/3.

Q2:
1/3.

Q3:
0/3.

Ini memberi richer picture.

Brand A mungkin punya share tinggi tetapi unstable.

Competitor B sedikit lebih rendah tetapi sangat stable.

Untuk decision, stability bisa lebih menarik daripada headline percentage.

Gunakan confidence band secara editorial

Tidak harus statistical confidence interval kompleks kalau sampling bukan random population sample.

Jangan berpura-pura.

Tetapi bisa pakai label:

High confidence:
large core panel + repeated + stable.

Medium:
fixed panel, limited repeat.

Low:
small exploratory sample.

Dengan begitu angka 42% tidak berdiri sendirian.

“42%, medium confidence.”

Lebih jujur.

Jangan gunakan decimal berlebihan

42.37%.

Sample 30 query.

Absurd.

Gunakan whole number atau satu decimal jika n cukup besar.

Precision visual tidak sama dengan measurement precision.

Angka terlalu presisi sering memberi illusion of science.

AI visibility masih observational.

Respect that.

Share of Model harus punya intent breakdown

Global share bisa menyembunyikan weakness.

Contoh:

Brand A total 40%.

Informational 70%.

Comparison 45%.

Recommendation 15%.

Buyer-intent 10%.

Headline “40%” terlihat bagus.

Commercial story buruk.

Breakdown wajib.

Untuk executive, minimal:

Awareness share.

Recommendation share.

Buyer-intent share.

Tidak perlu 20 chart.

Cukup tiga dimension.

Jangan compare brand yang sebenarnya bermain di segment berbeda

Enterprise platform dan SMB tool mungkin satu category luas.

Query panel yang banyak SMB akan menguntungkan satu brand.

Sebelum compare, define market.

Segment.

Price tier.

Use case.

Location.

Share hanya meaningful dalam competitive frame yang reasonable.

Kalau tidak, dashboard hanya menunjukkan bias query.

Citation Share juga perlu source distinction

Brand bisa mendapat citation melalui:

owned source,
media,
review,
partner,
government.

Kalau citation share naik karena satu third-party article viral, owned information influence belum tentu naik.

Buat:

Owned Citation Share.

Total Brand-Related Citation Share.

Dua metric.

Source mix memberi resilience insight.

Share tinggi yang bergantung satu source adalah fragile.

Share medium dengan source diversity mungkin lebih sehat.

Jangan jadikan Share of Model target tunggal

Metric ini bagus untuk competitive trend.

Buruk jika menjadi satu-satunya KPI.

Tim bisa gaming.

Membuat query yang menguntungkan brand.

Menghapus competitor.

Mengubah weight.

Mengejar generic mention.

Semua demi angka.

KPI harus ditemani:

accuracy.

Recommendation quality.

Referral.

Conversion.

Entity error.

Kalau SoM naik tetapi accuracy turun, problem.

Kalau SoM naik karena negative mention, problem.

Context matters.

Contoh report yang lebih sehat

“Pada core panel 60 buyer-relevant queries, Brand A memperoleh observed recommendation coverage 28% di ChatGPT, 22% di Gemini, dan 31% di Perplexity. Core panel dan competitor set tetap sama sejak baseline. Masing-masing query diuji dua kali. Ini bukan estimasi share seluruh user conversations.”

Itu kalimat panjang.

Tapi sulit disalahartikan.

Bandingkan:

“Brand A punya 27% Share of Model.”

Yang kedua lebih enak untuk headline.

Yang pertama lebih bisa dipercaya.

Apakah Share of Model tetap berguna?

Ya.

Sangat berguna untuk:

trend.

competitive comparison.

cluster strength.

intervention monitoring.

Contoh:

Brand A recommendation coverage:

April 18%.

Mei 21%.

Juni 24%.

Juli 29%.

Panel sama.

Competitor set sama.

Method sama.

Sekarang ada trend.

Lalu audit perubahan.

Apa yang terjadi?

Product launch?

Evidence baru?

Competitor turun?

Platform update?

Jangan langsung klaim causality.

Tapi metric memberi signal.

Dan satu prinsip terakhir:

Share of Model adalah model dari reality, bukan reality itu sendiri.

Lucu karena namanya ada kata “model”.

Kita membuat sample.

Kita memilih query.

Kita memilih platform.

Kita memilih competitor.

Kita memilih coding rule.

Angka yang keluar adalah hasil design tersebut.

Semakin transparan design-nya, semakin berguna metric-nya.

Semakin disembunyikan methodology-nya, semakin besar risiko metric berubah menjadi marketing claim.

Jadi kalau seseorang bilang:

“SoM kita 42%.”

Ada satu cara untuk menjaga Share of Model tetap sehat secara organisasi: pisahkan metric untuk diagnosis dan metric untuk storytelling.

Diagnostic dashboard boleh detail.

Query-level.
Platform-level.
Run-level.
Citation source.
Recommendation reason.

Executive summary boleh lebih ringkas.

Tetapi headline tidak boleh mengubah meaning.

Misalnya diagnostic metric:
Observed recommendation coverage 17/60.

Executive:
28% recommendation coverage.

Masih sama.

Jangan diubah menjadi:
“28% market share AI.”

Kalimat terakhir jauh lebih besar daripada data yang mendukung.

Ada juga benefit dari publishing methodology internal. Ketika vendor, agency, atau analyst baru masuk, mereka tidak bisa diam-diam mengganti formula.

Document:

query panel version,
competitor set,
platform,
run count,
classification rule,
weighting,
exclusion.

Metric yang punya governance lebih susah dimanipulasi.

Dan kalau suatu hari formula memang harus berubah, buat series baru. Jangan backfill sejarah tanpa disclosure hanya supaya chart terlihat smooth.

Jawaban terbaik bukan applause.

Tanya:

Terakhir, selalu simpan raw count di samping percentage.

Kalau headline menunjukkan 31%, dashboard internal juga harus menunjukkan 19/60. Raw count membuat orang langsung melihat scale sample dan mencegah angka berdiri tanpa konteks.

Saat sample berubah, raw count juga membantu mendeteksi anomali. 31% dari 60 query berbeda maknanya dengan 31% dari 13 query.

Ini simple, tetapi disiplin seperti inilah yang membuat metric baru tidak berubah menjadi jargon baru.

Dengan begitu, ketika angka turun atau naik, tim bisa kembali ke observation asli dan melihat apakah perubahan berasal dari visibility, panel, competitor set, atau sekadar cara menghitung. Transparansi seperti ini membuat Share of Model layak dipakai untuk keputusan.

“Panel-nya apa?”

Kalau mereka bisa menjawab dengan jelas, angkanya mulai punya arti.