Cara Menguji Halaman untuk Google AI Mode secara Repeatable

Ada problem yang selalu muncul ketika tim mulai menguji Google AI Mode.

Hari Senin brand muncul.

Hari Selasa hilang.

Hari Rabu muncul lagi, tetapi source berbeda.

Satu orang di tim berkata, “Berarti optimasi kita berhasil.”

Orang lain menjawab, “Atau memang output-nya berubah.”

Dua-duanya bisa benar.

Karena itu pengujian Google AI Mode tidak boleh hanya bergantung pada satu screenshot.

Generative Search bersifat dinamis. Google menjelaskan AI Mode dapat menggunakan query fan-out, yaitu menjalankan beberapa related searches untuk membantu menyusun jawaban. AI Mode dan AI Overviews juga dapat menggunakan model atau teknik berbeda, sehingga source yang muncul bisa berubah.

Kalau testing tidak punya protocol, tim akan membaca noise sebagai progress.

Tujuan repeatable testing bukan membuat output selalu sama.

Tujuannya membuat kondisi pengujian cukup konsisten sehingga perubahan bisa dibandingkan dengan lebih waras.

Mulai dari pertanyaan yang benar

Jangan mulai dengan:

“Apakah halaman ini muncul di AI Mode?”

Terlalu broad.

Tentukan apa yang ingin diuji.

Apakah halaman eligible dan discoverable?

Apakah brand disebut?

Apakah URL tampil sebagai supporting link?

Apakah page digunakan pada query tertentu?

Apakah informasi yang ditarik akurat?

Apakah competitor lebih sering muncul?

Apakah source lama masih digunakan?

Apakah perubahan content memengaruhi observation?

Satu test sebaiknya punya satu primary question.

Contoh:

“Kami ingin menguji apakah halaman procurement baru mulai mendapat visibility pada query enterprise AI Optimization.”

Sekarang query panel bisa disusun.

Kalau objective tidak jelas, orang cenderung mencoba prompt random sampai menemukan screenshot yang bagus.

Itu bukan testing.

Itu confirmation hunting.

Kunci query sebelum melihat hasil

Ini rule paling penting.

Tentukan query sebelum testing.

Jangan melihat output lalu mengubah wording supaya brand muncul.

Misalnya query asli:

“agency AI optimization Indonesia untuk perusahaan besar.”

Brand tidak muncul.

Tester lalu mencoba:

“agency GEO Indonesia enterprise.”

Tidak muncul.

Lalu:

“agency AI optimization Indonesia dengan pengalaman enterprise dan knowledge graph.”

Brand muncul.

Screenshot disimpan.

Dashboard mengatakan “brand present”.

Problem-nya jelas.

Prompt sudah diubah sampai sesuai dengan brand.

Untuk repeatable testing, buat core query panel.

Misalnya 50 queries.

Kelompokkan:

problem discovery,

category discovery,

comparison,

provider selection,

procurement,

implementation,

branded accuracy,

local,

industry-specific.

Gunakan wording yang merepresentasikan buyer.

Bukan wording yang dirancang agar brand menang.

Query harus disimpan persis.

Core panel dipertahankan untuk trend.

Kalau ada query baru, masukkan exploration panel.

Jangan mengganti denominator diam-diam.

Pisahkan core dan exploration

Core panel berfungsi seperti benchmark internal.

Exploration panel berfungsi untuk learning.

Contoh.

Core:

“agency AI optimization Indonesia”

“konsultan GEO untuk perusahaan enterprise”

“cara mengukur AI visibility brand”

“vendor AI search optimization Indonesia”

Exploration:

“agency yang bisa audit ChatGPT Search dan Google AI Mode”

“konsultan AI visibility untuk bank”

“AI optimization agency dengan procurement support”

Core tidak banyak berubah.

Exploration boleh mengikuti market.

Dengan model ini, tim bisa berinovasi tanpa merusak baseline.

Kalau semua query berubah setiap bulan, trend tidak comparable.

Kalau tidak pernah ada query baru, panel menjadi stale.

Repeatability bukan rigidity.

Ia punya stable layer dan learning layer.

Catat surface

Google Search sekarang punya beberapa AI experiences.

AI Overview.

AI Mode.

Jangan campur.

Jika menguji AI Mode, catat jelas.

Surface: AI Mode.

Kalau query yang sama diuji di classic Search dan AI Overview muncul, itu observation lain.

Google sendiri mengatakan AI Mode dan AI Overviews dapat menggunakan model atau teknik berbeda.

Source juga bisa berbeda.

Jadi spreadsheet minimal punya field:

platform,

surface,

query,

date,

run,

location,

device,

brand mention,

owned link,

third-party link,

recommendation,

accuracy,

notes.

Jangan hanya “pass/fail”.

Pass untuk apa?

Visibility?

Link?

Recommendation?

Accuracy?

Classify lebih detail.

Gunakan beberapa run

Satu run terlalu lemah.

Generative output dapat berubah.

Untuk high-value query, lakukan beberapa run dalam defined window.

Tiga run sering menjadi starting point yang practical.

Bukan angka magic.

Untuk high-risk query, mungkin lima.

Untuk large panel, mungkin dua atau tiga agar workload manageable.

Yang penting consistency.

Misalnya:

50 query.

3 runs.

150 observations.

Jika brand muncul 80 kali, observed presence = 53,3% pada panel dan protocol tersebut.

Jangan menyebut:

“Google AI visibility market share 53,3%.”

Tidak.

Itu sample-specific observation.

Wording penting.

“Brand hadir pada 53,3% controlled AI Mode observations di core query panel.”

Lebih defensible.

Catat waktu

Generative Search bisa berubah.

Model update.

Index update.

Content update.

Competitor update.

News cycle.

Karena itu date penting.

Untuk repeatable monitoring, pilih cadence.

Monthly untuk B2B mungkin cukup.

Weekly untuk publisher atau fast-moving category.

Daily hanya jika ada real decision.

Jangan test setiap jam tanpa reason.

Real-time monitoring bisa menghasilkan anxiety.

Jika change yang diuji adalah specific content update, record publish time.

Misalnya:

1 Agustus: baseline.

3 Agustus: page updated.

10 Agustus: observation.

24 Agustus: observation.

Jangan claim causation hanya karena presence naik.

Tetapi change log memberi context.

Location harus konsisten

AI Mode bisa memberi response berbeda berdasarkan context.

Untuk query lokal, location sangat penting.

“Dokter gigi dekat saya.”

“coffee shop untuk meeting Jakarta Selatan.”

“konsultan pajak Surabaya.”

Kalau tester berbeda kota, output bisa berbeda.

Untuk GEO.or.id, banyak query nasional mungkin kurang location-sensitive.

Tetapi tetap catat market.

Indonesia.

Jakarta.

Surabaya.

Bali.

Jika testing menggunakan account atau environment yang punya personalization, catat.

Idealnya gunakan setup seconsistent mungkin.

Kita tidak selalu bisa menghilangkan personalization sepenuhnya.

Tujuannya mendokumentasikan.

Bukan berpura-pura testing laboratory sempurna.

Device juga bisa dicatat

Mobile dan desktop tidak selalu memberi UX identik.

Untuk strategic testing, catat device.

Tidak harus menguji semua query di semua device.

Pilih sesuai user reality.

B2B procurement mungkin desktop-heavy.

Local business mungkin mobile-heavy.

Jika page muncul desktop tetapi tidak mobile pada sample kecil, jangan langsung panik.

Perlu lebih banyak observation.

Device adalah context.

Bukan otomatis cause.

Pisahkan brand mention dan owned-link presence

Brand bisa disebut tanpa website link.

Website bisa linked tanpa brand disebut secara prominent.

Jadi buat dua field.

Brand mention: yes/no.

Owned link: yes/no.

Third-party link: yes/no.

Recommendation: yes/no.

Accuracy: correct/partial/wrong.

Ini menghasilkan analysis jauh lebih kaya.

Contoh:

Brand mention 70%.

Owned link 20%.

Third-party source 50%.

Recommendation 15%.

Accuracy 95%.

Sekarang kita tahu representation strong tetapi owned-source use lebih rendah.

Itu lebih useful dibanding satu “AI score 62”.

Citation quality perlu dicek

Jika URL tampil, jangan hanya count.

Lihat relevansinya.

Apakah link mendukung claim?

Apakah page current?

Apakah page yang benar?

Apakah AI Mode menggunakan article lama padahal page baru lebih authoritative?

Apakah link competitor digunakan untuk menjelaskan brand Anda?

Simpan source URL.

Kalau testing hanya menyimpan screenshot, forensic work sulit.

URL data memungkinkan:

source frequency,

page frequency,

owned vs third-party,

stale source,

unexpected page.

Search Console Generative AI report juga bisa membantu menemukan page yang mendapat impressions.

Manual testing memberi context.

Keduanya saling melengkapi.

Jangan menggunakan incognito sebagai ritual magis

Incognito bisa membantu mengurangi beberapa account/session effects.

Tetapi bukan guarantee output “netral”.

Location, device, network, system behavior, dan dynamic retrieval tetap ada.

Jangan menulis methodology:

“Incognito = unbiased.”

Lebih baik:

“Testing dilakukan dengan signed-out environment untuk mengurangi account-specific context.”

Jika signed-in diperlukan untuk fitur tertentu, catat.

Testing discipline lebih penting daripada slogan neutral.

Jangan menghapus hasil buruk

Ini penyakit klasik.

Run 1: brand tidak muncul.

Run 2: tidak.

Run 3: muncul.

Tim hanya screenshot run 3.

Report: “Brand berhasil masuk AI Mode.”

Ini cherry picking.

Simpan semua runs.

Kalau output buruk, itu data.

Kalau brand salah direpresentasikan, itu penting.

Kalau competitor dominan, itu important.

Testing bukan marketing deck.

Kalau objective report adalah decision-making, raw evidence harus lengkap.

Buat coding rule sebelum testing

Apa yang dihitung sebagai mention?

Misalnya:

Brand disebut exact.

Abbreviation count?

Product name tanpa company name count?

Misspelling?

Parent company mention?

Define.

Apa yang dihitung recommendation?

Brand masuk list provider?

Brand described as suitable?

Brand only used as example?

Define.

Apa yang dihitung owned link?

Homepage?

Subdomain?

Partner domain?

Marketplace official store?

Define.

Rule mengurangi subjective scoring.

Dua evaluator seharusnya bisa melihat output dan memberi classification yang mirip.

Jika tidak, rubric terlalu vague.

Lakukan inter-rater check

Untuk panel penting, dua orang bisa classify sample yang sama.

Misalnya 20 outputs.

Bandingkan.

Jika evaluator A menganggap “mention” dan B tidak, definition perlu diperjelas.

Ini sedikit lebih serius daripada typical SEO testing.

Tetapi berguna.

AI Optimization measurement sering gagal bukan karena data kurang.

Karena definitions tidak stabil.

Inter-rater consistency meningkatkan trust.

Gunakan screenshot sebagai evidence, bukan metric

Screenshot bagus untuk:

audit trail,

stakeholder example,

source placement,

UI context.

Tetapi screenshot bukan denominator.

100 screenshot bagus tidak berarti 100% visibility jika ada 500 negative runs yang tidak disimpan.

Metric harus datang dari full observation set.

Screenshot melengkapi.

Jangan membangun dashboard dari screenshot folder.

Repeatable test bukan causal experiment otomatis

Kalau page updated lalu presence naik, apakah update menyebabkan kenaikan?

Belum tentu.

Google model bisa berubah.

Competitor bisa berubah.

Index bisa berubah.

Source ecosystem bisa berubah.

Query fan-out bisa berbeda.

Controlled before-after memberi signal.

Bukan causal proof.

Jika ingin lebih kuat, gunakan comparison.

Pages changed vs pages unchanged.

Query cluster targeted vs control cluster.

Longer timeframe.

Multiple observations.

Still, search environment bukan laboratory tertutup.

Wording report:

“Observed increase following update.”

Bukan:

“Update caused 40% AI Mode increase.”

Kecuali evidence memang lebih kuat.

Apa yang harus disimpan per run?

Minimal:

test_id,

date,

query,

surface,

location,

device,

run_number,

brand_present,

owned_link,

third_party_link,

recommended,

accuracy,

source_urls,

screenshot,

notes.

Advanced:

response text,

position of mention,

competitors,

page cited,

intent cluster,

buyer stage,

model/interface note.

Untuk 50 queries, data sudah cukup besar.

Gunakan spreadsheet atau database.

Jangan semua di chat history.

Buat versioning query panel

Query panel juga berubah.

Version 1: Januari.

Version 2: April, tambah procurement.

Version 3: Agustus, tambah agentic web.

Jika panel berubah, report harus menyebut.

Jangan compare angka V1 dan V3 seolah denominator sama.

Keep core common queries for trend.

New queries masuk supplementary view.

Measurement governance sama dengan content governance.

Versi penting.

Kapan testing repeatable dianggap cukup?

Tidak ada universal threshold.

Tergantung decision.

Jika hanya exploratory audit, 30–50 queries dengan beberapa runs bisa cukup untuk menemukan pattern.

Jika board KPI, sample perlu lebih robust.

Jika regulated business dan accuracy risk tinggi, query panel harus fokus critical facts.

Jika publisher, panel bisa lebih topic-based.

Principle:

sample harus cukup untuk mendukung keputusan.

Jangan 5 prompt untuk claim enterprise.

Jangan 10.000 prompt kalau tidak ada orang membaca hasil.

Measurement harus economic.

Testing yang terlalu besar bisa sama useless-nya dengan testing terlalu kecil.

Di akhir review, tim kembali melihat query pertama.

Hari Senin brand muncul.

Selasa hilang.

Rabu muncul.

Sekarang mereka tidak bertanya:

“Mana yang benar?”

Mereka melihat distribution.

3 dari 5 runs.

Owned source 2 kali.

Third-party source 1.

Accuracy 5 dari 5.

Competitor A hadir 4 dari 5.

Itu jauh lebih informative.

AI Mode tidak perlu menjadi deterministic agar bisa diuji.

Yang diperlukan adalah protocol.

Query yang dikunci.

Surface jelas.

Context dicatat.

Runs disimpan.

Definitions tetap.

Raw evidence tersedia.

Change log ada.

Dan yang paling penting, tim harus rela menyimpan hasil yang tidak sesuai harapan.

Repeatability bukan cara membuat AI Mode predictable.

Ia cara membuat keputusan kita lebih predictable meskipun AI Mode tidak.