Knowledge Poisoning Detection: Sinyal Apa yang Perlu Dipantau

Knowledge poisoning tidak selalu datang seperti serangan film.

Tidak ada layar hitam.
Tidak ada tulisan “you have been hacked”.
Tidak ada alert otomatis yang pasti bunyi.

Kadang bentuknya cuma satu dokumen baru.

Judulnya normal.
Bahasanya meyakinkan.
Formatnya sama dengan dokumen internal lain.

Lalu beberapa hari kemudian, bot mulai memberi jawaban berbeda.

Satu minggu kemudian, agent mengambil keputusan berdasarkan source tersebut.

Saat itulah tim baru sadar: masalah bukan pada model.

Masalahnya pada knowledge yang dimakan model.

Karena poisoning bisa subtle, detection tidak boleh hanya mencari kalimat ekstrem seperti “ignore previous instructions”.

Yang perlu dipantau adalah perubahan pada supply chain informasi.

Mulai dari Baseline

Tidak bisa mendeteksi anomali kalau tidak tahu normalnya seperti apa.

Untuk corpus penting, buat baseline:

berapa banyak dokumen,
source apa saja,
siapa owner,
berapa update per hari,
berapa chunk per source,
dokumen mana yang paling sering diretrieve,
query mana yang punya expected source.

Dengan baseline, perubahan mulai punya konteks.

Kalau knowledge base biasanya menerima 20 artikel per minggu lalu tiba-tiba ada 7.000 dokumen dari connector baru, itu anomali.

Belum tentu attack.

Tetapi harus diperiksa.

OWASP membahas poisoning dan vector/embedding weaknesses sebagai risk area pada aplikasi GenAI, khususnya ketika untrusted data masuk pipeline dan memengaruhi retrieval atau model behavior.

Volume Spike adalah Sinyal Pertama yang Murah

Monitor ingestion rate.

Per source.
Per user.
Per connector.
Per tenant.

Lonjakan bisa terjadi karena migration.

Bisa karena bug.

Bisa karena attacker.

Detection tidak perlu langsung menyimpulkan.

Cukup angkat anomaly.

Contoh:

CMS biasanya 30 perubahan/hari.
Tiba-tiba 2.400 halaman dibuat satu account.

Shared drive biasanya 100 file baru/hari.
Tiba-tiba 15 ribu file masuk folder yang di-index.

Support corpus tiba-tiba ingest seluruh attachment history.

Volume spike murah dideteksi dan sering menangkap masalah pipeline sebelum menjadi semantic problem.

Perubahan Source Authority

Lebih berbahaya daripada dokumen baru adalah dokumen yang tiba-tiba mendapat status lebih tinggi.

Monitor metadata:

draft menjadi approved,
external menjadi internal,
low-trust menjadi authoritative,
tenant berubah,
classification turun,
owner berubah.

Attacker tidak selalu perlu menulis content baru.

Kalau mereka bisa menaikkan authority content lama, retrieval behavior bisa berubah.

Karena itu metadata change harus punya audit trail.

Siapa mengubah.
Kapan.
Dari nilai apa.
Menjadi apa.

Trust level adalah security-sensitive field.

Similarity Dominance

Ada dokumen baru yang tiba-tiba muncul di top-k untuk banyak query.

Ini layak diperhatikan.

Misalnya satu chunk muncul untuk:

refund,
account closure,
payment,
vendor onboarding,
security reset.

Kenapa satu dokumen sangat dominan?

Mungkin dokumennya memang handbook general.

Mungkin chunking buruk.

Mungkin content dibuat sangat broad.

Mungkin poisoning.

Sinyal bukan bukti.

Tetapi top-k dominance bisa menjadi useful anomaly metric.

Track:
berapa unique query yang menampilkan chunk tertentu,
berapa sering source masuk rank 1,
dan seberapa cepat dominance berubah setelah ingestion.

Expected Source Drift

Untuk high-impact query, tentukan expected source.

Contoh:

“rekening pembayaran resmi” seharusnya mengambil treasury policy.

“prosedur reset admin” seharusnya mengambil security runbook.

“retention data” seharusnya mengambil privacy policy.

Jalankan canary query berkala.

Jika top result berubah ke:
ticket user,
blog,
email,
atau dokumen baru yang belum dikenal,

trigger review.

Ini salah satu detection mechanism paling practical.

Tidak perlu memahami semua embedding.

Cukup tahu source mana yang semestinya dominan.

Answer Drift setelah Re-Index

Setelah corpus update, jalankan golden questions.

Bandingkan jawaban sebelum dan sesudah.

Perhatikan:

fakta berubah,
citation berubah,
confidence berubah,
source berubah,
action recommendation berubah.

Tidak semua drift buruk.

Policy memang bisa berubah.

Tetapi unexplained drift adalah signal.

Untuk high-stakes use case, perubahan jawaban harus punya explanation path ke perubahan source.

Kalau bot berubah tanpa perubahan policy yang diketahui, investigasi.

Version Conflict

Poisoning tidak selalu malicious.

Versi lama dan baru bisa hidup bersamaan.

Monitor:

dokumen superseded masih diretrieve,
effective date conflict,
duplicate policy,
same title different body,
hash berubah tanpa version update.

Version conflict membuat attacker lebih mudah bersembunyi juga.

Kalau corpus memang messy, satu dokumen palsu tidak terlihat aneh.

Data hygiene adalah bagian dari security.

Provenance Gap

Chunk tanpa provenance adalah red flag.

Setiap index entry sebaiknya punya minimal:

source ID,
origin,
ingestion time,
owner atau pipeline,
tenant,
version.

Kalau chunk muncul tanpa field tersebut, quarantine atau turunkan trust.

Unknown provenance berarti kita tidak dapat menjawab:
dari mana ini datang?

Dalam security, ketidakmampuan menjawab itu sendiri masalah.

NIST pada 2026 banyak menekankan governance dan auditing pada AI agents. Knowledge provenance mendukung dua hal tersebut.

Suspicious Instruction Density

Content scanning tetap berguna.

Cari pattern seperti:

instruction kepada AI,
permintaan mengabaikan aturan,
permintaan export data,
credential request,
external destination,
permission escalation language.

Tetapi jangan jadikan keyword detector sebagai hakim final.

Artikel security legitimate bisa mengandung semua frasa tersebut.

Gunakan sebagai signal tambahan.

Combine dengan:
source trust,
context,
change history,
dan retrieval behavior.

Security yang matang menggabungkan sinyal.

Bukan satu regex.

External Destination Baru

Knowledge poisoning sering ingin mengubah destination.

Misalnya:
kirim data ke domain tertentu,
hubungi email tertentu,
upload ke endpoint baru,
gunakan rekening baru.

Monitor entity yang punya consequence:

domain,
email,
bank account,
wallet,
phone,
API endpoint.

Jika document authoritative tiba-tiba memperkenalkan external destination baru, review.

Ini terutama penting untuk procurement, finance, security, dan support.

Again, tidak selalu malicious.

Vendor memang bisa ganti domain.

Tetapi perubahan seperti itu layak human verification.

Cross-Tenant Leakage Signal

Dalam multi-tenant RAG, query tenant A seharusnya tidak pernah retrieve content tenant B.

Monitor candidate set sebelum filtering jika aman dilakukan secara telemetry.

Lebih baik lagi, test canary.

Tanam identifier unik di tenant test.

Query dari tenant lain.

Jika muncul, incident.

Cross-tenant retrieval bukan hanya quality bug.

Itu access-control failure.

Deletion Failure

Dokumen sudah dihapus atau revoked.

Apakah masih muncul?

Buat tombstone monitor.

Saat source dihapus:
catat document ID,
jalankan re-index,
kemudian query synthetic yang sangat mirip.

Kalau chunk masih muncul, deletion pipeline gagal.

Ini penting karena poisoning containment sering bergantung pada kemampuan purge cepat.

Kalau delete tidak benar, remediation menjadi ilusi.

Unusual Access atau Edit Pattern

Jangan hanya monitor vector layer.

Lihat upstream.

Editor login dari lokasi aneh.
Service account tiba-tiba ingest source baru.
Connector permission berubah.
API publishing digunakan di luar jam normal.
Satu account mengubah banyak policy.

Classic security telemetry tetap relevan.

Knowledge poisoning bisa dimulai dari credential compromise biasa.

Agentic system tidak menghapus kebutuhan IAM, MFA, logging, dan least privilege.

Embedding Distribution Shift, Hati-Hati Interpretasinya

Tim advanced mungkin memantau perubahan statistik embedding.

Cluster baru.
Distribution berubah.
Outlier.

Ini bisa berguna, tetapi jangan overclaim.

Embedding drift tidak otomatis berarti poisoning.

Content baru yang legitimate juga bisa mengubah distribution.

Gunakan sebagai diagnostic signal, bukan bukti final.

Semakin abstrak metric, semakin perlu korelasi dengan metadata dan source events.

Human Report Tetap Berharga

Editor bilang:
“kok bot sekarang bilang begini?”

Customer support bilang:
“jawaban refund berubah.”

Finance bilang:
“agent menyebut rekening yang tidak dikenal.”

Jangan remehkan report seperti ini.

Manusia sering menjadi anomaly detector pertama karena mereka tahu business reality.

Buat escalation channel yang jelas.

Knowledge security bukan hanya dashboard SOC.

Domain experts perlu punya jalan cepat untuk menandai suspicious answer atau source.

Incident Response Harus Punya Selective Purge

Detection tanpa response tidak cukup.

Saat source dicurigai:

turunkan trust,
stop ingestion,
quarantine document,
hapus derived chunks,
invalidate cache,
disable memory yang berasal dari source,
re-run canary queries,
review agent action yang terpengaruh.

Jangan selalu rebuild seluruh index jika selective containment memungkinkan.

Tetapi pastikan selective purge benar-benar komplet.

Derived artifact harus terlacak.

Satu sinyal tambahan yang layak dipantau adalah disagreement antara retrieval dan system of record.

Misalnya knowledge base mengatakan vendor A aktif, tetapi procurement database menandainya suspended.

Atau artikel support mengatakan plan tertentu tersedia, sementara billing catalog sudah menghapusnya.

Perbedaan seperti ini tidak otomatis poisoning, tetapi sangat penting karena agent bisa memilih text yang terdengar authoritative padahal state operasional sudah berubah.

Untuk high-impact entity, organisasi dapat membuat reconciliation check berkala antara knowledge source dan structured system of record.

Kalau conflict ditemukan, turunkan confidence atau authority source sampai owner menyelesaikan.

Ini membantu menangkap poisoning, stale content, dan integration drift dengan satu mekanisme governance yang sama.

Metric yang Layak Dipasang

Untuk starting point:

ingestion volume per source,
percentage unapproved content,
documents without provenance,
top-k source distribution,
high-impact query source drift,
expired document retrieval,
cross-tenant retrieval incidents,
suspicious instruction flags,
new external destinations,
delete-to-index latency,
answer drift after re-index.

Tidak perlu 50 dashboard.

Pilih metric yang terkait consequence.

Detection Program Harus Menghindari Alarm Fatigue

Kalau setiap perubahan memicu critical alert, tim berhenti peduli.

Gunakan risk tier.

Low:
blog update.

Medium:
FAQ perubahan besar.

High:
payment instruction,
authentication policy,
security runbook,
legal rule,
account permission.

Threshold berbeda per tier.

Tim editorial dan security juga bisa punya owner berbeda.

Tujuannya membuat alert actionable.

Bukan dashboard merah sepanjang hari.

Checklist Poisoning Detection

Apakah baseline corpus diketahui?
Apakah ingestion spike dipantau?
Apakah trust metadata change diaudit?
Apakah high-impact query punya expected source?
Apakah top-k dominance dipantau?
Apakah version conflict terlihat?
Apakah provenance wajib?
Apakah new external destination ditandai?
Apakah delete benar-benar menghapus vector?
Apakah cross-tenant canary diuji?
Apakah answer drift setelah re-index dievaluasi?
Apakah domain expert punya escalation channel?
Apakah selective purge tersedia?

Knowledge Poisoning Paling Berbahaya ketika Terlihat Normal

Serangan yang kasar mudah dicurigai.

Dokumen yang bagus, relevan, dan ditulis seperti policy asli lebih sulit.

Karena itu detection harus melihat behavior dan lineage, bukan hanya isi kalimat.

Apa yang berubah.
Siapa yang mengubah.
Dari mana source datang.
Seberapa sering diretrieve.
Apa yang digeser.
Action apa yang dipengaruhi.

Knowledge base adalah supply chain.

Vector index adalah salah satu tahap.

Model adalah consumer.

Agent adalah executor.

Kalau kita hanya memantau output model, kita datang terlalu terlambat.

Detection yang kuat dimulai jauh sebelum jawaban dibuat.

Ia memantau perjalanan informasi sejak masuk, berubah, diretrieve, sampai akhirnya memengaruhi keputusan.

Di situlah poisoning paling mungkin ditemukan sebelum berubah dari dokumen “agak aneh” menjadi insiden nyata.