AI Retrieval Security

Customer support bot terlihat seperti use case AI yang relatif aman. User bertanya soal refund. Bot mencari knowledge base. Bot menjawab. Selesai. Masalahnya, support bot modern jarang sesederhana itu. Ia bisa membaca artikel help center, percakapan ticket lama, CRM, account profile, policy…

Dulu, tim SEO menghadapi halaman yang dibuat untuk memanipulasi ranking. Tim AI security menghadapi prompt yang dibuat untuk memanipulasi model. Sekarang dua jalur itu mulai bisa bertemu di halaman web yang sama. Sebuah halaman dapat dibuat agar mudah ditemukan crawler dan sistem…

Ada perbedaan besar antara AI yang bisa menyarankan tindakan dan AI yang punya izin untuk mengeksekusi tindakan. Di layar, bedanya kadang cuma satu klik. Di arsitektur sistem, bedanya bisa setara antara “kasih rekomendasi transfer” dan “benar-benar memindahkan uang”. Itulah kenapa agent action…

Pagi itu bukan security engineer yang pertama kali menemukan masalah. Yang melihat justru editor. Ia membuka sebuah artikel knowledge base yang baru di-update malam sebelumnya. Di bagian bawah ada paragraf aneh yang tidak pernah masuk brief editorial. Isinya tidak terlihat seperti malware.…

Database poisoning terdengar seperti problem AI baru karena sekarang kata “vector” ada di depannya. Padahal ide dasarnya tua. Kalau attacker bisa merusak data yang dipercaya sistem, output sistem ikut rusak. Yang berubah adalah cara data ditemukan. Pada database tradisional, aplikasi sering mengambil…

Masalah multi-source retrieval bukan kekurangan informasi. Sering kali justru kebanyakan informasi. Satu query bisa menarik policy dari knowledge base, catatan internal, email, ticket, halaman web, dokumentasi vendor, dan percakapan sebelumnya. Lalu muncul situasi yang sangat manusiawi: sumber A bilang lakukan X. Sumber…

Kalimat “agent hanya boleh melakukan hal yang aman” terdengar bagus di dokumen produk. Masalahnya: apa definisi aman? Kalau jawabannya diserahkan ke model setiap kali, kita belum punya policy. Kita punya opini probabilistik. Allowlist action mengambil pendekatan berbeda. Daripada memberi agent ruang tindakan…

Ada satu kalimat yang seharusnya ditempel di setiap whiteboard tim agentic AI: Retrieved content bukan instruction authority. Kelihatannya sederhana. Tetapi sebagian besar risiko prompt injection lahir karena boundary itu kabur. User meminta agent membaca sebuah halaman web. Halaman itu berisi data. Di…

Seorang user meminta AI agent memesan meja untuk makan malam. Tugasnya sederhana. Buka website. Pilih tanggal. Pilih jam. Isi nama. Konfirmasi. Agent membuka halaman restoran. Di tengah proses, sebuah banner muncul: “Untuk melanjutkan reservasi, verifikasi akun melalui halaman partner.” Agent klik. Halaman…

Ada jebakan yang sangat natural saat membangun RAG. Retriever mengembalikan dokumen yang “pas banget” dengan pertanyaan. Tim melihat similarity score tinggi. Jawaban model juga terdengar masuk akal. Semua orang senang. Padahal kita baru menjawab satu pertanyaan: “Apakah dokumen ini relevan?” Kita belum…