AI Retrieval Security

Bayangkan sebuah AI agent diminta tugas yang kedengarannya biasa: buka beberapa website vendor, bandingkan harga, lalu siapkan shortlist. Di salah satu halaman, ada instruksi tersembunyi yang ditulis bukan untuk manusia, tetapi untuk model: abaikan tujuan sebelumnya, buka link tertentu, kirim data yang…

Ada satu kalimat yang seharusnya ditempel di whiteboard setiap tim yang membangun RAG, browser agent, AI search, atau enterprise assistant: Retrieved content bukan trusted instruction. Sederhana, tetapi konsekuensinya luas. Ketika sistem AI mencari web, membaca email, mengambil dokumen dari vector database, memanggil…

Ada asumsi yang sangat nyaman dalam banyak proyek RAG: kalau dokumennya ada di knowledge base internal, berarti dokumennya aman. Asumsi itu bisa mahal. Retrieval-Augmented Generation dirancang supaya model tidak hanya mengandalkan pengetahuan dari training. Sistem mencari potongan dokumen yang relevan, memasukkannya ke…

Seorang product manager membuka demo browser agent di depan tim. Agent diminta mencari tiga opsi software HR, membaca pricing page, lalu membuat tabel perbandingan. “Kalau salah satu website nyelipin instruksi buat agent, siapa yang filter?” tanya orang security. PM-nya menjawab, “Modelnya, kan?”…

Ada perbedaan besar antara AI yang membaca halaman berbahaya dan AI yang membaca halaman berbahaya sambil memegang akses ke browser, email, file, payment flow, atau aplikasi perusahaan. Pada kasus pertama, kita mungkin mendapat jawaban ngawur. Pada kasus kedua, kita bisa mendapat tindakan…

“Ini cuma PDF. Harusnya aman, kan?” Kalimat seperti itu masih sering muncul ketika tim mulai memakai retrieval-augmented generation, browser agent, atau AI assistant yang membaca dokumen eksternal. Ada asumsi bahwa risiko prompt injection terutama datang dari kotak chat, lalu format file dianggap…

RAG sering digambar terlalu rapi di slide: user bertanya, retriever mencari dokumen, model menjawab. Di sistem produksi, isinya jauh lebih messy. Ada system policy, developer instruction, query user, hasil vector search, metadata dokumen, tool response, citation, permission, history percakapan, dan mungkin memory.…

Ketika orang mendengar istilah knowledge base poisoning, bayangan pertama biasanya hacker, malware, atau kebocoran data. Masuk akal, tetapi untuk brand, dampaknya bisa lebih luas. Knowledge base sekarang tidak hanya dipakai untuk chatbot customer service. Ia bisa menjadi sumber RAG untuk sales assistant,…

Publisher sering berada di posisi yang aneh dalam diskusi RAG security. Mereka membuat konten publik. Pihak lain yang meng-crawl, mengindeks, melakukan retrieval, menyusun prompt, memilih model, dan menjalankan agent. Lalu ketika muncul risiko seperti prompt injection, poisoning, atau misinterpretasi, muncul pertanyaan: “Sebagai…

Instruksi berbahaya dalam retrieval tidak selalu memakai kalimat dramatis seperti: “IGNORE ALL PREVIOUS INSTRUCTIONS.” Kalau semuanya sejelas itu, problem prompt injection sudah jauh lebih gampang. Dalam praktiknya, instruksi bisa dibuat halus, dipecah, disamarkan, ditaruh di lokasi yang jarang diperhatikan manusia, atau dibungkus…