AI Memory vs Fresh Evidence: Siapa yang Menang Saat Data Bertentangan

Bayangkan percakapan sederhana.

Minggu lalu Anda memberi tahu AI assistant bahwa kantor perusahaan berada di Kuningan.

Hari ini perusahaan pindah ke SCBD.

Website sudah diperbarui.

Anda lalu bertanya:

“Di mana kantor perusahaan sekarang?”

Jawaban bisa terlihat sederhana, tetapi di baliknya ada pertanyaan arsitektural:

Apakah sistem menggunakan memory dari percakapan sebelumnya?
Apakah ia melakukan web retrieval?
Apakah ia memilih website terbaru?
Apakah memory diberi prioritas?
Apakah ia melihat conflict?
Apakah ia meminta klarifikasi?

Tidak ada satu jawaban universal.

“AI memory” adalah istilah yang terlalu luas jika dipakai tanpa menyebut produk, mode, dan mekanisme.

OpenAI, misalnya, mendokumentasikan bahwa ChatGPT dapat menggunakan saved memories dan reference chat history untuk personalisasi. OpenAI juga menjelaskan bahwa memory dapat dikelola pengguna dan berbeda dari chat history. Itu adalah perilaku produk tertentu, bukan aturan seluruh sistem AI.

Di sisi lain, banyak sistem AI memakai retrieval, search, knowledge base, tools, atau context yang diberikan saat request.

Saat memory dan evidence baru bertentangan, siapa yang “menang” seharusnya bukan persoalan ego antara dua sumber.

Yang penting adalah policy tentang recency, authority, provenance, dan risk.

Memory bukan database kebenaran

Ini prinsip pertama.

Memory dibuat untuk membantu continuity atau personalization.

Contoh yang masuk akal:

user lebih suka jawaban singkat,
user bekerja di industri tertentu,
nama project,
preferensi bahasa,
konteks percakapan.

Tetapi memory bukan otomatis source of truth untuk fakta dunia yang berubah.

Alamat kantor.
Harga.
Status pesanan.
Jabatan.
Peraturan.
Saldo.
Ketersediaan.
Jadwal penerbangan.

Semua perlu evidence current.

Kalau sistem pernah mengingat “CEO adalah A”, lalu official source sekarang mengatakan “CEO adalah B”, memory harus diperlakukan sebagai potentially stale context.

Dalam desain yang sehat, old context tidak boleh mengalahkan fresh authoritative evidence hanya karena datang lebih dulu.

Tetapi implementasi real-world bisa berbeda.

Karena itu organisasi tidak boleh berasumsi.

Harus test.

Fresh juga bukan berarti authoritative

Sekarang kebalikannya.

Website baru terbit lima menit lalu dan mengatakan perusahaan punya sertifikasi X.

Memory lama mengatakan tidak punya.

Mana yang benar?

Fresh source mungkin official.

Mungkin juga halaman marketing baru yang salah.

Atau website pihak ketiga yang baru meng-copy klaim tidak akurat.

Jadi decision rule tidak boleh:

newer always wins.

Lebih tepat gunakan beberapa dimensi:

authority,
recency,
directness,
provenance,
specificity,
risk,
consistency.

Regulator current lebih kuat daripada forum baru.

Official product database current lebih kuat daripada blog lama.

Signed policy version lebih kuat daripada memory conversational.

Untuk low-risk preference, memory bisa cukup.

Untuk high-risk fact, verify.

Conflict harus terlihat, bukan disembunyikan

Sistem yang baik seharusnya tidak selalu memaksa satu answer ketika evidence bertentangan.

Contoh:

“Website resmi yang diperbarui hari ini menyebut alamat SCBD, sementara konteks sebelumnya menyebut Kuningan. Saya akan memakai SCBD sebagai informasi terbaru.”

Itu jauh lebih trustworthy.

Mengapa?

Karena user melihat conflict resolution.

Bandingkan:

“Kantornya di SCBD.”

Jawabannya mungkin benar, tetapi reasoning evidence tidak terlihat.

Untuk high-impact workflow, conflict state sebaiknya punya first-class status.

Known.
Unknown.
Conflicting.
Stale.
Verified.

Bukan semua dipaksa menjadi satu string.

AI system internal sangat membutuhkan ini.

RAG tidak menghapus masalah memory

Banyak perusahaan berpikir:

“Kita pakai RAG, jadi selalu pakai data terbaru.”

Tidak otomatis.

RAG bisa menarik dokumen lama.

Vector similarity tidak sama dengan temporal validity.

Knowledge base bisa punya tiga versi policy.

Chunk lama bisa lebih mirip query.

Metadata bisa tidak lengkap.

Index update bisa terlambat.

Permission bisa membuat dokumen terbaru tidak accessible.

Retrieval dapat mengembalikan source yang relevan tetapi superseded.

Jadi fresh evidence membutuhkan lifecycle.

Minimal:

document ID,
version,
effective date,
supersedes,
owner,
last verified,
status.

Pada retrieval, filter status.

Jika current policy ada, archived policy tidak boleh diperlakukan setara untuk pertanyaan “apa kebijakan sekarang?”

Historical query tetap boleh mengaksesnya.

Context matters.

Memory personalization dan factual grounding harus dipisah

Misalnya user pernah mengatakan:

“Saya biasanya belanja di Jakarta.”

Itu preference/context.

Ketika user bertanya:

“Apakah toko X masih buka di Jakarta?”

Memory boleh membantu lokasi intent.

Tetapi status toko harus diverifikasi dari source current jika tersedia.

Jangan membuat inference:

user sering di Jakarta → toko pasti masih ada di Jakarta.

Begitu juga B2B.

Memory:
client biasanya memakai Paket Enterprise.

Fresh evidence:
contract hari ini menunjukkan paket berubah.

Untuk task operasional, contract current harus menang.

Memory bisa memberi context, tidak boleh override transaction state.

Apa yang terjadi ketika source resmi sendiri terlambat?

Ini situasi sulit.

Internal system mengatakan cabang tutup hari ini.

Website publik masih mengatakan buka.

User bertanya ke AI berbasis web.

AI mungkin menjawab buka.

Apakah AI salah?

Dari dunia nyata, iya.

Dari evidence publik yang tersedia, ia mungkin mengikuti source terbaik yang bisa ditemukan.

Ini menunjukkan satu hal:

Fresh evidence harus dipublikasikan ke surface yang digunakan sistem.

Kebenaran yang hanya diketahui internal tidak otomatis tersedia untuk AI publik.

Karena itu ada propagation problem.

Source of truth internal.
Publishing pipeline.
Public canonical page.
Structured data/feed.
Third-party profiles.
Search indexing.
AI retrieval.

Setiap layer punya latency.

Organisasi perlu menentukan SLA sesuai risk.

Inventory bisa menit.
Jam operasional mungkin jam/hari.
Corporate bio mungkin hari.
Historical article tidak perlu immediate.

Jangan menganggap semua data perlu real-time.

High-risk facts memerlukan stronger rule

Untuk health, finance, legal, security, payment, authorization, dan irreversible action, memory tidak cukup.

System sebaiknya verify current source dan bila ada conflict, escalate atau minta confirmation.

Contoh agent akan mentransfer dana.

Memory:
rekening tujuan biasanya A.

Instruction current:
transfer ke B.

Itu bukan saatnya “pilih yang terbaru”.

Itu conflict yang memerlukan authentication, authorization, provenance, dan human confirmation sesuai risk.

NIST AI RMF mendorong risk-based approach untuk sistem AI. Prinsip itu relevan: semakin besar consequence, semakin kuat requirement untuk verification.

AI memory nyaman.

High-risk action membutuhkan kontrol.

Bagaimana brand menguji memory vs fresh evidence?

Buat controlled test.

Contoh low-risk entity fact.

Day 1:
beri context bahwa office di alamat lama.

Day 2:
publish dan verify official page dengan alamat baru.

Kemudian test:

tanpa web,
dengan web jika surface memungkinkan,
dengan prompt “berdasarkan informasi terbaru”,
dengan prompt neutral,
di session baru,
di session dengan history.

Catat output.

Jangan menggunakan data sensitif.

Tujuannya memahami behavior surface.

Pertanyaan yang dicari:

Apakah old context persist?
Apakah fresh source diambil?
Apakah conflict disebut?
Apakah answer berubah antar mode?
Apakah citation menunjuk source current?

Hasilnya hanya berlaku untuk test environment tersebut.

Jangan dijadikan hukum universal.

Correction policy perlu mencakup memory

Untuk assistant internal, organisasi bisa punya rule:

Fakta temporal tidak boleh disimpan sebagai durable memory tanpa expiry.

Atau:

Jika memory fact lebih tua dari threshold, verify sebelum use.

Atau:

Certain fields selalu query system of record.

Alamat pengiriman aktif:
query CRM.

Inventory:
query inventory system.

Employee role:
query HR directory.

Policy:
query versioned knowledge base.

Memory hanya fallback context.

Ini desain yang jauh lebih aman.

Untuk consumer AI, brand tidak mengontrol memory pengguna.

Maka fokus brand adalah memastikan evidence publik current dan konsisten.

Jangan mencoba “menanam memory” lewat repetisi manipulatif.

Selain tidak bisa dijamin, pendekatan seperti itu menggeser optimasi menjadi manipulation.

Lebih baik perbaiki factual environment.

Kapan memory boleh menang?

Ada kasus.

User preference adalah contoh paling jelas.

User berkata:

“Kalau saya bilang kantor, maksud saya kantor Jakarta, bukan cabang Surabaya.”

Web tidak bisa mengetahui preference pribadi itu.

Memory membantu.

Atau:

“Project Orion yang saya maksud adalah internal initiative kita, bukan perusahaan bernama Orion.”

Memory disambiguates entity.

Di sini memory bukan mengalahkan fakta dunia.

Ia mengklarifikasi intent.

Perbedaan ini fundamental.

Memory terbaik untuk continuity of user context.

Fresh evidence terbaik untuk current state of world.

Keduanya harus bekerja sama.

Bukan saling menggantikan.

Bangun conflict resolution ladder

Organisasi bisa memakai rule internal seperti:

1. Identify claim type.
2. Tentukan apakah temporal.
3. Cari authoritative current source.
4. Bandingkan dengan memory/context.
5. Jika sejalan, lanjut.
6. Jika conflict low-risk, gunakan source lebih authoritative/current dan jelaskan.
7. Jika conflict high-risk, jangan auto-resolve; verify atau escalate.
8. Log conflict.
9. Perbaiki stale memory atau knowledge source bila organisasi mengontrolnya.

Ini bukan standar platform.

Ini governance pattern.

Nilainya adalah consistency.

Tanpa rule, dua tim membangun dua assistant dengan behavior berbeda.

Satu selalu percaya memory.

Satu selalu percaya retrieval.

Keduanya bisa salah.

Pertanyaan “siapa yang menang?” perlu diubah

Memory vs fresh evidence terdengar seperti pertandingan.

Itu framing yang kurang tepat.

Pertanyaan yang lebih berguna:

Claim apa?
Seberapa cepat berubah?
Siapa source authority?
Kapan diverifikasi?
Apakah evidence langsung?
Apa consequence jika salah?
Apakah conflict perlu human review?

Jika answer hanya personal preference, memory mungkin paling relevan.

Jika answer harga sekarang, evidence current lebih penting.

Jika answer legal eligibility, authoritative current source wajib.

Jika evidence saling bertentangan dan risikonya tinggi, “saya tidak tahu” bisa lebih baik daripada confident synthesis.

OpenAI dalam riset hallucination menyoroti masalah model yang terdorong untuk menebak ketika uncertain. Dari sisi product governance, lesson praktisnya jelas: sistem harus punya ruang untuk abstain, verify, dan surface uncertainty.

Trust bukan kemampuan menjawab semua pertanyaan.

Trust adalah kemampuan tahu kapan context lama cukup, kapan fakta harus diverifikasi, dan kapan conflict tidak boleh disembunyikan.

Jadi siapa yang menang saat AI memory dan fresh evidence bertentangan?

Tidak ada jawaban satu kata.

Untuk fakta dunia yang berubah, fresh authoritative evidence seharusnya punya bobot lebih tinggi daripada memory lama.

Untuk preference dan disambiguation user, memory bisa menjadi context paling relevan.

Untuk high-risk conflict, jangan cari “pemenang” otomatis.

Cari verification.

Itu perbedaan antara assistant yang sekadar terdengar yakin dan sistem yang benar-benar didesain untuk dapat dipercaya.