Seri AI Bonus #1: RAG dan Memori AI Itu Apa?

Seri inti kita sudah selesai, tetapi ada dua istilah yang akan terus kita temui setiap kali membicarakan AI yang "pintar" dan "mengenal kita": RAG dan memori. Keduanya lahir dari keterbatasan LLM yang sudah kita bahas pada tulisan kedua. Pengetahuan LLM membeku pada saat ia dilatih — ia tidak tahu dokumen sekolah kita dan tidak tahu kejadian setelah masa pelatihannya — dan ingatan percakapannya terbatas pada jendela konteks yang bisa penuh lalu melupakan bagian awal. RAG menjawab masalah pertama: bagaimana AI menjawab berdasarkan dokumen tertentu. Memori menjawab masalah kedua: bagaimana AI mengingat penggunanya dari waktu ke waktu. Keduanya sering dicampur, padahal tugasnya berbeda.

RAG adalah singkatan dari Retrieval-Augmented Generation, yang bisa diterjemahkan sebagai "pembuatan jawaban yang diperkuat dengan pencarian". Caranya begini: sebelum menjawab, sistem terlebih dahulu mencari potongan-potongan yang relevan dari kumpulan dokumen yang sudah disiapkan — dokumen itu sebelumnya dipecah menjadi bagian-bagian kecil dan diindeks menurut maknanya, sehingga pencarian dilakukan berdasarkan kemiripan makna, bukan sekadar kata yang sama persis. Potongan yang ditemukan lalu diserahkan kepada LLM sebagai bahan bacaan, dan LLM menyusun jawaban berdasarkan bahan itu, idealnya sambil menyebutkan sumbernya. Analogi yang paling mudah adalah ujian: tanpa RAG, LLM seperti peserta ujian closed book yang menjawab dari hafalan — cepat, tetapi rawan mengarang. Dengan RAG, ia menjadi peserta ujian open book yang boleh membuka buku yang tepat sebelum menjawab.

Manfaatnya terasa nyata di lingkungan sekolah. Bayangkan layanan tanya-jawab yang hanya menjawab berdasarkan buku pedoman resmi sekolah, tata tertib, dan kalender akademik tahun berjalan. Dengan RAG, jawaban tentang syarat pendaftaran atau jadwal libur bersumber dari dokumen resmi, bukan dari tebakan pola bahasa. Bila aturan berubah, cukup dokumennya yang diperbarui — tidak perlu melatih ulang model yang biayanya besar. Namun RAG bukan jaminan kebenaran mutlak: bila potongan yang terambil keliru, atau dokumen sumbernya sendiri sudah kedaluwarsa, jawabannya ikut keliru. Sumber yang berantakan akan menghasilkan jawaban yang berantakan pula; kualitas RAG ditentukan oleh kualitas dan kerapian dokumen di belakangnya.

Adapun memori adalah urusan yang berbeda: bukan tentang dokumen, melainkan tentang kita. Memori jangka pendek AI adalah isi percakapan yang sedang berjalan di jendela konteks — seperti catatan di atas meja yang tersapu bersih setiap kali sesi berakhir. Memori jangka panjang adalah catatan pilihan yang disimpan harness untuk dipakai lintas sesi: nama dan kebiasaan pengguna, proyek yang sedang berjalan, keputusan penting, dan preferensi cara bekerja. Inilah yang membuat asisten seperti OpenClaw dan Hermes terasa "mengenal" penggunanya — ingatannya disimpan sebagai berkas atau catatan yang terkurasi, lalu diambil kembali pada saat yang relevan. Meja kerja boleh berganti setiap hari, tetapi lemari arsipnya tetap sama.

Hubungan keduanya sebenarnya bersaudara dekat. RAG pada dasarnya adalah pengambilan bahan dari pengetahuan, sedangkan sistem memori melakukan pengambilan serupa dari riwayat dan profil pengguna; keduanya bekerja dengan cara yang sama — mencari yang relevan lalu menaruhnya ke dalam konteks LLM pada saat yang tepat. Pertanyaan pembedanya sederhana: RAG menjawab "apa kata dokumennya?", memori menjawab "apa yang saya ketahui tentang pengguna dan pekerjaan ini dari sebelumnya?". Sistem AI yang baik biasanya memakai keduanya sekaligus: ingat siapa yang dilayani, dan merujuk dokumen yang benar saat menjawab.

Catatan penutupnya adalah soal kepercayaan. Memori yang menyimpan data pribadi menuntut kendali penuh di tangan pemiliknya: kita harus bisa melihat apa yang diingat AI tentang kita, memperbaiki yang salah — karena ingatan yang keliru akan terus dibawa ke percakapan-percakapan berikutnya — dan menghapus yang tidak lagi dikehendaki. Jangan pernah menyimpan kata sandi atau data rahasia ke dalam ingatan AI, dan untuk konteks sekolah, data siswa adalah data yang ekstra sensitif sehingga perlakuannya harus ekstra hati-hati. Topik kehati-hatian ini akan kita perdalam pada tulisan bonus berikutnya: keamanan dan persetujuan (approval) pada agent — benteng terakhir sebelum AI bertindak atas nama kita.