Peneliti Google Kembangkan Kerangka Sleep agar Model AI Dapat Mempertahankan Pengetahuan Lama
Google Research memperkenalkan pendekatan baru dalam pengembangan kecerdasan buatan melalui kerangka Sleep yang dirancang untuk membantu model AI mempelajari informasi baru tanpa mudah melupakan pengetahuan sebelumnya. Penelitian yang dipublikasikan pada 27 Oktober 2026 ini berfokus pada masalah catastrophic forgetting, yaitu penurunan kemampuan model ketika mempelajari tugas atau informasi tambahan. Terinspirasi dari proses konsolidasi ingatan manusia saat tidur, kerangka Sleep menggabungkan pembelajaran aktif dan penguatan memori secara berkala. Inovasi TEKNOLOGI tersebut membuka peluang pengembangan model bahasa besar yang lebih adaptif, mampu mempertahankan pengetahuan jangka panjang, serta meningkatkan kemampuan penalaran melalui proses pembelajaran berkelanjutan.
research.google+1
Pengembangan Sistem Memori AI Berkelanjutan oleh Peneliti Google
Para ilmuwan Google Research mengusulkan kerangka pembelajaran bernama Sleep untuk mengatasi keterbatasan model bahasa besar. Inovasi kecerdasan buatan tersebut dipaparkan pada 27 Oktober 2026 oleh Ali Behrouz dan Vahab Mirrokni. Fokus utama penelitian adalah memungkinkan sistem AI menyerap pengetahuan baru secara berkelanjutan. Pada sebagian besar model bahasa modern, pengetahuan model dibentuk melalui proses pretraining. Sesudah model mulai digunakan, pembaruan pengetahuan membutuhkan mekanisme tambahan. Sistem pembelajaran tersebut bertujuan membantu mengintegrasikan informasi baru secara lebih stabil.
Persoalan mendasar dalam penelitian tersebut adalah fenomena hilangnya kemampuan lama setelah pembelajaran baru. Kondisi ini muncul ketika parameter model diperbarui menggunakan informasi tambahan. Ketika pelatihan tidak dikelola dengan baik, pengetahuan sebelumnya dapat terganggu. Sebagai contoh, sistem AI yang menerima informasi tambahan mungkin kehilangan sebagian keterampilan yang telah dikuasai. Sistem baru ini dirancang menghadapi risiko itu melalui pemisahan fase penggunaan dan konsolidasi memori. Melalui rancangan pembelajaran ini, model berpotensi mempertahankan kemampuan terdahulu.
Perbedaan Fase Terjaga dan Tidur pada Kerangka Sleep Google
Kerangka Sleep menggunakan dua fase pembelajaran yang saling melengkapi, yaitu periode aktif serta konsolidasi. Ketika sistem berada dalam kondisi aktif, AI menjalankan tugas serta berinteraksi dengan masukan. Informasi yang diperoleh dapat disimpan dalam komponen memori sementara. Periode pemrosesan langsung tersebut menyerupai aktivitas pembelajaran saat manusia terjaga. Walaupun istilahnya terinspirasi dari manusia, istilah wake hanya menggambarkan keadaan komputasi tertentu. Siklus pemrosesan tersebut berjalan menggunakan aturan dan arsitektur komputasi.
Pada periode konsolidasi offline, pemrosesan interaksi langsung dijeda. Sumber daya komputasi kemudian difokuskan pada penguatan memori. Melalui mekanisme pembelajaran offline, pengetahuan jangka pendek diintegrasikan ke struktur jangka panjang. Pendekatan ini terinspirasi dari konsolidasi ingatan manusia. Meski demikian, pengolahan AI tetap menggunakan perhitungan matematis. Melalui pembagian aktivitas tersebut, proses penyimpanan informasi menjadi lebih terstruktur. Hal yang perlu diperhatikan adalah adanya periode khusus ketika model tidak memproses tugas baru.
Memory Consolidation Menggunakan Mixture of Experts dan Knowledge Seeding
Mekanisme penguatan pengetahuan merupakan komponen utama pendekatan Google Research. Pada tahap tersebut, model menggunakan struktur Mixture of Experts atau MoE. Arsitektur ini memungkinkan penggunaan sejumlah modul ahli. Peneliti mengembangkan penambahan kapasitas parameter secara terkontrol agar model memiliki kapasitas untuk mengintegrasikan pengalaman. Bagian jaringan yang diaktifkan menggunakan struktur low-rank untuk menyimpan pembaruan secara lebih ringkas. Dengan mekanisme tersebut, gangguan terhadap parameter sebelumnya dapat dikurangi.
Selain penambahan kapasitas, kerangka Sleep memanfaatkan mekanisme penanaman pengetahuan. Teknik pemindahan informasi ini menyerap informasi dari komponen memori jangka pendek. Pada mekanisme yang dijelaskan, sistem memanfaatkan GKD bersama pembelajaran imitasi berbasis reinforcement learning. Hasil konsolidasi tersebut tidak hanya mempertimbangkan kecocokan kata. Sesudah pemindahan pengetahuan dilakukan, komponen berfrekuensi tinggi dapat dikosongkan melalui proses pengaturan ulang memori sementara. Prosedur tersebut mendukung keberlanjutan proses pembelajaran.
Simulasi Pengalaman Sintetis dalam Kerangka Sleep Google
Tidak hanya berfokus pada penyimpanan informasi, pendekatan Google menggunakan tahapan simulasi pembelajaran. Istilah dreaming menggambarkan aktivitas menghasilkan latihan buatan. Dalam tahapan dreaming, AI menyusun skenario pembelajaran buatan untuk melatih kemampuan penalaran. Metode penting dalam proses tersebut adalah aktivasi acak sejumlah komponen MoE. Dengan pemilihan ahli yang berbeda, latihan sintetis dapat mencakup kombinasi pengetahuan yang beragam. Mekanisme simulasi tersebut dirancang memperluas variasi pengalaman pembelajaran.
Contoh latihan dari fase dreaming melewati proses pemilihan terlebih dahulu. Kerangka Sleep memanfaatkan teknik penyaringan berdasarkan informasi gradien untuk memilih sampel yang berpotensi meningkatkan kemampuan. Sesudah data latihan dievaluasi, proses penyempurnaan parameter dilakukan melalui pelatihan terarah. Tahapan optimasi berikutnya juga menerapkan optimasi berbasis sinyal penghargaan untuk mengevaluasi apakah penalaran mengalami peningkatan. Walaupun proses ini menjanjikan, contoh latihan buatan tidak otomatis selalu benar. Apabila contoh sintetis mengandung kesalahan, kualitas pengetahuan justru bisa menurun. Dengan mempertimbangkan risiko tersebut, proses seleksi dan pengujian tetap menjadi kebutuhan utama.
Kemampuan Model AI Mempertahankan Informasi hingga Jutaan Token
Dalam hasil eksperimennya tim peneliti menjelaskan, pendekatan baru ini memberikan peningkatan dalam sejumlah tugas. Evaluasi yang mendapat perhatian berkaitan dengan kemampuan mempertahankan informasi dari masukan besar. Dengan menggunakan evaluasi BABILong, kerangka Sleep diuji pada skala informasi hingga 10 juta token. Hasil tersebut menggambarkan potensi penyimpanan pengetahuan dalam parameter jangka panjang. Meski hasilnya menarik, kemampuan tersebut belum membuktikan ketahanan memori pada seluruh penggunaan nyata. Dengan pertimbangan tersebut, hasil penelitian perlu dipahami sesuai konteks pengujiannya.
Selain pengujian konteks panjang, kerangka Sleep diuji pada pembelajaran bahasa. Dalam pengujian tersebut, sistem mempelajari bahasa tambahan secara berurutan. Berdasarkan hasil yang dipublikasikan, model mempertahankan performa lama dengan penurunan sangat kecil. Evaluasi tambahan dilakukan pada tugas penggabungan pengetahuan faktual. Melalui evaluasi kemampuan faktual, hasil yang dilaporkan mencapai 48,9 persen pada tugas tunggal. Untuk skenario continued pretraining, penilaian mencatat angka 46,2 persen. Hasil pengukuran ini hanya menggambarkan performa dalam pengaturan pengujian tertentu.
Keterbatasan Teknis Kerangka Sleep Sebelum Digunakan Secara Luas
Ketika mekanisme pembelajaran berkelanjutan berhasil ditingkatkan, berbagai aplikasi AI berpotensi memperoleh manfaat. Skenario pemanfaatan yang relevan adalah aplikasi pendukung produktivitas organisasi. Pada aktivitas bisnis, pengetahuan internal sering berubah. Melalui kemampuan konsolidasi informasi, sistem mungkin mengintegrasikan prosedur baru secara lebih stabil. Potensi adaptasi ini juga relevan bagi penelitian ilmiah. Walaupun manfaatnya cukup luas, hasil eksperimen belum menunjukkan penerapan umum pada seluruh asisten digital.
Penerapan kerangka Sleep masih menghadapi sejumlah tantangan teknis. Aspek teknis yang harus dievaluasi adalah kebutuhan sumber daya untuk pelatihan offline. Selama proses pembelajaran internal berlangsung, perangkat komputasi harus menjalankan operasi tambahan. Selain itu, keamanan data yang dipelajari harus dijaga. Ketika data dipindahkan ke bobot model, mekanisme pembatasan akses dan penghapusan informasi perlu dikaji. Pemeriksaan kemampuan lama setelah pembaruan juga perlu dilakukan secara berkala. Berkat pengawasan teknis yang tepat, manfaat pembelajaran berkelanjutan dapat dinilai secara lebih bertanggung jawab.
Peran Penelitian Google untuk Mengurangi Catastrophic Forgetting
Inovasi konsolidasi memori AI melalui Sleep menunjukkan arah baru pengembangan model bahasa besar. Berkat penggunaan siklus pembelajaran berbeda, pembaruan informasi dapat dikelola menggunakan mekanisme khusus. Penguatan parameter jangka panjang bersama proses peningkatan kemampuan offline memberikan ruang untuk adaptasi model. Evaluasi memori menggunakan konteks panjang serta kemajuan dalam pengujian kemampuan faktual menunjukkan potensi pendekatan tersebut. Walaupun hasilnya menjanjikan, keandalan dalam penggunaan nyata harus terus diteliti.
Dalam perkembangan TEKNOLOGI kecerdasan buatan, pengelolaan memori jangka panjang memperoleh perhatian besar. Pendekatan konsolidasi memori ini menggambarkan bahwa kemampuan adaptasi dapat diteliti melalui siklus komputasi khusus. Namun, keamanan informasi dan biaya komputasi tetap perlu diperhatikan. Dengan penelitian lanjutan, model bahasa dapat memperoleh mekanisme memori yang lebih andal. Bagaimana menurut Anda, apakah kerangka Sleep dapat membantu AI mengingat pengetahuan secara lebih baik? Anda dapat berbagi pengalaman dan pemikiran mengenai masa depan memori kecerdasan buatan.
