Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI

Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan pendekatan inside-out monitoring yang dirancang untuk mendeteksi perilaku agen AI berisiko. Inovasi terbaru ini memperoleh sorotan karena kemampuan agen AI terus meningkat. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan pengawasan manusia yang terbatas. Kondisi tersebut memberikan manfaat produktivitas, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.

Jika dibandingkan dengan sistem pemantauan konvensional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada respons akhir agen AI. Melalui pendekatan berbeda, detektor memeriksa sinyal komputasi di dalam model. Sinyal internal ini memungkinkan pengenalan pola mengenai arah perilaku model. Manfaat utama metode tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Namun demikian, akurasi pengawasan tidak dapat dianggap sempurna.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Bagian penting dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu model klasifikasi khusus yang membaca aktivasi internal model AI. Selama sistem menghasilkan respons, model menghasilkan pola sinyal pada lapisan pemrosesan. Aktivasi yang terbentuk memuat petunjuk mengenai proses pengolahan informasi. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mendeteksi aktivitas berisiko. Sebagai contoh, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.

Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Pada metode konvensional, pemeriksa kecerdasan buatan terpisah sering harus membaca ulang teks yang dihasilkan agen. Metode pengawasan tambahan tersebut dapat meningkatkan biaya, terutama apabila sistem menjalankan banyak langkah. Dengan menggunakan activation probes, pengawasan menggunakan representasi model yang telah dihitung. Dengan demikian, beban pengawasan dapat dikurangi. Sekalipun metode tersebut dirancang hemat, penyesuaian detektor tetap diperlukan untuk memastikan pengawasan sesuai risiko.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Pendekatan pemantauan tersebut menggunakan mekanisme pengawasan bertahap. Ketika agen sedang bekerja, sistem klasifikasi membaca representasi internal selama pemrosesan. Apabila tidak ditemukan masalah, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Namun apabila terdapat peringatan, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Evaluasi berikutnya bertujuan menentukan apakah peringatan membutuhkan intervensi. Berkat mekanisme eskalasi, sumber daya pengawasan dapat difokuskan.

Tidak hanya menemukan aktivitas mencurigakan, pengelola sistem dapat menentukan respons terhadap peringatan. Mekanisme penanganan tersebut antara lain logging untuk pemeriksaan, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, agen pemrograman berpotensi menggunakan lingkungan pengujian. Ketika sistem mengenali kemungkinan penyimpangan, akses tertentu bisa ditinjau sebelum dilanjutkan. Walaupun respons otomatis membantu, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out dievaluasi pada model AI terbuka Kimi K3. Pengujian tersebut dilakukan terhadap sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal ikut ditandai. Hasil ini menggambarkan kemungkinan kesalahan penandaan terhadap aktivitas aman. Karena kondisi tersebut, sistem perlu menyeimbangkan kemampuan menemukan ancaman.

Untuk membandingkan kebutuhan komputasi, Goodfire mengumumkan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe membutuhkan biaya sekitar US$51. Jika menggunakan pendekatan lain, model AI pemeriksa yang lebih murah menghabiskan dana sekitar US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Sebagai aspek performa tambahan, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan latensi waktu menuju respons pertama kurang dari 2 persen. Namun demikian, hasilnya belum otomatis berlaku pada semua model. Dengan mempertimbangkan keterbatasan ini, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.

Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka

Perkembangan komersial sistem tersebut adalah ketersediaan teknologi Goodfire bagi pelanggan Baseten. Layanan Baseten menyediakan layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika mengoperasikan model AI. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada open-weight models karena model dapat dijalankan pada infrastruktur sendiri. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.

Selain pemantauan keamanan siber, pendekatan interpretabilitas model juga diarahkan untuk mengenali beragam pola penyalahgunaan. Kategori tersebut mencakup aktivitas berbahaya berkaitan dengan CBRN, upaya mengeksploitasi mekanisme evaluasi, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, model dapat mengeksploitasi kelemahan lingkungan pengujian. Dengan memahami pola tersebut, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengembangan teknologi pemantauan internal Goodfire menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Melalui pemeriksaan sinyal komputasi model, sistem berupaya mendeteksi kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen aktivitas hacking berisiko, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, kebutuhan pengujian independen tetap perlu diperhatikan. Dengan mempertimbangkan kondisi tersebut, pemantauan internal sebaiknya dilengkapi pembatasan izin agen. Bagaimana pendapat Anda, apakah teknologi activation probes akan meningkatkan kepercayaan terhadap sistem AI otonom? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.