Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire menghadirkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali potensi penyimpangan tindakan sistem otomatis. Pengembangan tersebut memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Pada lingkungan komputasi modern, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini mendukung efisiensi pekerjaan, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.

Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak hanya membaca respons akhir agen AI. Melalui pendekatan berbeda, sistem menganalisis aktivasi internal jaringan saraf. Informasi tersebut memungkinkan pengenalan pola mengenai arah perilaku model. Keunggulan pendekatan ini adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Walaupun teknologi tersebut menawarkan keuntungan, akurasi pengawasan tidak dapat dianggap sempurna.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Komponen utama dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa pola komputasi selama pemrosesan. Ketika agen AI menjalankan tugas, proses komputasi menciptakan sejumlah representasi numerik. Sinyal tersebut berkaitan dengan representasi yang dipelajari model. Activation probes kemudian menganalisis karakteristik sinyal untuk mengenali kemungkinan penyimpangan. Pada pemantauan tindakan digital, sistem klasifikasi dapat digunakan mengidentifikasi pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Dengan menggunakan activation probes, detektor cukup memanfaatkan aktivasi selama proses komputasi. Dengan demikian, beban pengawasan dapat dikurangi. Sekalipun metode tersebut dirancang hemat, kualitas probe harus dievaluasi untuk mengurangi kesalahan klasifikasi.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Goodfire menerapkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, sistem klasifikasi membaca aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Evaluasi berikutnya bertujuan menentukan apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, pemeriksaan mahal hanya digunakan ketika diperlukan.

Selain melakukan deteksi, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Mekanisme penanganan tersebut antara lain pencatatan aktivitas, permintaan peninjauan manual, atau penolakan permintaan berisiko. Pada sistem AI yang digunakan untuk pekerjaan, sistem otomatis yang dapat menggunakan alat berpotensi menggunakan berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar aktivitas sah tidak sering terganggu.

Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Eksperimen perusahaan dilakukan terhadap sekitar 1.500 sesi untuk memeriksa kinerja detektor. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Selain itu, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Data pengujian tersebut menggambarkan kemungkinan false positive. Karena kondisi tersebut, administrator perlu mengevaluasi efektivitas dan kenyamanan penggunaan.

Dari sisi biaya, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, sistem pengawasan berbasis model berbiaya rendah memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Walaupun hasil pengujian menjanjikan, data tersebut berasal dari evaluasi tertentu. Karena alasan tersebut, validasi tambahan sebaiknya dilakukan sebelum menerapkan sistem secara luas.

Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang

Bagian penting dari peluncuran adalah akses terhadap pengawasan berbasis probe bagi pelanggan Baseten. Layanan Baseten menyediakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika mengoperasikan model AI. Sistem pemantauan ini menjadi relevan terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Dengan demikian, pengembang memiliki pilihan memperkuat mekanisme keamanan saat inferensi.

Tidak hanya untuk mengawasi risiko peretasan, sistem klasifikasi aktivasi juga diarahkan untuk mengenali beragam pola penyalahgunaan. Kategori tersebut meliputi risiko keselamatan kimia serta biologi, reward hacking, dan tindakan siber yang melanggar kebijakan. Dalam pengembangan agen AI, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, agen mungkin mencoba memanipulasi hasil evaluasi. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum aktivitas berkembang menjadi insiden.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengenalan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi interpretabilitas kecerdasan buatan. Dengan menganalisis representasi numerik selama pemrosesan, detektor memungkinkan identifikasi pola penyimpangan model tanpa selalu menjalankan pengawas AI berbiaya tinggi. Evaluasi menggunakan Kimi K3 menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, kebutuhan pengujian independen tetap menjadi faktor evaluasi. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Menurut Anda, apakah sistem pemantauan internal Goodfire akan menjadi standar keamanan agen AI masa depan? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.