Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Perusahaan riset keamanan AI Goodfire meluncurkan sistem pemantauan internal yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut memperoleh sorotan karena kemampuan agen AI terus meningkat. Pada lingkungan komputasi modern, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Peningkatan kemampuan tersebut mendukung efisiensi pekerjaan, tetapi memerlukan sistem perlindungan tambahan. Berkat pengembangan detektor khusus, Goodfire berupaya mengenali aktivitas mencurigakan sebelum tindakan terjadi.

Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak hanya membaca respons akhir agen AI. Sebagai alternatif, sistem menganalisis aktivasi internal jaringan saraf. Data aktivasi tersebut dapat memberikan petunjuk mengenai kemungkinan tindakan berisiko. Keunggulan pendekatan ini adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Dengan demikian, kebutuhan sumber daya tambahan dapat ditekan. Namun demikian, kemampuan sistem perlu diuji pada berbagai kondisi.

Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI

Elemen dasar dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa representasi numerik jaringan saraf. Selama sistem menghasilkan respons, jaringan saraf membentuk sejumlah representasi numerik. Informasi internal tersebut berkaitan dengan representasi yang dipelajari model. Activation probes kemudian menganalisis karakteristik sinyal untuk mengidentifikasi perilaku mencurigakan. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, pengawasan tidak harus menunggu seluruh respons selesai.

Salah satu alasan efisiensinya adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Proses tersebut berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, pengawasan menggunakan representasi model yang telah dihitung. Berkat mekanisme tersebut, kebutuhan komputasi tambahan berpotensi lebih rendah. Sekalipun metode tersebut dirancang hemat, pemilihan sinyal internal perlu diperhatikan untuk mengurangi kesalahan klasifikasi.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Goodfire menerapkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, sistem klasifikasi membaca aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Sebaliknya, hasil deteksi dapat dikirim kepada model pemeriksa tambahan. Pemeriksaan kedua digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Dengan pendekatan ini, pemeriksaan mahal hanya digunakan ketika diperlukan.

Di samping mengidentifikasi risiko, pengelola sistem dapat menentukan langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut dapat mencakup penyimpanan laporan kejadian, eskalasi ke petugas keamanan, atau penghentian tindakan tertentu. Dalam lingkungan perusahaan, agen pemrograman mungkin memperoleh akses berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, administrator dapat meminta pemeriksaan. Meskipun mekanisme perlindungan berlapis bermanfaat, pengelola harus mempertimbangkan risiko kesalahan agar proses kerja tetap berjalan dengan wajar.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, teknologi pemantauan berbasis probe dievaluasi pada model AI terbuka Kimi K3. Pengujian tersebut mencakup sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Menurut laporan Goodfire, probe mampu menandai 94 persen sesi dengan tindakan siber berbahaya. Selain itu, kurang lebih 8,7 persen sesi yang sebenarnya aman ikut ditandai. Angka tersebut memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Oleh sebab itu, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.

Untuk membandingkan kebutuhan komputasi, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model tambahan kelas ringan membutuhkan sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan latensi waktu menuju respons pertama kurang dari 2 persen. Walaupun hasil pengujian menjanjikan, data tersebut berasal dari evaluasi tertentu. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Perkembangan komersial sistem tersebut adalah ketersediaan teknologi Goodfire bagi pelanggan Baseten. Layanan Baseten menyediakan sistem untuk menjalankan model kecerdasan buatan. Berkat integrasi layanan, pengembang dapat memanfaatkan sistem perlindungan tambahan ketika mengoperasikan model AI. Pendekatan tersebut menjadi relevan terutama pada open-weight models karena model dapat dijalankan pada infrastruktur sendiri. Melalui penerapan pengawasan tambahan, pengembang memiliki pilihan memperkuat pengendalian risiko ketika model digunakan.

Selain pemantauan keamanan siber, pendekatan interpretabilitas model juga diarahkan untuk mengenali jenis risiko lainnya. Contoh risiko yang diperhatikan meliputi penyalahgunaan terkait senjata kimia dan biologis, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Pada penggunaan model otomatis, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Dalam skenario pengujian, agen mungkin mencoba memanipulasi hasil evaluasi. Dengan memahami pola tersebut, pengembang dapat memperoleh peringatan sebelum tindakan berisiko berlanjut tanpa pengawasan.

Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan

Pengembangan sistem inside-out monitoring menunjukkan inovasi menarik dalam teknologi interpretabilitas kecerdasan buatan. Dengan menganalisis representasi numerik selama pemrosesan, sistem berupaya mendeteksi pola penyimpangan model tanpa selalu menjalankan pengawas AI berbiaya tinggi. Hasil pengujian Goodfire menunjukkan kemampuan mendeteksi 94 persen aktivitas hacking berisiko, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, perbedaan karakteristik antar-model tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung pembatasan izin agen. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.