Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire meluncurkan sistem pemantauan internal yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan pengawasan manusia yang terbatas. Kondisi tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.

Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak hanya membaca seluruh percakapan sistem. Sebaliknya, teknologi tersebut membaca representasi numerik yang muncul selama pemrosesan. Informasi tersebut berpotensi memperlihatkan indikasi mengenai arah perilaku model. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Dengan demikian, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, akurasi pengawasan tidak dapat dianggap sempurna.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu model klasifikasi khusus yang membaca representasi numerik jaringan saraf. Selama sistem menghasilkan respons, jaringan saraf membentuk berbagai aktivasi internal. Sinyal tersebut dapat mencerminkan proses pengolahan informasi. Detektor aktivasi kemudian memeriksa pola tertentu untuk mengidentifikasi perilaku mencurigakan. Pada pemantauan tindakan digital, probe berpotensi dirancang mendeteksi sinyal yang berkaitan dengan tindakan tidak aman. Berkat pemeriksaan aktivasi, pengawasan tidak harus menunggu seluruh respons selesai.

Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Pada metode konvensional, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Metode pengawasan tambahan tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila agen bekerja selama berjam-jam. Sebaliknya, sistem dapat menganalisis aktivasi selama proses komputasi. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Walaupun demikian, kualitas probe harus dievaluasi untuk mengurangi kesalahan klasifikasi.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, sistem klasifikasi membaca representasi internal selama pemrosesan. Apabila tidak ditemukan masalah, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, sistem berpotensi melakukan eskalasi kepada komponen evaluasi yang lebih mendalam. Evaluasi berikutnya membantu menilai apakah peringatan membutuhkan intervensi. Dengan pendekatan ini, pemeriksaan mahal hanya digunakan ketika diperlukan.

Di samping mengidentifikasi risiko, pengelola sistem dapat menentukan tindakan setelah risiko dikenali. Pengaturan respons ini antara lain pencatatan aktivitas, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, asisten digital pengembang dapat memiliki kewenangan berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar proses kerja tetap berjalan dengan wajar.

Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen aktivitas hacking yang tergolong berisiko. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal ikut ditandai. Data pengujian tersebut menunjukkan adanya peringatan yang tidak tepat. Karena kondisi tersebut, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.

Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah membutuhkan sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, pemantauan menggunakan empat klasifikasi sekaligus dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Namun demikian, data tersebut berasal dari evaluasi tertentu. Dengan mempertimbangkan keterbatasan ini, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.

Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang

Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi organisasi yang menjalankan model melalui Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, organisasi berpotensi menerapkan detektor risiko berbasis model ketika menjalankan agen otomatis. Teknologi Goodfire memiliki manfaat potensial terutama pada open-weight models karena model dapat dijalankan pada infrastruktur sendiri. Dengan demikian, organisasi berpotensi meningkatkan mekanisme keamanan saat inferensi.

Selain pemantauan keamanan siber, teknologi Goodfire dikembangkan agar dapat memantau beragam pola penyalahgunaan. Kategori tersebut mencakup risiko keselamatan kimia serta biologi, reward hacking, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Dengan memahami pola tersebut, administrator berpotensi mengetahui tanda masalah sebelum aktivitas berkembang menjadi insiden.

Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan

Pengenalan teknologi pemantauan internal Goodfire menjadi perkembangan penting dalam teknologi keamanan agen AI. Dengan menganalisis aktivasi internal jaringan saraf, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen aktivitas hacking berisiko, dengan kebutuhan biaya yang lebih rendah. Namun demikian, potensi peringatan palsu tetap menjadi faktor evaluasi. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Menurut Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.