Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire menghadirkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini menjadi perhatian karena penggunaan agen digital semakin berkembang. Pada lingkungan komputasi modern, agen AI dapat mengoperasikan perangkat lunak dengan tingkat otomatisasi yang semakin tinggi. Peningkatan kemampuan tersebut memberikan manfaat produktivitas, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.

Berbeda dari metode pengawasan tradisional, teknologi Goodfire tidak hanya membaca seluruh percakapan sistem. Melalui pendekatan berbeda, teknologi tersebut membaca aktivasi internal jaringan saraf. Informasi tersebut memungkinkan pengenalan pola mengenai arah perilaku model. Nilai tambah teknologi tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Berkat cara kerja ini, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu detektor berukuran kecil yang memeriksa pola komputasi selama pemrosesan. Selama sistem menghasilkan respons, proses komputasi menciptakan berbagai aktivasi internal. Sinyal tersebut memuat petunjuk mengenai representasi yang dipelajari model. Activation probes kemudian mencari indikasi dalam representasi tersebut untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, probe berpotensi dirancang mendeteksi pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, pengawasan tidak harus menunggu seluruh respons selesai.

Salah satu alasan efisiensinya adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap teks yang dihasilkan agen. Pendekatan pemeriksaan ulang ini dapat meningkatkan biaya, terutama apabila agen bekerja selama berjam-jam. Melalui pendekatan Goodfire, sistem dapat menganalisis aktivasi selama proses komputasi. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, pemilihan sinyal internal perlu diperhatikan untuk mengurangi kesalahan klasifikasi.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Pendekatan pemantauan tersebut menggunakan mekanisme pengawasan bertahap. Pada tahap awal, detektor internal memeriksa aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Namun apabila terdapat peringatan, sistem berpotensi melakukan eskalasi kepada komponen evaluasi yang lebih mendalam. Evaluasi berikutnya bertujuan menentukan apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, proses analisis mendalam tidak harus berjalan terus-menerus.

Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur langkah penanganan ketika indikator muncul. Pengaturan respons ini meliputi penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat mungkin memperoleh akses lingkungan pengujian. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar pengguna tidak terlalu banyak menerima peringatan palsu.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out dievaluasi pada model AI terbuka Kimi K3. Pengujian tersebut dilakukan terhadap sekitar 1.500 sesi untuk memeriksa kinerja detektor. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, kurang lebih 8,7 persen sesi yang sebenarnya aman memerlukan pemeriksaan lanjutan. Hasil ini menggambarkan kemungkinan kesalahan penandaan terhadap aktivitas aman. Karena kondisi tersebut, administrator perlu mengevaluasi tingkat kesalahan peringatan.

Dari sisi biaya, Goodfire mengumumkan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan model pemeriksa kelas atas dapat mencapai US$10.000. Sebagai aspek performa tambahan, pemantauan menggunakan empat klasifikasi sekaligus dalam pengujian memberikan tambahan penundaan sebelum model mulai merespons kurang dari dua persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Dengan mempertimbangkan keterbatasan ini, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi pengguna platform penyedia model AI Baseten. Layanan Baseten menyediakan sistem untuk menjalankan model kecerdasan buatan. Melalui kerja sama tersebut, organisasi berpotensi menerapkan detektor risiko berbasis model ketika menerapkan layanan kecerdasan buatan. Teknologi Goodfire memiliki manfaat potensial terutama pada model terbuka karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, penyedia layanan AI dapat mengembangkan mekanisme keamanan saat inferensi.

Selain pemantauan keamanan siber, teknologi Goodfire juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Bidang pengawasan yang dapat dipilih mencakup aktivitas berbahaya berkaitan dengan CBRN, reward hacking, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Untuk menggambarkan masalah, agen mungkin mencoba memanipulasi hasil evaluasi. Melalui deteksi risiko secara dini, tim keamanan memiliki kesempatan melakukan evaluasi sebelum aktivitas berkembang menjadi insiden.

Kesimpulan tentang Teknologi Pemantauan Internal Goodfire

Peluncuran sistem inside-out monitoring menjadi perkembangan penting dalam teknologi keamanan agen AI. Melalui pemeriksaan sinyal komputasi model, sistem berupaya mendeteksi pola penyimpangan model tanpa membutuhkan analisis ulang setiap respons secara mendalam. Evaluasi menggunakan Kimi K3 melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, potensi peringatan palsu tetap menjadi faktor evaluasi. Dengan mempertimbangkan kondisi tersebut, pemantauan internal sebaiknya dilengkapi pengawasan manusia pada aktivitas penting. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Silakan bagikan pendapat Anda mengenai perkembangan teknologi keamanan AI.