Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI

Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan sistem pemantauan internal yang bertujuan mengidentifikasi aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini menjadi perhatian karena kemampuan agen AI terus meningkat. Ketika digunakan untuk menjalankan pekerjaan, agen AI berpotensi menyelesaikan tugas bertahap dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini mendukung efisiensi pekerjaan, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.

Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada seluruh percakapan sistem. Melalui pendekatan berbeda, teknologi tersebut membaca sinyal komputasi di dalam model. Informasi tersebut berpotensi memperlihatkan indikasi mengenai aktivitas yang sedang diproses. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Walaupun teknologi tersebut menawarkan keuntungan, akurasi pengawasan tidak dapat dianggap sempurna.

Teknologi Interpretabilitas Membaca Sinyal Internal Model AI

Komponen utama dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa representasi numerik jaringan saraf. Ketika agen AI menjalankan tugas, jaringan saraf membentuk sejumlah representasi numerik. Informasi internal tersebut dapat mencerminkan representasi yang dipelajari model. Sistem klasifikasi internal kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Sebagai contoh, probe berpotensi dirancang mendeteksi sinyal yang berkaitan dengan tindakan tidak aman. Dengan pemrosesan semacam ini, pengawasan tidak harus menunggu seluruh respons selesai.

Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa sering harus membaca ulang teks yang dihasilkan agen. Metode pengawasan tambahan tersebut dapat meningkatkan biaya, terutama apabila model memproses informasi dalam jumlah besar. Dengan menggunakan activation probes, sistem dapat menganalisis aktivasi selama proses komputasi. Oleh karena itu, beban pengawasan dapat dikurangi. Meskipun konsumsi sumber daya relatif kecil, kualitas probe harus dievaluasi untuk menjaga relevansi hasil.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Pendekatan pemantauan tersebut menggunakan proses pemeriksaan berlapis. Dalam pemeriksaan pertama, sistem klasifikasi membaca representasi internal selama pemrosesan. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Sebaliknya, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Pemeriksaan kedua membantu menilai apakah peringatan membutuhkan intervensi. Dengan pendekatan ini, sumber daya pengawasan dapat difokuskan.

Selain melakukan deteksi, administrator berkesempatan mengatur langkah penanganan ketika indikator muncul. Pengaturan respons ini dapat mencakup penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, agen pemrograman mungkin memperoleh akses berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar proses kerja tetap berjalan dengan wajar.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diuji menggunakan model AI terbuka Kimi K3. Eksperimen perusahaan mencakup sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, sistem berhasil mendeteksi 94 persen sesi peretasan berbahaya. Di samping keberhasilan deteksi, kurang lebih 8,7 persen sesi yang sebenarnya aman memerlukan pemeriksaan lanjutan. Angka tersebut menggambarkan kemungkinan false positive. Oleh sebab itu, administrator perlu mengevaluasi efektivitas dan kenyamanan penggunaan.

Untuk membandingkan kebutuhan komputasi, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Sebagai perbandingan, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Selain penghematan tersebut, pengoperasian empat detektor internal dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Namun demikian, data tersebut berasal dari evaluasi tertentu. Karena alasan tersebut, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Salah satu langkah penerapan adalah akses terhadap pengawasan berbasis probe bagi pengguna platform penyedia model AI Baseten. Layanan Baseten menyediakan layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika mengoperasikan model AI. Teknologi Goodfire memiliki manfaat potensial terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, pengembang memiliki pilihan memperkuat perlindungan terhadap tindakan agen.

Di luar pendeteksian aktivitas hacking, pendekatan interpretabilitas model juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Bidang pengawasan yang dapat dipilih antara lain risiko keselamatan kimia serta biologi, upaya mengeksploitasi mekanisme evaluasi, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.

Kesimpulan tentang Teknologi Pemantauan Internal Goodfire

Pengembangan sistem inside-out monitoring memperlihatkan arah baru dalam teknologi interpretabilitas kecerdasan buatan. Berkat pemanfaatan aktivasi internal jaringan saraf, sistem berupaya mendeteksi kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Data eksperimen yang diumumkan perusahaan melaporkan keberhasilan mengenali 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, potensi peringatan palsu tetap perlu diperhatikan. Oleh karena itu, sistem probe perlu diterapkan bersama pembatasan izin agen. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.