Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire menghadirkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali perilaku agen AI berisiko. Teknologi pemantauan tersebut memperoleh sorotan karena penggunaan agen digital semakin berkembang. Ketika digunakan untuk menjalankan pekerjaan, agen AI dapat mengoperasikan perangkat lunak dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Dengan pendekatan pemantauan internal, Goodfire mengembangkan kemampuan mendeteksi aktivitas mencurigakan sebelum tindakan terjadi.

Tidak seperti pendekatan pemeriksaan keluaran, sistem pemantauan internal ini tidak hanya membaca seluruh percakapan sistem. Sebaliknya, teknologi tersebut membaca sinyal komputasi di dalam model. Data aktivasi tersebut memungkinkan pengenalan pola mengenai aktivitas yang sedang diproses. Manfaat utama metode tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, akurasi pengawasan tidak dapat dianggap sempurna.

Teknologi Interpretabilitas Membaca Sinyal Internal Model AI

Komponen utama dalam sistem pemantauan Goodfire adalah activation probes, yaitu detektor berukuran kecil yang memeriksa representasi numerik jaringan saraf. Selama sistem menghasilkan respons, proses komputasi menciptakan berbagai aktivasi internal. Aktivasi yang terbentuk berkaitan dengan proses pengolahan informasi. Activation probes kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Keunggulan teknis pendekatan tersebut adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa sering harus membaca ulang teks yang dihasilkan agen. Proses tersebut dapat meningkatkan biaya, terutama apabila agen bekerja selama berjam-jam. Sebaliknya, sistem dapat menganalisis aktivasi selama proses komputasi. Dengan demikian, kebutuhan komputasi tambahan berpotensi lebih rendah. Meskipun konsumsi sumber daya relatif kecil, pemilihan sinyal internal perlu diperhatikan untuk menjaga relevansi hasil.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Sistem keamanan ini memanfaatkan mekanisme pengawasan bertahap. Dalam pemeriksaan pertama, detektor internal memeriksa representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Sebaliknya, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Pemeriksaan kedua membantu menilai apakah peringatan membutuhkan intervensi. Dengan pendekatan ini, sumber daya pengawasan dapat difokuskan.

Tidak hanya menemukan aktivitas mencurigakan, penyedia layanan memiliki pilihan menetapkan langkah penanganan ketika indikator muncul. Pengaturan respons ini antara lain penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau penolakan permintaan berisiko. Sebagai contoh, sistem otomatis yang dapat menggunakan alat mungkin memperoleh akses berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, akses tertentu bisa ditinjau sebelum dilanjutkan. Walaupun respons otomatis membantu, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini dilakukan terhadap sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, probe mampu menandai 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal memerlukan pemeriksaan lanjutan. Angka tersebut menggambarkan kemungkinan peringatan yang tidak tepat. Dengan demikian, sistem perlu menyeimbangkan tingkat kesalahan peringatan.

Dari sisi biaya, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model tambahan kelas ringan membutuhkan sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi dapat mencapai US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan latensi waktu menuju respons pertama kurang dari 2 persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.

Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka

Perkembangan komersial sistem tersebut adalah ketersediaan teknologi Goodfire bagi pengguna platform penyedia model AI Baseten. Platform Baseten berperan sebagai sistem untuk menjalankan model kecerdasan buatan. Berkat integrasi layanan, organisasi berpotensi menerapkan detektor risiko berbasis model ketika mengoperasikan model AI. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan mekanisme keamanan saat inferensi.

Di luar pendeteksian aktivitas hacking, teknologi Goodfire dikembangkan agar dapat memantau aktivitas berbahaya dalam konteks berbeda. Bidang pengawasan yang dapat dipilih meliputi aktivitas berbahaya berkaitan dengan CBRN, upaya mengeksploitasi mekanisme evaluasi, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Sebagai contoh, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Berkat pemantauan perilaku internal, tim keamanan memiliki kesempatan melakukan evaluasi sebelum tindakan berisiko berlanjut tanpa pengawasan.

Kesimpulan tentang Teknologi Pemantauan Internal Goodfire

Pengenalan sistem inside-out monitoring menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Berkat pemanfaatan sinyal komputasi model, sistem berupaya mendeteksi pola penyimpangan model tanpa harus memeriksa seluruh keluaran menggunakan model besar. Data eksperimen yang diumumkan perusahaan menunjukkan kemampuan mendeteksi 94 persen aktivitas hacking berisiko, dengan kebutuhan biaya yang lebih rendah. Walaupun perkembangan ini menarik, perbedaan karakteristik antar-model tetap menjadi faktor evaluasi. Oleh karena itu, sistem probe perlu diterapkan bersama pengawasan manusia pada aktivitas penting. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.