Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire menghadirkan teknologi pengawasan aktivasi model yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut menjadi perhatian karena kemampuan agen AI terus meningkat. Dalam berbagai aplikasi, agen AI dapat mengoperasikan perangkat lunak dengan pengawasan manusia yang terbatas. Kondisi tersebut mendukung efisiensi pekerjaan, tetapi menghadirkan risiko pengendalian. Dengan pendekatan pemantauan internal, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.

Berbeda dari metode pengawasan tradisional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada teks yang dihasilkan model. Melalui pendekatan berbeda, teknologi tersebut membaca aktivasi internal jaringan saraf. Sinyal internal ini memungkinkan pengenalan pola mengenai kemungkinan tindakan berisiko. Nilai tambah teknologi tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Dengan demikian, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, kemampuan sistem perlu diuji pada berbagai kondisi.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Elemen dasar dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang memeriksa aktivasi internal model AI. Ketika agen AI menjalankan tugas, jaringan saraf membentuk sejumlah representasi numerik. Informasi internal tersebut berkaitan dengan aktivitas komputasi yang sedang berlangsung. Detektor aktivasi kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Sebagai contoh, probe berpotensi dirancang mendeteksi pola penyalahgunaan kemampuan siber. Berkat pemeriksaan aktivasi, pengawasan tidak harus menunggu seluruh respons selesai.

Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Dalam pengawasan berbasis model tambahan, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap teks yang dihasilkan agen. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, pengawasan menggunakan aktivasi selama proses komputasi. Oleh karena itu, beban pengawasan dapat dikurangi. Meskipun konsumsi sumber daya relatif kecil, penyesuaian detektor tetap diperlukan untuk memastikan pengawasan sesuai risiko.

Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan

Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Pada tahap awal, detektor internal memeriksa representasi internal selama pemrosesan. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Namun apabila terdapat peringatan, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Pemeriksaan kedua digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Berkat mekanisme eskalasi, pemeriksaan mahal hanya digunakan ketika diperlukan.

Tidak hanya menemukan aktivitas mencurigakan, pengelola sistem dapat menentukan langkah penanganan ketika indikator muncul. Pilihan tersebut meliputi penyimpanan laporan kejadian, eskalasi ke petugas keamanan, atau penghentian tindakan tertentu. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat dapat memiliki kewenangan repositori kode. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar pengguna tidak terlalu banyak menerima peringatan palsu.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out dievaluasi pada model AI terbuka Kimi K3. Eksperimen perusahaan dilakukan terhadap sekitar 1.500 sesi untuk memeriksa kinerja detektor. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Sebagai hasil evaluasi tambahan, kurang lebih 8,7 persen sesi yang sebenarnya aman memerlukan pemeriksaan lanjutan. Hasil ini memperlihatkan bahwa masih terdapat false positive. Karena kondisi tersebut, administrator perlu mengevaluasi efektivitas dan kenyamanan penggunaan.

Dari sisi biaya, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium menghabiskan biaya mendekati US$10.000. Selain penghematan tersebut, pemantauan menggunakan empat klasifikasi sekaligus dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Namun demikian, data tersebut berasal dari evaluasi tertentu. Dengan mempertimbangkan keterbatasan ini, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.

Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka

Salah satu langkah penerapan adalah ketersediaan teknologi Goodfire bagi pelanggan Baseten. Layanan Baseten menyediakan infrastruktur hosting dan inferensi AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut memiliki manfaat potensial terutama pada sistem AI yang bobotnya tersedia karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Berkat dukungan pemantauan berlapis, penyedia layanan AI dapat mengembangkan mekanisme keamanan saat inferensi.

Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model memiliki potensi digunakan pada jenis risiko lainnya. Kategori tersebut mencakup risiko keselamatan kimia serta biologi, manipulasi sistem penghargaan, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Melalui deteksi risiko secara dini, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Peluncuran teknologi pemantauan internal Goodfire menjadi perkembangan penting dalam teknologi keamanan agen AI. Melalui pemeriksaan sinyal komputasi model, detektor memungkinkan identifikasi indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Namun demikian, potensi peringatan palsu tetap perlu diperhatikan. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pembatasan izin agen. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.