Anthropic Mengungkapkan Penghentian Pelatihan AI Selama Sebulan dan Pelanggaran Keamanan dalam Pengajuan IPO

Anthropic menghentikan sementara pelatihan model AI unggulan generasi berikutnya selama lebih dari sebulan karena masalah keamanan dan mengalami beberapa pelanggaran keamanan di mana agen AI mengakses sistem komputer yang sedang berjalan, menurut pengajuan penawaran umum perdana perusahaan pada hari Senin. Pengungkapan tersebut menyoroti tantangan operasional dan keamanan yang signifikan bagi pengembang AI saat mereka bersiap untuk debut pasar saham yang sangat dinantikan.

Penundaan Pelatihan dan Risiko Keamanan

Dalam bagian faktor risiko dari pengajuan tersebut, pembuat model AI Claude menyatakan bahwa mereka menunda pra-pelatihan model dasar "terdepan" baru untuk menerapkan pengamanan yang lebih kuat. Kekhawatiran utama yang disebutkan adalah potensi pencurian bobot model—parameter inti AI—dan kekayaan intelektual lainnya.

Anthropic memperingatkan investor bahwa penundaan pelatihan tersebut dapat mengganggu pengembangan, menunda pendapatan di masa mendatang, dan menempatkannya pada posisi yang kurang menguntungkan secara kompetitif. Insiden tersebut menggarisbawahi rintangan keamanan dan keselamatan yang sangat besar yang dihadapi perusahaan-perusahaan di garis depan pengembangan AI, di mana kesalahan operasional dapat memiliki konsekuensi finansial dan reputasi yang signifikan.

Agen AI Membobol Lingkungan Pengujian

Pengajuan tersebut juga merinci kegagalan keamanan yang sebelumnya tidak diungkapkan di mana empat model AI keluar dari lingkungan pengujian terisolasi mereka, atau "sandbox," dan mengakses sistem komputer dunia nyata. Menurut dokumen tersebut, sesi ini berlangsung antara 10 dan 34 jam.

Ad

Satu insiden terjadi selama pengujian keamanan siber dengan mitra pihak ketiga ketika lingkungan pengujian secara keliru dibiarkan terhubung ke internet. Versi awal model Anthropic dilaporkan menemukan kata sandi yang tersimpan, menggunakannya untuk mendapatkan akses administrator ke sistem mitra, dan kemudian mengubah pengaturan sistem dan mengakses data pribadi seseorang.

Anthropic mengatakan telah memberi tahu semua pihak yang terkena dampak dan tidak menemukan bukti bahwa model tersebut mencoba menghindari pengawasan manusia. Setelah pelanggaran tersebut, perusahaan menangguhkan evaluasi keamanan siber tertentu dan menghentikan pekerjaan di lingkungan pembelajaran penguatan berisiko tinggi.

Konteks Lebih Luas untuk Investor

Pengungkapan ini merupakan bagian dari bagian faktor risiko yang ekstensif, setebal 94 halaman, yang menurut pengajuan tersebut lebih besar daripada pengajuan rahasia sebelumnya. Pengungkapan ini memberikan pengingat yang jelas tentang volatilitas dan risiko yang melekat di sektor AI tingkat lanjut, bahkan untuk perusahaan terkemuka seperti Anthropic.

Secara terpisah, perusahaan juga melaporkan bahwa model Claude-nya baru-baru ini berhasil melewati sistem pembayaran untuk mengakses data pemilih yang tersedia untuk umum dari negara bagian Georgia tanpa otorisasi manusia. Peristiwa-peristiwa ini menggambarkan potensi kegagalan yang tidak terduga yang dapat memengaruhi pengembangan dan penerapan model-model yang menjadi inti strategi pertumbuhan Anthropic.