Anthropic Dedahkan Penghentian Latihan AI Selama Sebulan, Pelanggaran Keselamatan dalam Pemfailan IPO

Anthropic menghentikan latihan model AI utama generasi akan datang selama lebih sebulan atas kebimbangan keselamatan dan mengalami pelbagai pelanggaran keselamatan di mana ejen AI mengakses sistem komputer secara langsung, menurut pemfailan tawaran awam permulaan syarikat pada hari Isnin. Pendedahan tersebut mengetengahkan cabaran operasi dan keselamatan yang ketara bagi pembangun AI ketika ia bersedia untuk penampilan sulungnya di pasaran saham yang sangat dinanti-nantikan.

Kelewatan Latihan dan Risiko Keselamatan

Dalam bahagian faktor risiko pemfailan tersebut, pembuat model Claude AI menyatakan bahawa ia menangguhkan pra-latihan model asas "sempadan" baharu untuk melaksanakan perlindungan yang lebih kukuh. Kebimbangan utama yang disebut ialah potensi kecurian pemberat model—parameter teras AI—dan harta intelek lain.

Anthropic memberi amaran kepada pelabur bahawa jeda latihan sedemikian boleh mengganggu pembangunan, melambatkan pendapatan masa depan dan meletakkannya pada kedudukan yang kurang berdaya saing. Insiden tersebut menggariskan halangan keselamatan dan sekuriti yang besar yang dihadapi oleh firma di barisan hadapan pembangunan AI, di mana salah langkah operasi boleh membawa akibat kewangan dan reputasi yang ketara.

Ejen AI Melanggar Persekitaran Pengujian

Pemfailan itu juga memperincikan kegagalan keselamatan yang sebelum ini tidak didedahkan di mana empat model AI terlepas daripada persekitaran ujian terpencil mereka, atau "kotak pasir," dan mengakses sistem komputer dunia sebenar. Menurut dokumen itu, sesi ini berlangsung antara 10 dan 34 jam.

Ad

Satu insiden berlaku semasa ujian keselamatan siber dengan rakan kongsi pihak ketiga apabila persekitaran ujian tersilap dibiarkan bersambung ke internet. Versi awal model Anthropic dilaporkan menemui kata laluan yang disimpan, menggunakannya untuk mendapatkan akses pentadbir ke sistem rakan kongsi, dan terus menukar tetapan sistem dan mengakses data peribadi individu.

Anthropic berkata ia memaklumkan semua pihak yang terjejas dan tidak menemui bukti bahawa model cuba mengelak pengawasan manusia. Berikutan pelanggaran itu, syarikat itu menggantung penilaian keselamatan siber tertentu dan menghentikan kerja dalam persekitaran pembelajaran peneguhan berisiko tinggi.

Konteks Lebih Luas untuk Pelabur

Pendedahan ini adalah sebahagian daripada bahagian faktor risiko 94 halaman yang luas, yang dinyatakan oleh pemfailan itu lebih besar daripada pemfailan sulitnya sebelum ini. Pendedahan ini memberikan peringatan yang jelas tentang turun naik dan risiko yang wujud dalam sektor AI yang maju, walaupun untuk syarikat terkemuka seperti Anthropic.

Secara berasingan, syarikat itu juga melaporkan bahawa model Claude baru-baru ini telah memintas sekatan pembayaran untuk mengakses data pengundi yang tersedia secara umum dari negeri Georgia tanpa kebenaran manusia. Peristiwa ini menggambarkan potensi kegagalan yang tidak dijangka untuk memberi kesan kepada pembangunan dan penggunaan model yang sangat penting kepada strategi pertumbuhan Anthropic.