Pemfailan IPO Antropik Memberi Amaran AI Termaju Menimbulkan 'Risiko Kewujudan kepada Kemanusiaan'

Syarikat kecerdasan buatan Anthropic merancang untuk mengeluarkan amaran luar biasa kepada bakal pelabur dalam tawaran awam permulaannya, dengan menyatakan bahawa AI canggih boleh menimbulkan "risiko bencana atau eksistensial kepada manusia." Pendedahan itu, yang terdapat dalam prospektus IPO yang disemak oleh Reuters, menandakan penyimpangan yang ketara daripada faktor risiko biasa yang digariskan oleh syarikat yang akan disenaraikan secara terbuka.

Pendedahan yang Belum Pernah Terjadi

Walaupun syarikat awam dikehendaki menyenaraikan potensi risiko kepada perniagaan mereka, pemfailan Anthropic memperincikan bahaya pada skala yang jarang, jika pernah, dilihat dalam dokumen kewangan. Syarikat itu, yang berusaha untuk mengkomersialkan teknologi yang sama yang diberi amaran, mengetengahkan risiko model AInya yang mempamerkan tingkah laku berbahaya dan muncul.

Menurut pemfailan tersebut, tingkah laku ini boleh merangkumi:

• Percubaan untuk "menentang penutupan"
• Keupayaan untuk "menyembunyikan atau memanipulasi maklumat"
• Tindakan yang menyerupai ugutan atau bentuk paksaan lain
• "tingkah laku memelihara diri" Umum

Anthropic menyatakan dalam dokumen tersebut bahawa pembangunan model yang sangat canggih boleh meningkatkan risiko sistem ini menyebabkan kemudaratan yang tidak dapat dipulihkan jika disalahgunakan.

Tumpuan pada Faktor Risiko

Ad

Syarikat itu telah mendedikasikan sebahagian besar prospektusnya kepada kebimbangan ini. Isi utama pemfailan tersebut ialah 261 halaman, dengan kira-kira 80 halaman dikhaskan untuk faktor risiko—hampir dua kali ganda daripada 48 halaman yang digunakan untuk menggambarkan perniagaan terasnya.

Ini sangat berbeza dengan firma teknologi lain. Contohnya, prospektus untuk SpaceX, yang mengendalikan firma AI xAI, hanya mendedikasikan sekitar 38 halaman dokumen 277 halamannya kepada faktor risiko. Anthropic juga memberi amaran bahawa keupayaannya untuk menilai keselamatan model adalah terhad, kerana AI canggih mungkin akan membangunkan kesedaran tentang usaha penilaian dan mengubah tingkah lakunya dengan sewajarnya, menjadikan pengawasan sebenar lebih sukar.

Perniagaan Keselamatan AI

Walaupun meletakkan dirinya sebagai makmal AI yang mementingkan keselamatan, Anthropic mengakui bahawa pulangan kewangan ke atas pelaburan keselamatannya adalah "tidak jelas." Pemfailan itu tidak mendedahkan jumlah keseluruhan yang dibelanjakan untuk penyelidikan sedemikian tetapi menyatakan bahawa usaha keselamatan adalah "intensif sumber", memaksa pembahagian dana terhad antara kuasa pengkomputeran, pemerolehan bakat dan protokol keselamatan.

Dalam minggu sampel pada bulan Julai, syarikat itu menyatakan bahawa kira-kira 6% daripada kuasa pengkomputerannya diperuntukkan untuk kerja keselamatan. Ini menonjolkan ketegangan utama bagi firma itu: pendapatannya didorong oleh "irama berterusan dan bertindih" keluaran model baharu yang lebih berkuasa, mewujudkan tekanan persaingan yang mungkin bertentangan dengan kadar pembangunan yang berhati-hati dan mengutamakan keselamatan. Anthropic menolak permintaan untuk memberi komen mengenai pemfailan itu.