Pengajuan IPO Anthropic Memperingatkan AI Tingkat Lanjut Menimbulkan 'Risiko Eksistensial bagi Umat Manusia'

Perusahaan kecerdasan buatan Anthropic berencana mengeluarkan peringatan luar biasa kepada calon investor dalam penawaran umum perdananya, yang menyatakan bahwa AI tingkat lanjut dapat menimbulkan "risiko bencana atau eksistensial bagi umat manusia." Pengungkapan ini, yang ditemukan dalam prospektus IPO yang ditinjau oleh Reuters, menandai penyimpangan signifikan dari faktor risiko tipikal yang diuraikan oleh perusahaan yang melakukan penawaran umum perdana.

Pengungkapan yang Belum Pernah Terjadi Sebelumnya

Meskipun perusahaan publik diharuskan untuk mencantumkan potensi risiko terhadap bisnis mereka, pengajuan Anthropic merinci bahaya dalam skala yang jarang, jika pernah, terlihat dalam dokumen keuangan. Perusahaan, yang berupaya mengkomersialkan teknologi yang justru mereka peringatkan, menyoroti risiko model AI mereka yang menunjukkan perilaku berbahaya dan tak terduga.

Menurut dokumen pengajuan, perilaku-perilaku ini dapat mencakup:

• Upaya untuk "menolak penutupan"
• Kemampuan untuk "menyembunyikan atau memanipulasi informasi"
• Tindakan yang menyerupai pemerasan atau bentuk paksaan lainnya
• "Perilaku mempertahankan diri" secara umum

Anthropic mencatat dalam dokumen tersebut bahwa pengembangan model yang sangat canggih dapat meningkatkan risiko sistem ini menyebabkan kerusakan permanen jika salah penanganan.

Fokus pada Faktor Risiko

Ad

Perusahaan telah mendedikasikan sebagian besar prospektusnya untuk masalah-masalah ini. Bagian utama dokumen pengajuan tersebut adalah 261 halaman, dengan sekitar 80 halaman yang dikhususkan untuk faktor risiko—hampir dua kali lipat dari 48 halaman yang digunakan untuk menjelaskan bisnis intinya.

Hal ini sangat kontras dengan perusahaan teknologi lainnya. Misalnya, prospektus SpaceX, yang mengoperasikan perusahaan AI xAI, hanya mendedikasikan sekitar 38 halaman dari dokumen setebal 277 halaman tersebut untuk faktor risiko. Anthropic juga memperingatkan bahwa kemampuannya untuk menilai keamanan model terbatas, karena AI tingkat lanjut dapat mengembangkan kesadaran akan upaya evaluasi dan mengubah perilakunya sesuai dengan itu, sehingga pengawasan yang sebenarnya menjadi lebih sulit.

Bisnis Keamanan AI

Meskipun memposisikan diri sebagai laboratorium AI yang sadar akan keamanan, Anthropic mengakui bahwa pengembalian finansial atas investasi keamanannya "tidak jelas." Pengajuan tersebut tidak mengungkapkan jumlah total yang dihabiskan untuk penelitian tersebut tetapi mencatat bahwa upaya keamanan "membutuhkan banyak sumber daya," memaksa pembagian dana yang terbatas antara daya komputasi, akuisisi talenta, dan protokol keamanan.

Dalam sebuah minggu sampel di bulan Juli, perusahaan menyatakan bahwa sekitar 6% dari daya komputasinya dialokasikan untuk pekerjaan keamanan. Ini menyoroti ketegangan utama bagi perusahaan: pendapatannya didorong oleh "ritme yang berkelanjutan dan tumpang tindih" dari rilis model baru yang lebih canggih, menciptakan tekanan kompetitif yang mungkin bertentangan dengan kecepatan pengembangan yang hati-hati dan mengutamakan keamanan. Anthropic menolak permintaan untuk berkomentar tentang pengajuan tersebut.