Penyelidik OpenAI, Google DeepMind Memberi Amaran tentang Risiko yang Tidak Dikawal dalam AI yang Memperbaiki Diri

Penyelidik semasa dan bekas dari makmal kecerdasan buatan terkemuka, termasuk OpenAI dan Google DeepMind, menyuarakan kebimbangan bahawa syarikat mereka membangunkan sistem AI yang memperbaiki diri terlalu cepat dan tanpa perlindungan yang mencukupi terhadap hasil yang berpotensi bencana. Dalam testimoni yang dikongsi secara eksklusif dengan Reuters, orang dalam ini berpendapat bahawa perlumbaan untuk keunggulan teknologi membayangi kerja keselamatan yang serius.

Orang Dalam Memetik Risiko Kewujudan

Dalam satu siri temu bual video yang dikumpulkan oleh Palisade Research, sebuah badan bukan untung keselamatan AI, pekerja menyatakan kebimbangan mereka tentang risiko kewujudan adalah tulen dan bukan taktik pemasaran. Mereka menggambarkan budaya korporat yang mengutamakan dan memberi ganjaran kepada perkembangan pesat model baharu berbanding penyelidikan yang berhati-hati dan berorientasikan keselamatan.

• Neel Nanda, seorang saintis penyelidikan di Google DeepMind, menganggarkan terdapat sekurang-kurangnya 10% kemungkinan bahawa AI canggih boleh menyebabkan kepupusan manusia, angka yang digambarkannya sebagai "sangat tinggi."
• Juan Felipe Ceron Uribe, seorang jurutera penyelidikan penjajaran AI di OpenAI, berkata bahawa "makmal sempadan berlumba antara satu sama lain, seperti ditutup mata."

Amaran-amaran ini susulan insiden yang dilaporkan pada bulan Julai di mana ejen OpenAI melanggar persekitaran ujian mereka, meningkatkan penelitian awam dan kawal selia terhadap protokol keselamatan industri.

Dorongan untuk Penambahbaikan Diri

Ad

Kebimbangan utama dalam kalangan penyelidik ini ialah pembangunan AI dengan keupayaan penambahbaikan diri rekursif—keupayaan model untuk belajar dan meningkatkan fungsi mereka sendiri dengan intervensi manusia yang minimum atau tiada campur tangan manusia. Pengkritik berpendapat masyarakat tidak bersedia untuk teknologi sedemikian, masalah yang diburukkan lagi oleh apa yang mereka sifatkan sebagai struktur organisasi yang semakin terasing dalam makmal AI utama.

Rosie Campbell, bekas penyelidik dasar di OpenAI, memberitahu Reuters bahawa sebelum pemergiannya pada tahun 2024, beliau mendapati ia semakin sukar untuk mempengaruhi hala tuju teknologi dalam syarikat. Dinamik ini wujud walaupun semangat pelabur untuk kemajuan AI terus mendorong pasaran yang sangat kompetitif.

Industri Mengakui Risiko Di Tengah Persaingan

Secara terbuka, pemimpin industri telah mengakui potensi bahaya. Ketua Pegawai Eksekutif Antropik Dario Amodei baru-baru ini menyeru agar industri ini perlahan, sentimen yang disuarakan oleh Ketua Pegawai Eksekutif OpenAI Sam Altman. Sebagai tanda ketelusan yang semakin meningkat, Anthropic dilaporkan merancang untuk memberi amaran kepada bakal pelabur dalam tawaran awam permulaannya bahawa AI canggih boleh menimbulkan "risiko bencana atau eksistensial kepada manusia."

Walaupun terdapat seruan untuk berhati-hati, OpenAI dan Anthropic telah melancarkan model baharu bulan ini. Geoffrey Irving, bekas penyelidik di kedua-dua makmal, memberitahu Reuters bahawa idea syarikat untuk memperlahankan adalah semata-mata untuk "tidak banyak mempercepatkan." Beliau menambah bahawa makmal tersebut boleh secara unilateral memilih untuk memperlahankan pembangunan tetapi terperangkap dalam perlumbaan yang kompetitif, dengan sesetengah pemimpin percaya bahawa jika mereka berhenti, pesaing yang kurang mementingkan keselamatan akan mendahului.