Para peneliti dari OpenAI dan Google DeepMind memperingatkan tentang risiko yang tidak terkendali dalam kecerdasan buatan yang mampu meningkatkan diri sendiri.

Para peneliti saat ini dan mantan peneliti dari laboratorium kecerdasan buatan terkemuka, termasuk OpenAI dan Google DeepMind, menyuarakan kekhawatiran bahwa perusahaan mereka mengembangkan sistem AI yang dapat meningkatkan diri sendiri terlalu cepat dan tanpa pengamanan yang memadai terhadap potensi dampak buruk. Dalam kesaksian yang dibagikan secara eksklusif kepada Reuters, para orang dalam ini berpendapat bahwa perlombaan untuk supremasi teknologi menutupi pekerjaan keselamatan yang serius.

Orang Dalam Menyebutkan Risiko Eksistensial

Dalam serangkaian wawancara video yang dikumpulkan oleh organisasi nirlaba keselamatan AI, Palisade Research, para karyawan menyatakan kekhawatiran mereka tentang risiko eksistensial adalah nyata dan bukan taktik pemasaran. Mereka menggambarkan budaya perusahaan yang memprioritaskan dan menghargai pengembangan model baru yang cepat daripada penelitian yang hati-hati dan berorientasi pada keselamatan.

• Neel Nanda, seorang ilmuwan peneliti di Google DeepMind, memperkirakan setidaknya ada 10% kemungkinan bahwa AI canggih dapat menyebabkan kepunahan manusia, angka yang ia gambarkan sebagai "sangat tinggi."
• Juan Felipe Ceron Uribe, seorang insinyur riset penyelarasan AI di OpenAI, mengatakan bahwa "laboratorium-laboratorium terdepan saling berlomba, seperti sedang menutup mata."

Peringatan ini menyusul insiden yang dilaporkan pada bulan Juli di mana agen OpenAI membobol lingkungan pengujian mereka, meningkatkan pengawasan publik dan regulasi terhadap protokol keselamatan industri.

Dorongan untuk Peningkatan Diri

Ad

Kekhawatiran utama di antara para peneliti ini adalah pengembangan AI dengan kemampuan peningkatan diri rekursif—kemampuan model untuk belajar dan meningkatkan fungsi mereka sendiri dengan intervensi manusia minimal atau tanpa intervensi sama sekali. Para kritikus berpendapat bahwa masyarakat belum siap untuk teknologi semacam itu, sebuah masalah yang diperparah oleh apa yang mereka gambarkan sebagai struktur organisasi yang semakin terkotak-kotak di dalam laboratorium AI utama.

Rosie Campbell, mantan peneliti kebijakan di OpenAI, mengatakan kepada Reuters bahwa sebelum kepergiannya pada tahun 2024, ia merasa semakin sulit untuk memengaruhi arah teknologi di dalam perusahaan. Dinamika ini ada bahkan ketika antusiasme investor terhadap kemajuan AI terus memicu pasar yang sangat kompetitif.

Industri Mengakui Risiko di Tengah Persaingan

Secara publik, para pemimpin industri telah mengakui potensi bahaya tersebut. CEO Anthropic, Dario Amodei, baru-baru ini menyerukan agar industri memperlambat laju pengembangan, sebuah sentimen yang juga diutarakan oleh CEO OpenAI, Sam Altman. Sebagai tanda meningkatnya transparansi, Anthropic dilaporkan berencana untuk memperingatkan calon investor dalam penawaran umum perdananya bahwa AI tingkat lanjut dapat menimbulkan "risiko bencana atau eksistensial bagi umat manusia."

Terlepas dari seruan untuk berhati-hati ini, baik OpenAI maupun Anthropic telah meluncurkan model baru bulan ini. Geoffrey Irving, mantan peneliti di kedua laboratorium tersebut, mengatakan kepada Reuters bahwa gagasan perusahaan untuk memperlambat laju pengembangan hanyalah "jangan terlalu mempercepat." Ia menambahkan bahwa laboratorium tersebut dapat secara sepihak memilih untuk memperlambat pengembangan, tetapi terjebak dalam persaingan yang ketat, dengan beberapa pemimpin percaya bahwa jika mereka berhenti, pesaing yang kurang memperhatikan keselamatan akan mengambil alih kepemimpinan.