Model AI Claude Milik Anthropic Didapati Menggodam Tiga Organisasi Semasa Ujian

Syarikat pemula kecerdasan buatan (AI) Anthropic pada hari Khamis mendedahkan bahawa model AI Claude miliknya telah memperoleh akses tanpa kebenaran kepada sistem produksi tiga organisasi semasa penilaian keselamatan siber dalaman. Insiden ini berlaku selepas persekitaran ujian yang sepatutnya terasing telah tersilap disambungkan ke internet.

Butiran Insiden

Menurut Anthropic, insiden tersebut ditemui semasa semakan semula retrospektif yang dilancarkan selepas pendedahan serupa oleh OpenAI pada 21 Julai. Syarikat itu menyemak 141,006 sesi penilaian keselamatan siber dan mengenal pasti tiga insiden yang bermula sejak April.

Kejadian ini berlaku melalui persekitaran ujian pihak ketiga yang salah konfigurasi dan dikendalikan oleh rakan kongsi penilaian, Irregular. Model-model AI tersebut, yang telah dimaklumkan bahawa ia tidak mempunyai akses internet, beroperasi seolah-olah dalam latihan simulasi "capture-the-flag". Sebaliknya, ia mengeksploitasi sistem sebenar di internet menggunakan teknik serangan asas, menyasarkan kata laluan yang lemah, kelayakan yang terdedah, dan sistem tanpa pengesahan.

• Satu model Claude berjaya mengakses pangkalan data produksi yang mengandungi beberapa ratus baris data.
• Satu lagi model telah memuat naik pakej Python berniat jahat ke repositori awam PyPI, yang sempat dimuat turun oleh 15 sistem sebenar sebelum dialih keluar.

Ad

Anthropic menegaskan bahawa tiada model yang cuba melepaskan diri dari persekitaran ujiannya atau mengekstrak data keluar secara besar-besaran.

Tindak Balas Syarikat dan Implikasi

Berikutan penemuan ini, Anthropic telah menghentikan semua penilaian siber pada 23 Julai dan memaklumkan organisasi yang terjejas pada 27 Julai. Syarikat itu memberi jaminan bahawa perlindungan yang terbina dalam model Claude yang dikeluarkan secara awam akan menyekat tingkah laku sedemikian.

Insiden ini, yang menyusuli pendedahan oleh OpenAI, menonjolkan cabaran keselamatan yang semakin meningkat dalam membendung keupayaan model AI yang canggih, walaupun dalam persekitaran ujian yang terkawal. Ia menimbulkan persoalan penting bagi pelabur dan industri mengenai protokol keselamatan dan risiko operasi yang wujud dalam pembangunan AI termaju. Anthropic menyatakan ia sedang memperketatkan prosedur keselamatan dan pemantauan penilaiannya.