Story
OpenAI Tarik Balik Syor untuk Penanda Aras Pengekodan SWE-Bench Pro
Summary
OpenAI tidak lagi mengesyorkan SWE-Bench Pro sebagai penanda aras yang boleh dipercayai untuk keupayaan pengekodan AI. Keputusan ini dibuat selepas audit dalaman mendedahkan kelemahan reka bentuk yang ketara dalam kira-kira 30% tugas penanda aras tersebut.
OpenAI mengumumkan bahawa ia menarik balik syornya kepada komuniti penyelidikan untuk menggunakan SWE-Bench Pro sebagai penanda aras pengekodan terkemuka. Langkah ini diambil berikutan audit dalaman yang mendapati bahawa hampir satu pertiga daripada tugas dalam set penilaian itu mengandungi kelemahan reka bentuk yang boleh memesongkan keputusan prestasi model AI.
Audit tersebut meneliti 731 tugasan dalam SWE-Bench Pro menggunakan agen penyiasat berasaskan model serta semakan bebas daripada lima jurutera perisian berpengalaman. Analisis syarikat itu menandakan 200 tugasan (27.4%) sebagai bermasalah, manakala penyemak manusia mengenal pasti isu dalam 249 tugasan (34.1%). Isu-isu ini menyebabkan penyelesaian yang betul secara fungsional gagal melepasi ujian.
Menurut OpenAI, masalah-masalah tersebut terbahagi kepada empat kategori utama. Ini termasuk ujian yang terlalu ketat yang menolak penyelesaian yang betul, arahan yang tidak terperinci yang mengabaikan keperluan penting, ujian dengan liputan rendah yang meluluskan pembaikan yang tidak lengkap, serta arahan yang mengelirukan yang mendorong model ke arah tingkah laku yang salah.
AdSyarikat itu menyatakan bahawa penanda aras tersebut telah mencapai tahap tepu, dengan model-model termaju menunjukkan peningkatan kadar lulus daripada 23.3% kepada 80.3% dalam tempoh lapan bulan. OpenAI menegaskan bahawa kelemahan dalam alat penilaian seperti ini boleh memberi gambaran yang salah tentang keupayaan sebenar model AI, menjejaskan penilaian keselamatan, dan memesongkan keutamaan penyelidikan di bawah Rangka Kerja Kesiapsiagaan syarikat itu.