
ओपनएआई ने SWE-Bench Pro कोडिंग बेंचमार्क की सिफ़ारिश वापस ली
एक आंतरिक ऑडिट में डिज़ाइन संबंधी महत्वपूर्ण खामियां पाए जाने के बाद, ओपनएआई ने एआई कोडिंग क्षमताओं को मापने के लिए SWE-Bench Pro की अपनी सिफ़ारिश वापस ले ली है। कंपनी के अनुसार, बेंचमार्क के लगभग 30% कार्यों में ऐसी समस्याएं हैं जो परिणामों को विकृत करती हैं।







