OpenAI、コーディングベンチマーク「SWE-Bench Pro」の推奨を撤回

OpenAIは、AIのコーディング能力を評価するための主要なベンチマークとして研究コミュニティに推奨していた「SWE-Bench Pro」について、その推奨を撤回すると発表しました。社内監査の結果、ベンチマークに含まれるタスクの約30%に結果を歪める設計上の欠陥が含まれていることが判明したためです。

監査は、731件のタスクを対象に、モデルベースの調査エージェントと5人の経験豊富なソフトウェアエンジニアによる独立したレビューを用いて行われました。その結果、OpenAIのデータ分析パイプラインはタスクの27.4%（200件）を、人間のレビュー担当者は34.1%（249件）を問題ありと指摘しました。同社は、このベンチマークが約70%の「ノイズの天井」に達し飽和状態にあるとも述べています。

確認された問題は主に4つのカテゴリーに分類されます。具体的には、プロンプトで指定されていない実装の詳細を強制し、機能的に正しい解決策を拒否する「厳しすぎるテスト」、隠されたテストが要求する要件を省略した「不十分なプロンプト」、要求された機能を十分にチェックせず不完全な修正を合格させてしまう「カバレッジの低いテスト」、モデルを誤った動作に誘導したりテスト要件と矛盾したりする「誤解を招くプロンプト」です。

Ad

OpenAIによると、これらの問題は、「SWE-Bench Pro」のタスクが公開および非公開のコードリポジトリからプログラム的に抽出されていることに起因します。このプロセスでは、問題の説明、マージされたコード、単体テストが、必ずしもクリーンな評価タスクとして整合性が取れているわけではないと指摘されています。同社は以前にも「SWE-bench Verified」の問題を調査し、代替として「SWE-Bench Pro」を推奨していました。

同社は、評価における欠陥はモデルの能力に対する理解に影響を与え、同社の「準備フレームワーク」における安全性評価や研究の優先順位を誤って示す可能性があると懸念を表明しています。