AIコーディングベンチマークの3割が「欠陥あり」— OpenAIが外部評価指標への支持を撤回し、業界に新基準を求める

7月9日、The Decoderが「OpenAI finds roughly 30 percent of popular AI coding test is broken」と題した記事を公開した。この記事では、OpenAIがAIコーディング評価に広く使われてきた外部ベンチマーク「SWE-Bench Pro」の約30%にタスクの欠陥があると指摘し、同ベンチマークへの支持を撤回したことが詳しく紹介されている。

ベンチマークの3割が「壊れている」

AIモデルのコーディング能力を測る指標として広く参照されてきたSWE-Bench Proについて、OpenAIは約30%のタスクに問題があるとする調査結果を発表した。同社は以前に示していた同ベンチマークへの支持を正式に撤回している。

SWE-Bench Proは、OpenAIや業界各社がモデルのコーディング能力を比較する際に参照してきた外部ベンチマークだ。タスクは実際のソフトウェアプロジェクトのコミット履歴から抽出されたものであり、元々は人間の開発者間のコラボレーションを前提に書かれている。AIモデルの評価専用に設計されたものではなく、OpenAIによれば「特定の変更を検証するために作られたもの」であり、汎用的な要件として機能するよう設計されていないため、採点基準が過度に厳しくなりがちだという。

SWE-bench Verifiedからの経緯

SWE-Bench Proを理解するには、その前身との関係を押さえておく必要がある。もともとAIコーディング評価の主要指標として使われていたのは「SWE-bench Verified」だったが、OpenAIはすでにこの旧版においても同様の品質問題を理由に支持を撤回していた。SWE-Bench Proはその後継として位置づけられ、より厳密な評価を目指して設計されたベンチマークだ。しかし今回の調査で、後継版も同様の構造的な欠陥を抱えていたことが明らかになった。前版の問題を踏まえて登場したにもかかわらず、同じ轍を踏んだかたちだ。

どのように欠陥を検出したか

OpenAIはまず自動スクリーニングツールを使って286件の疑わしいタスクにフラグを立て、続いてCodexベースのAIエージェントが各ケースを詳細に審査し、最終判断は人間の研究者が下した。この手順により、200タスク（27.4%）が欠陥ありと判定された。

並行して実施した5名の熟練ソフトウェア開発者によるレビューでは、さらに多い249タスク（34.1%）に問題ありとの判定が出た。人間の審査員はAIエージェントよりも厳しい基準を適用したが、両者の判定は74%のケースで一致している。

欠陥の4類型

OpenAIは問題のあるタスクを次の4種類に分類している。

過剰に厳しい：正しく動作する解答を不合格にする
過剰に曖昧：隠れたテストケースに埋め込まれた要件をAIが満たすことを前提とする
過剰に緩い：不完全な解答を通過させてしまう
誤誘導：タスクの説明が間違った方向を指している

具体例として、OpenLibraryプロジェクトのタスクが挙げられている。タスクの説明では「スペース1つ」と指定していたにもかかわらず、隠れたテストでは「スペース2つ」を期待していた。指示通りに実装したAIが不合格になるという構造だ。

スコアの急騰がすでに「異常」だった

公開版SWE-Bench Pro（731タスク）では、トップモデルのスコアがわずか8か月で23.3%から80.3%へと急上昇していた。この急騰自体、ベンチマークの信頼性に疑問符をつける動きを加速させていた。

さらに、分析会社Artificial Analysisは6月中旬の段階でSWE-Bench ProをCoding Agent Indexから削除し、DatacurveのDeepSWEに切り替えていた。理由は明快で、一部のモデルがプロジェクトのコミット履歴から正解をそのままコピーしていたためだ。

この切り替えにより、リーダーボードの順位が大きく入れ替わった。以下のスコアはいずれもDeepSWEベンチマーク上の数値である。Codex with GPT-5.5（xhigh）は65点から76点に上昇しClaude Code with Opus 4.8（max）の73点を上回り、首位はClaude Code with Fable 5（max）の77点となった。なお括弧内の「xhigh」「max」は各モデルの推論・計算リソースの使用レベルを示す設定値だ。一方、SWE-Bench Pro上ではCodex with GPT-5.5が31点しか出ていなかったが、他のテストでは64〜84点を記録しており、ベンチマーク間のスコアの乖離が際立っている。

「次はこれを使え」とは言わない

今回OpenAIは、具体的な代替ベンチマークを示していない。業界全体に対して、熟練した開発者が設計し、ゲーム（不正解答による攻略）が困難で、実際の能力を反映した新しいベンチマークを構築することを求めるにとどまっている。

ベンチマークの信頼性は、単なる学術的な問題ではない。OpenAIが公表している「Preparedness Framework」は、AIモデルのリスクを定量的に評価し、リリース可否の判断基準を定めた安全性評価の枠組みだ。この枠組みでは外部ベンチマークのスコアが判断材料の一つとして機能するため、評価ツール自体が壊れていれば、AIが実際に何をできるのかという判断も歪む。コーディングベンチマークの信頼性問題は、モデルの公開判断にまで波及しうる問題として捉える必要がある。

詳細はOpenAI finds roughly 30 percent of popular AI coding test is brokenを参照していただきたい。