9月18日、Runtime Wireが「Epoch AI audits 15 benchmarks, finds nine flawed」と題した記事を公開した。この記事では、Epoch AIが15のAIベンチマークを独自に審査した結果、9つに実質的な欠陥を発見したという調査について詳しく紹介されている。
AIの性能を測る「ものさし」自体が壊れていたとしたら、何を信じればいいのか——Epoch AIはそこに正面から切り込んだ。
Benchmark Reviewsとは何か
Epoch AIは、AIの進歩を定量的に追跡する研究機関で、Jaime Sevillaが2021年にボランティアのデータ収集プロジェクトとして立ち上げ、機械学習の計算量トレンドに関する2022年の研究をきっかけに注目を集めた組織だ。
その Epoch AIが9月17日、Benchmark Reviewsを公開した。AIモデルの評価に使われるベンチマーク自体の品質を審査する、いわば「ベンチマークのベンチマーク」である。
審査結果は3種類のラベルで分類される。
- Verified：ベンチマーク作成者の説明通りに結果を解釈できる
- Flawed：スコアに影響する実質的な欠陥が存在する
- Not Enough Info：タスクや採点ロジックにアクセスできず判断できない
最初の15件の審査では、9件がFlawed、4件がVerified、2件がNot Enough Infoという結果になった。
判定の基準は公開されており、サンプルの20%以上にエラーが見つかった場合、または採点全体に影響する問題が1件でも見つかった場合にFlawedとなる。50問超のベンチマークは原則50問をサンプリング（エラー率が15〜25%の境界域では100問に拡大）し、50問以下なら全問を調べる。
何が壊れていたか
最もインパクトがある発見が3つある。
Humanity's Last Exam：サンプルの46%に問題
Humanity's Last Exam（HLE）は、著名な難問集として知られるベンチマークだ。Epoch AIは48問をサンプリングし、22問（46%）に正確性に影響するエラーを発見した。そのうち12問は「正しく答えることが不可能」と判定。具体例として、4点の離散フーリエ変換を求める問題に8個のエントリが与えられていたケースや、選択肢の正解が誤ったオプションを指していたケースが挙げられている。
SWE-bench Verified：名前に「Verified」とあっても
コーディング能力の評価で広く参照されるSWE-bench VerifiedもFlawed判定を受けた。Epoch AIはOpenAIが実施した内部監査（500問中27.6%にあたる138問を調査）の結果を参照しており、その監査対象の中で**59.4%**に欠陥が見つかっていた。Epoch AI自身はこの監査結果を根拠の一部として位置づけており、独立したサンプリング調査の詳細は現時点で開示されていない。加えて、ベンチマークが公開リポジトリを使用しているため、モデルの学習データへの混入リスクも指摘されている。
DeepSWE v1.1：採点ロジックがパッチを無効化
DeepSWE v1.1では113問中23問（**20.3%**）でfalse negative（正しい解答を不正解と判定）が確認された。エージェントがテストファイルに加えた変更を採点システムが破棄し、その変更に依存するコードが失敗するという構造的な問題だ。モデルが適切なパッチを生成しても、検証システムの側でそれが潰されるケースが多数発生していた。
Flawed判定を過大解釈するな
9件がFlawedという結果を「AIベンチマークの60%が欠陥品」と解釈してはいけない、とEpoch AI自身が釘を刺している。最初の15件は、さまざまなドメインやエラー型をカバーするために意図的に選ばれたサンプルであり、ランダムサンプリングではない。
また、判定はバージョン単位で行われる。作成者が修正版を公開すれば再審査を受けられる。元のFlawed判定はそのまま記録として残る仕組みで、ベンチマーク作成者が「こっそり修正」するインセンティブを排除している。
自社ベンチマークは審査しない
Epoch AI自身が作成したベンチマークは、利益相反を理由に自分で審査しないと明言している。この原則には背景がある。2025年1月、Epoch AIは数学ベンチマークFrontierMathの核心部分（300問）をOpenAIが資金提供していた事実を認め、当初の開示が不十分だったと謝罪している。その後のドキュメントでは、FrontierMath v1の問題の**42%**にエラーが見つかったことも記載されている。
何が問われているか
リーダーボードのスコア差が数パーセントであっても、製品マーケティングや開発ロードマップ、さらにはモデルの本番投入判断に影響する。Epoch AIの審査は、そのスコア差が「古くなった正解データ」「採点ロジックの隠れたバグ」「モデルごとに異なるスキャフォールド（エージェントの実行制御フレームワーク）」「曖昧な問題文」から来ている可能性を示している。
ベンチマークの品質を継続的な公開記録として管理できるかどうか——Benchmark Reviewsの価値は、大手ラボや商業評価機関が関わるベンチマークにFlawedラベルを貼る場面でも、このプロセスを維持できるかどうかにかかっている。
詳細はEpoch AI audits 15 benchmarks, finds nine flawedを参照していただきたい。
