9月12日、PCMagが「Why AI Benchmarks Are Total BS (And How OpenAI and Anthropic Use Them to Trick You)」と題した記事を公開した。この記事では、AIベンチマークが実態とかけ離れており、OpenAIやAnthropicがそれをマーケティングに活用している実態について詳しく論じられている。
AIベンチマークに「公正な審判」がいない理由
ソフトウェア・ハードウェアの世界では、独立した第三者機関による評価が当たり前だ。グラフィックスカードならUL Benchmarks（3DMark）、CPUならSPECといった非営利・中立機関がスコアを管理する。AIモデルの分野でもMLCommonsやLMSYS Chatbot Arenaのような独立評価の取り組みは存在するが、最前線のモデルリリースに合わせた速度感での第三者評価は追いついていないのが現状だ。
そのため、各社は自社で設計したベンチマークを発表資料に添えて「性能の証明」として提示できてしまう。学術論文であれば査読（ピアレビュー）によって方法論の妥当性が担保されるが、企業のプレスリリースにその仕組みはない。これがベンチマーク不信の構造的な根っこにある。
自社で作ったテストで自社モデルを採点する
記事の核心は「利益相反」だ。
OpenAIがGPT-5.6（2026年6月発表）の優位性を示す根拠として引用したGeneBenchは、生物学ワークフローの評価を目的としたベンチマークだが、OpenAI自身が設計したものであり、査読も通っていない。第三者が公開しているスコア表を見ると、GeneBenchでトップを走るのはOpenAIのモデルばかりで、競合モデルはいずれも大幅に低いスコアになっている。
同様にAnthropicがOpus 5（Claude系列の最上位モデル）発表時に使ったBioMysteryBenchもAnthropicが設計したものだ。Opus 4.8が42.4%、Opus 5が49.4%という改善を示す表の中で、Anthropicはなぜか競合のFable 5のスコア欄を空白にしている。一方OpenAIはGeneBenchでGPT-5.6とGPT-5.5の比較しか示さず、他社モデルのスコアには触れない。
自社製品を自社製テストで評価し、競合のデータは出さない。これをどう受け取るかは読者に委ねるが、少なくとも「中立な評価」とは言いがたい。
スコアが示す「圧勝」が数ヶ月で覆る
自社ベンチマーク問題と同じくらい深刻なのが、バージョン更新によるスコアの激変だ。
OpenAIはGPT-5.6発表時に、Terminal-Bench 2.1（ターミナル操作・コマンドライン能力を測るベンチマーク）でのスコアが91.9%対84.3%とFable 5を圧倒していると示した。ところがTerminal-Benchはその後3.0・4.0へとアップデートされ、結果は大きく変化する。
| バージョン | GPT-5.6 Sol | Fable 5 |
|---|---|---|
| 2.1（6月時点） | 91.9% | 84.3% |
| 3.0（9月1日時点） | 34.6% | 34.0% |
| 4.0（9月1日時点） | 37.3% | 44.5% |
「圧勝」→「ほぼ同点」→「逆転」という推移が5月〜8月の間に起きている。さらに注目すべきは、OpenAIがTerminal-Bench 2.1での91.9%という数字を発表資料で使用したにもかかわらず、公式リーダーボードにGPT-5.6 Solのエントリーが確認できない点だ。元記事はこの点を問題視しており、第三者による独立した検証が困難な状況であることを指摘している。
数字の「欠損」と文脈の切り取り
ベンチマークの見せ方にも問題がある。
Anthropicのスコア表ではFable 5の値が空白になっている項目が複数ある。OpenAIはExploitBench（セキュリティ・脆弱性発見能力を測るベンチマーク）で「Mythos Previewと比較してトークン数が約1/3」と主張しているが、記事執筆時点でGPT-5.6のスコアは公開リーダーボードに掲載されていない。ExploitBenchのリーダーボード自体も「制御比較」と「全実行結果」の切り替えで数値が大きく変わり、たとえばGPT-5.5のスコアは47%から72%へと跳ね上がる。どの切り口を選ぶかで「勝者」が変わる構造だ。
また、Anthropicが「最もコスト効率の高いモデル」としてOpus 5を売り込む一方、Claude Codeで50%の使用量ブーストを提供するプロモーションを数ヶ月間実施している。実際のコスト効率を利用者が体感しにくい状況で「効率的」と主張しても、比較の基準自体が歪む。
ハードウェアベンチマークとの本質的な違い
3DMarkのスコアでRTX 5090が首位なら、それは異論の余地なく最強のGPUだ。しかしFrontier-Bench（汎用能力を横断的に測る総合ベンチマーク）の特定テストでOpus 5がGPT-5.6より高いスコアを出していても、実際のコーディング作業ではGPT-5.6を好むユーザーが多い、という逆転現象が起きる。ハードウェアでは考えにくい事態だ。
CPUなら「動画エンコード速度」のように明確なタスクで計測できる。しかしLLMが対象とするのは「知性に近いもの」であり、単一の指標では測れない。かつてChatGPTがポエムを書けるだけで驚かれた時代は、モデルの改善が体感できるほど大きかった。今は画像生成モデルも動画生成モデルも、バージョン間の差は縮まりつつある。改善幅が小さくなるほど、各社はベンチマークへの依存を強めていく。これは個別企業の問題というよりも、評価の仕組みが業界の発展速度に追いついていない構造問題として捉えるべきだろう。
※編集部の考察：MLCommonsやLMSYS Chatbot Arenaのような独立評価の取り組みが最前線モデルの評価に追いつくためには、評価インフラへの業界全体の投資が必要になる。現状では企業発表時のベンチマークを批判的に読む"リテラシー"が利用者側に求められる状況が続く。
結局どう使えばいいか
記事は実用的な対処法も示している。自分のユースケースに近いタスクを各モデルに実際に試してみることが最も信頼できる評価方法だ。ベンチマークスコアは、モデル間の大まかな傾向を把握する程度にとどめ、価格差を正当化する根拠にはならないと見るべきだ。また古いモデルが強制的に廃止されるケースもあり、乗り換え先をベンチマークだけで判断するのはリスクがある。
詳細はWhy AI Benchmarks Are Total BS (And How OpenAI and Anthropic Use Them to Trick You)を参照していただきたい。
