9月6日、The Decoderが「Artificial Analysis overhauls its Intelligence Index after GPT-6 Astra scoring drew skepticism」と題した記事を公開した。Epoch AIが267モデル中1位（169点）と評価したGPT-6 Astraを、別の評価機関Artificial Analysisが「前世代モデルと同等」と判定していた——この食い違いが、LLMベンチマーク評価の信頼性問題を改めて可視化した。批判を受けたArtificial Analysisは、Intelligence IndexをバージョンをIntelligence Index v4.2へと刷新し、AstraのスコアやベンチマークセットそのものをAstraの評価を見直した。
GPT-6 Astraの「過小評価」が刷新のきっかけ
今回の更新の背景には、明確な批判があった。
Artificial AnalysisはOpenAIの最新モデルGPT-6 Astraを、旧バージョンのインデックスで前世代モデルであるSol（GPT-6 Astraのひとつ前のOpenAIフロンティアモデル）と同等と評価していた。一方、他の評価機関は大きく異なる結論を出していた。Epoch AIは267モデル中1位（169点）と評価し、ARC-AGI-3でも使用環境によって「大きな〜非常に大きな」性能向上が確認されている。OpenAI自身の評価でも、Astraは他を大きく引き離す結果だった。
なお、Epoch AIの169点というスコアは同機関独自のスケールによるものであり、他機関のスコアと直接比較できる数値ではない点に留意が必要だ。
複数の評価機関がAstraの優位を示す中、Artificial Analysisだけが「横ばい」という結論を出していたことで、そのベンチマーク設計への懐疑が広がった。
v4.2での変更点
刷新されたインデックスでは、AstraがSolに対して4ポイント上回る結果に修正された。現在のランキングは以下のとおりだ。
- Anthropic Claude Opus 5.1（首位）
- OpenAI GPT-6 Astra（2位）
- Meta Llama 4 Ultra（3位）
Artificial Analysis Intelligence Index v4.2。Claude Opus 5.1が首位、GPT-6 AstraはSolと並んでいた旧評価から一転、4ポイント差で2位に。| 画像: Artificial Analysis
コスト対性能の観点では、Anthropic・OpenAI・Meta・Zhipu AIが横並びのトップとなっている。また、タスクあたりのトークン消費量では、Astraはすべてのフロンティアモデルを下回るという。
主な変更内容は以下のとおりだ。
- 新ベンチマーク追加: 現実業務での知識作業を評価する「AA-Briefcase」と、Surge AIのPDF文書解析ベンチマーク「GDP.pdf」
- GPQA-Diamondを削除: モデルが問題を解き尽くしてしまったため廃止
- 非公開テストデータの比率を40%に引き上げ: スコアの"ゲーミング"（対策による意図的な高得点）を抑制するため
- スコアリングのバグ修正と採点ロジックの調整: 複数ベンチマークで採点誤りを修正し、安定性を向上
「安定性重視」の運用方針が裏目に
Artificial Analysisは、大型モデルのリリース時期にスコアの安定性を保つため、更新を意図的に抑制していたと説明している。しかしリーダーボード上位の変動が激しく、今回は例外的な暫定アップデートが必要になったとのことだ。
なお、バージョン5は8ヶ月前から開発中で、段階的にリリース予定だという。
ベンチマーク評価の信頼性問題
今回の経緯が浮き彫りにするのは、LLM評価の構造的な難しさだ。公開ベンチマークはモデル開発者が対策を立てやすく、スコアが実力を反映しなくなる問題（いわゆるベンチマーク汚染）は以前から指摘されている。Artificial Analysisが非公開テストデータの比率を40%まで引き上げたのも、この問題への対処だ。
一方で、評価機関ごとに結論が大きく食い違うことは、エンジニアや研究者がモデル選定の判断をする上での障壁にもなる。どの評価を信頼するかという問い自体が、LLM活用の実務的な課題になりつつある。
詳細はArtificial Analysis overhauls its Intelligence Index after GPT-6 Astra scoring drew skepticismを参照していただきたい。
