11月2日、9to5Googleが「Gemini 4 Carbon lags just behind Claude in benchmark, but wins in value」と題した記事を公開した。この記事では、GoogleのGemini 4 CarbonがAnthropicのClaude Opus 5.5にベンチマークでわずかに及ばないものの、タスクあたりのコストで大きく優位に立つという第三者評価の結果について詳しく紹介されている。

1タスクあたりの価格差が3倍以上——コスパで見れば勝者はGemini

AI研究・分析会社のSemiAnalysisが新たなフロンティアモデル向けベンチマーク「GDPx」を公開した。GDPxは、金融・材料科学・サイバーセキュリティ・ソフトウェアエンジニアリング・法律・生物学など複数の専門ドメインにわたる206件のタスクを用いて各モデルを評価する手法で、タスクへの回答精度を人間の専門家レビューおよび自動採点の組み合わせで点数化している。スコアだけでなくタスクあたりの推論コストも同時に示している点が特徴で、実運用コストを含めた総合的なモデル評価を目的としている。OpenAI、Anthropic、Meta、Googleなど主要ベンダーのフロンティアモデルを網羅しており、第三者による横断比較として注目度が高い。

スコアの1位はAnthropicのClaude Opus 5.5、2位にGoogleのGemini 4 Carbonが続く。両者のスコア差は僅差だが、コストの差は大きい。

Gemini 4 Carbonはスコアでわずかに劣るものの、コストはClaudeの約3分の1（$16/$51≒31%）。さらに3位のGPT-6 Astraはスコアでも下回りながらコストは最も高く、$54と最も割高な結果となっている。

コスト効率を重視するCTOや開発チームにとって、この数字は無視できない。

「安全ガードレール」を除外すると順位が変わる

SemiAnalysisは、サイバーセキュリティ・生物学・アライメント（安全性評価）の3ドメインを除外した別集計も示している。この場合、Claude・GPTモデルに組み込まれた安全ガードレールの影響が排除され、順位が入れ替わる。

除外後の上位はGPT-6 Astra → GPT 6.1 Sol → Claude Sonnet 5.5の順となり、Gemini 4 Carbonはこれらの下に位置する。なお、GPT-6 AstraはOpenAIのマルチモーダル対応フロンティアモデル、GPT 6.1 SolはGPT-6系列の中間グレードに位置するモデルとして位置づけられている。SemiAnalysisは「この結果の方が各モデルに対する主観的な印象と合致する」と述べている。

つまり、全ドメイン込みの総合スコアでGeminiが高く出るのは、サイバーセキュリティや生物学で他モデルが安全制限により回答を制限されるケースが影響している可能性がある。

既存モデルのArgonと、サイバーセキュリティでの強み

Googleの既存フロンティアモデルGemini 4 Argonは、全ドメイン・除外後のいずれのランキングでも8位。MetaのMuse Wonderを上回るが、Wonder Fullには及ばない。コストはCarbonと大差なく、Carbon移行の動機は明確だ。

サイバーセキュリティドメインに絞ると、GoogleのCarbonとArgonはともにOpenAIおよびAnthropicのモデルを上回る。ただしMetaのMuseシリーズには「明確な差をつけられて負けている」とSemiAnalysisは評価している。

Googleの自社ベンチマークとの乖離

Googleは10月28日にGemini 4 Carbonを発表し、「大幅な性能向上」を訴えている。Googleの自社ベンチマークではGPT-6 AstraやClaude Opus 5.5を多くの項目で上回る結果を示しているが、第三者であるSemiAnalysisの評価では順位が異なっている。

自社発表と第三者評価の乖離はフロンティアモデル全般に共通する課題であり、GDPxのような独立評価の存在意義はここにある。Gemini 4 Carbonの一般公開時期はまだ確定しておらず、「近日公開予定」とされている。

詳細はGemini 4 Carbon lags just behind Claude in benchmark, but wins in valueを参照していただきたい。