8月6日、The Decoderが「Qwen3.8 Max catches Claude Opus 4.8 but Kimi K3 still scores higher for 25 percent less」と題した記事を公開した。AlibabaのQwen3.8 MaxがArtificial Analysis Intelligence Index（AAII）上でClaude Opus 4.8と同等のスコアに達した一方、ハルシネーション率の大幅な悪化とコスト増加が確認されており、実用面での評価は単純ではない。
見逃せない退行：ハルシネーション率が23%→40%に急増
スコア上の進歩の陰で、信頼性に関わる深刻な退行が確認されている。
- AA-LCR（長文テキストからの情報統合テスト）：2ポイント低下
- AA-Omniscience（知識の正確性と「知らない」と正直に答えられるかを測定するテスト）：10ポイント低下
特に問題なのはAA-Omniscienceの内訳だ。正答率は約31%でほぼ変わらないにもかかわらず、ハルシネーション率が23%から40%へ急増した。「知らない」と回答する代わりに、誤った情報を自信を持って出力するケースが大幅に増えているということになる。
この傾向は、後述するステップ数増加に伴うコスト構造の変化と合わせて考えると、単純なスコア改善とは異なる側面を持つ。
Qwen3.8 Max、AAIIでClaude Opus 4.8と同等スコアに — ただしKimi K3には届かず
AAII（Artificial Analysis Intelligence Index）は、Artificial Analysis社が複数の能力領域を統合して算出する総合評価指標だ。Qwen3.8 MaxのAAIIスコアは56で、前バージョンのQwen3.7 Max（46）から10ポイント上昇し、Claude Opus 4.8と同等の水準に達した。ただし、Kimi K3（57）には1ポイント届かず、しかもKimi K3は25%安価という状況だ。
Image: AA
業務タスク向けベンチマーク「GDPval-AA」では異なる結果が出た。GDPval-AAはArtificial Analysis社が実際の業務タスクを模したシナリオで各モデルを評価するEloレーティング形式のベンチマークだ。Qwen3.8 MaxはここでEloレーティング1,739を記録し、Kimi K3（1,685）を上回った。この指標でQwen3.8 Maxを超えるのはClaude Opus 5（1,852）のみだ。
ステップ数15倍、コスト2倍超 — スコア向上の背景
GDPval-AAでの好スコアには構造的な背景がある。Qwen3.8 Maxは1タスクあたり64ステップを要するのに対し、前バージョンは14ステップ。さらにテストでは毎ステップごとに会話履歴の全文をモデルへ再送するため、入力トークン数が15倍に膨らんでいる。
コストへの影響は顕著だ。トークン単価はむしろ下がっている（入力: $2.50→$2.00/百万トークン、出力: $7.50→$6.00、キャッシュヒット: $0.50→$0.25）にもかかわらず、Intelligence Indexにおける1タスクあたりのコストは**$1.14**となり、Qwen3.7 Max（$0.53）の2倍超に跳ね上がった。
比較すると：
- Kimi K3：1点上のスコアで**$0.86**/タスク
- GLM-5.2：スコア51で**$0.57**/タスク
純粋なコストパフォーマンスで見れば、Qwen3.8 Maxの優位性は薄い。
まとめ
Qwen3.8 Maxは特定ベンチマーク上でClaude Opus 4.8と肩を並べる水準に達した。一方で、コスト面ではKimi K3やGLM-5.2に劣り、信頼性の指標であるハルシネーション率は大幅に悪化している。より多くのステップを踏んで正解に近づく設計は精度向上の手段として機能しているが、その分コストと応答品質のトレードオフが生じている。
モデル選定の際には、ベンチマークの総合スコアだけでなく、タスクあたりコストや知識の正確性といった実用面での数字を確認することが重要だ。
詳細はQwen3.8 Max catches Claude Opus 4.8 but Kimi K3 still scores higher for 25 percent lessを参照していただきたい。
