8月21日、Together AIが「GLM-5.3 vs. Claude Fable 5 on DeepSWE: Cost, Coding, and Routing」と題した記事を公開した。ソフトウェアエンジニアリングベンチマーク「DeepSWE」を用いて、GLM-5.3とClaude Fable 5（Anthropicのクローズドモデル）の精度・コスト・使い分け戦略を比較している。初回精度はほぼ同着でありながら、コストは5.4倍の開きがある——この事実が意味するところを、ベンチマーク結果と実運用上のルーティング戦略から掘り下げた内容だ。
DeepSWEベンチマークとは
DeepSWEは、実際のGitHubリポジトリから収集したソフトウェアエンジニアリングタスク（バグ修正・機能追加等）を用いてコーディングエージェントの性能を測るベンチマークだ。広く知られるSWE-benchと同系統の評価手法を採用しており、エージェントがコードを自律的に修正し、既存テストをパスできるかを検証する。単純なコード補完ではなく、複数ステップにわたる問題解決能力を問う点が特徴で、モデルの「実務的なコーディング能力」を測る指標として注目されている。
精度は同着、コストは5.4倍差
結論から言う。pass@1（1回目の試行で正解する確率）はFable 5が69.7%、GLM-5.3が69.0%と、誤差の範囲内で並んでいる。一方、コストはGLM-5.3が1ロールアウトあたり$3.99、Fable 5が$21.63と5.4倍の開きがある。
$100あたりの解決タスク数で見ると、GLM-5.3が17タスク、Fable 5がわずか3タスク。Fable 5はDeepSWEボード上で最もコストの高い構成であり、その価格差に見合う精度上の優位性が初回試行では存在しない。
オープンウェイトモデルがクローズドの最上位モデルに肉薄するケースが増えているが、今回の比較はその流れを象徴している。GLM-5.3はTHUDM（清華大学）が開発したオープンウェイトモデルで、Together AI等のインファレンスプロバイダ経由で利用できる。Claude Fable 5はAnthropicのクローズドモデルであり、本記事執筆時点ではAnthropicの公式サービス経由で提供されている。
リトライを許すとGLM-5.3が明確に上回る
pass@k（k回試行のうち少なくとも1回正解する確率）で見ると差は広がる。pass@kはコスト許容度がある場面での実質的な上限性能を示す指標だ。
| メトリクス | GLM-5.3 | Claude Fable 5 |
|---|---|---|
| pass@1 | 69.0% | 69.7% |
| pass@2 | 81.1% | 77.1% |
| pass@4 | 87.6% | 84.1% |
| カバレッジ | 87.6% | 84.1% |
| $100あたり解決数 | 17 | 3 |
| 1ロールアウトあたりコスト | $3.99 | $21.63 |
| 平均ステップ数 | 124 | 85 |
| 平均出力トークン数 | 80k | 114k |
リトライを2回、4回と増やすにつれてGLM-5.3のリードは広がる。「5.4倍払ってFableを使うpass@kが、GLM-5.3を上回るタイミング」は存在しない。
トークンプロファイルも対照的だ。GLM-5.3はFable 5より多くのステップ（124対85）を踏むが、1ステップあたりの出力は少ない（80k対114k）。Fable 5は1ステップで多く書き、GLM-5.3は小さいステップを多数踏む。実行時間はほぼ同じ（GLM: 35分、Fable: 34分）。
どちらが得意な言語・タスクは異なる
精度がほぼ同じとはいえ、得意領域は分かれている。
GLM-5.3が優位な領域：
- JavaScript（90% vs 75%）— ボード全体で最高スコア
- TypeScript（61% vs 57%）
- Go（76% vs 71%）
- 並行処理・耐久性（62% vs 45%）— 17ポイント差
- クエリ・設定、言語ランタイム内部、ステート管理
Fable 5が優位な領域：
- Rust（85% vs 70%） — 最大の差（15ポイント）
- Python（70% vs 66%）
- データモデリング・シリアライゼーション（88% vs 79%）
- プロトコル準拠（55% vs 44%）
Fable 5の優位性は実質的にRustとシリアライゼーション重視の作業に集約される。「高いモデルを使う理由」が消えたわけではなく、適用領域が明確に絞り込まれたというのが正確な解釈だ。それ以外の言語でFableに5.4倍払う根拠は薄い。
両方使う「ルーティング戦略」は有効か
「GLM-5.3で試してFableにエスカレーションする」カスケード構成は、精度と費用のバランスが良い。GLM-5.3ファーストで81.1%を達成しつつ、タスクあたりコストは$10.74。Fable単独の69.7%・$21.63より優れている。
ただし、この2モデルのペア化にはボトルネックがある。タスク単位の相関係数は0.65で、このセット中最も高い一致率だ。113タスクのうち、GLM-5.3のみが解けたのは11、Fableのみが解けたのは7で、両方が解けなかったのも7タスク。ユニオンは106/113（93.8%）だが、同じタスクで成功・失敗する傾向が強いため、両方使っても多様性は増えにくい。
GPTファミリーと組み合わせた場合の方が、カバレッジの面で多様性が増すとTogetherAIは述べている。
実践的な結論は単純だ： GLM-5.3をデフォルトにして、RustやシリアライゼーションがクリティカルなタスクのみFable 5にエスカレーションする。
障害パターンはほぼ同じ
失敗の内訳を見ると、両モデルとも**既存テストの回帰率はわずか11%**。GPTファミリーの20%と比べ大幅に低く、「回帰に厳しいモデル」という同じ設計思想を持っていることが分かる。既存テストを壊しにくいという点では、どちらも受け入れやすい。
差分は小さい。Fable 5は「大きな失敗」（near missではなくbig miss）の割合がやや高く（18% vs 16%）、GLM-5.3はnear missがやや多い（61% vs 57%）。
精度が並んでいる場合、価格差がそのまま意思決定の大きな要因になる。Fable 5はRustとシリアライゼーション専用の高コスト選択肢として位置づけ、それ以外はGLM-5.3で代替するのが合理的な判断だ。ただし、どちらが「優れている」かという問いに対する答えは領域依存であり、ユースケースの言語・タスク構成によって選択は変わる。
詳細はGLM-5.3 vs. Claude Fable 5 on DeepSWE: Cost, Coding, and Routingを参照していただきたい。
