8月18日、Together AIが「DeepSeek V4 Pro 0813 vs GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routing」と題した記事を公開した。コーディングベンチマーク「DeepSWE」を用いてDeepSeek V4 Pro 0813とGPT-5.6 Solをコスト・精度・ルーティング戦略の観点から比較した定量分析で、最も重要な結論は「どちらか一方を選ぶな」——Proを先に走らせ失敗時のみSolにエスカレートするカスケード構成が、Sol単体より10ポイント高い精度を60%安いコストで実現する。
結論から先に言う：どちらか一方を選ぶな
この比較の最も実務的な結論は「2つを組み合わせて使え」である。
DeepSeek V4 Pro 0813を先に走らせ、テストが通らなかった場合のみGPT-5.6 Solにエスカレートする「カスケード構成」を取ると、83.0%のタスク解決率をタスクあたり$3.35で達成できる。Sol単体では72.7%を$8.37でしか達成できない。10ポイント高く、コストは60%安い。
さらに言えば、このカスケード（83.0%）は「どちらを先に使うか」という最適ルーティングを1ショットで判断する理想的なオラクルルーター（pass@1で80.8%）さえも上回る。オラクルルーターとは、タスクごとに事後的に「最適なモデル」を選択できる仮想的な上限値を指す。2回の独立した試行は、1回の完璧な選択より強いというわけだ。
35倍のコスト差が何を意味するか
Together AIは全113タスク・各4試行、計904ロールアウトをDeepSWEで実施した。DeepSWEはGitHubの実際のIssue修正を題材にしたコーディング評価ベンチマークで、SWE-benchの系譜を受け継ぎつつTogether AIが独自に整備したものだ。エージェントが実際にコードを書き・テストを走らせ・パッチを提出するという実務に近い形式で能力を測る。主要な数値は以下の通りだ。
| 指標 | DeepSeek V4 Pro 0813 | GPT-5.6 Sol |
|---|---|---|
| Pass@1 | 62.8% ± 3.1% | 72.7% ± 2.2% |
| Pass@4 | 88.5% | 85.8% |
| ロールアウトあたりコスト | $0.24 | $8.37 |
| $100あたり解決タスク数 | 260 | 9 |
| 中央値ステップ数/時間 | 146ステップ / 35分 | 53ステップ / 17分 |
| 出力トークン数（中央値） | 101k | 59k |
1ショット（pass@1）ではSolが72.7%対62.8%で明確にリードする。しかし試行回数を増やすと逆転が起きる。pass@4ではProが88.5%でSolの85.8%を上回る。
この逆転には明確な理由がある。pass@4は同一タスクに対して独立した4回の試行を行い、いずれか1回でも成功すれば「解決」と見なす指標だ。Proは1回あたりのコストが$0.24と極めて安いため、4回リトライしても合計$0.96に過ぎない。一方Solは4回試行すれば$33.48にのぼる。コストが低いほどリトライを大量に投入できるため、試行ごとの多様な解法探索がPassレートに直結しやすい。加えてProは1ショット精度こそSolに劣るが解法の多様性が高く、複数回試行することでその多様性が得点に転換される。結果として$100あたりの解決タスク数は260対9と約30倍の開きになる。
速度面ではSolが圧倒的に有利だ。1ロールアウトあたりの中央値がSolは17分・53ステップであるのに対し、Proは35分・146ステップかかる。人間が待つインタラクティブな用途ではSolの優位性は明確だが、バッチ処理や夜間実行であればProで十分という判断も成立する。
失敗の質が違う：リグレッションに注意
見落としやすいが重要な指標が「失敗時のリグレッション率」だ。
- GPT-5.6 Sol：失敗の20%でそれまで通っていたテストを壊す
- DeepSeek V4 Pro 0813：同じく11%
GPTファミリーに見られるリグレッション傾向がSolにも現れている。Solのdiffをそのまま取り込む場合は、必ず全リグレッションテストをゲートとして設けるべきだ。Proは失敗してもベースラインを壊しにくく、「惜しいが無害な失敗」が多い。
タスクタイプ・言語別の得意不得意
ドメイン別では、Solが8ドメイン中6ドメインで勝利する。特にデータモデリング・シリアライゼーション（92%対Proの64%、28ポイント差）やクエリ/設定（80%）での差が大きい。Proが勝つのはステートフルリアクティビティ（66%対64%）の1ドメインのみ。
プログラミング言語別では、SolがPython（74%）、Go（79%）、TypeScript（66%）、JavaScript（75%）を制覇する。唯一の例外がRustで、ProがSolを65%対60%で上回る。Rustかつコスト重視という条件が揃えば、Proを選ぶ合理的な根拠になる。
カスケード戦略の具体的な仕組み
2モデルの相関係数は0.54で、両者が解く113タスクの内訳は次の通りだ。
- 両方が解く：90タスク
- Proだけが解く：10タスク
- Solだけが解く：7タスク
- 両方が解けない：6タスク
- いずれかが解く（ユニオン）：107タスク（94.7%）
ProはSolが全く解けないタスクを追加で拾うことはほとんどできないが、共通タスクをごく低コストで処理できる。だからこそ「Proで先に捌いて、弾かれたものだけSolに回す」という構成が最大効率を生む。カスケードのコスト$3.35は、Sol単体$8.37の約40%に過ぎない。そしてこの83.0%という到達精度は、前述のオラクルルーター（80.8%）——事後的に最良のモデルを選べる理論上の上限——を超える点も見逃せない。
どちらを選ぶべきか
- 1ショットの精度と低レイテンシが最優先：GPT-5.6 Sol。ただしリグレッションゲートは必須。
- 大量処理・リトライ許容・コスト重視：DeepSeek V4 Pro 0813。pass@4での天井はむしろSolより高い。
- テスト検証の仕組みが整っている：Pro→Solのカスケード。精度・コストともに最も有利。
詳細はDeepSeek V4 Pro 0813 vs GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routingを参照していただきたい。
