7月26日、Together AIが「Kimi K3 vs GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routing」と題した記事を公開した。この記事では、ソフトウェアエンジニアリングベンチマーク「DeepSWE」上でのKimi K3とGPT-5.6 Solの性能・コスト・ルーティング戦略の比較について詳しく紹介されている。単発の精度ではGPT-5.6 Solが勝り、コストではKimi K3が2.8倍の費用対効果を持つ。しかし最も注目すべき発見は、両モデルを組み合わせてルーティングすることで、単独モデルの限界を超えられるという点だ。
評価の舞台：DeepSWEとは何か
本記事の比較対象となるDeepSWEは、実世界のソフトウェアエンジニアリングタスクを多言語・多タスク種別で評価するベンチマークである。広く知られるSWE-benchがPythonリポジトリのGitHub Issueへのパッチ適用を中心に評価するのに対し、DeepSWEはGo・Rust・TypeScript・JavaScriptなど複数言語を含み、タスク種別もシリアライゼーションから並行処理、Opsツーリングまで幅広い。つまりより実務に近い多様性を持ったベンチマークと位置づけられる。
Together AIは、DeepSWEの公開データを使い、113タスク×4試行×2モデル＝904件のロールアウトを分析した。
pass@1 vs pass@k：指標で逆転する
DeepSWEで使われるpass@kとは、k回の試行のうち1回でもテストをパスすれば正解とみなす指標だ。k=1は一発勝負、k=4は4回チャンスがあると考えると分かりやすい。実運用でのユースケース（CI/CDへの組み込みか、コスト重視の単発実行か）によって、どちらの指標を重視すべきかは変わってくる。
| 指標 | Kimi K3 | GPT-5.6 Sol |
|---|---|---|
| pass@1 | 68.5% | 72.7% |
| pass@2 | 82.0% | 81.0% |
| pass@4 | 89.4% | 85.8% |
| カバレッジ（1回以上正解） | 89.4% | 85.8% |
| 信頼性（4/4正解） | 76.6% | 84.5% |
| 4/4達成タスク数 | 45 | 61 |
一発勝負ではSolが4.2ポイントリードするが、試行回数が増えるとKimi K3が逆転する。pass@4ではKimi K3が**89.4%**と、あらゆるフラッグシップモデルの中で最高値を記録している。
一方、Solは「安定性」で勝る。4回すべて正解したタスクはSolが61件に対しKimi K3は45件。Solはより決定論的で揺れが少ないモデルだ。
コスト比較：1タスクあたりの費用対効果
| 指標 | Kimi K3 | GPT-5.6 Sol |
|---|---|---|
| 1ロールアウトあたりコスト | $4.65 | $8.37 |
| $100あたり解決タスク数 | 14.7件 | 5.3件 |
| ロールアウト中央値時間 | 66分 | 17分 |
Kimi K3の1ロールアウトはSolの約半額、タスク解決効率は2.8倍だ。ただし処理時間はKimi K3が66分とSolの17分に対して大幅に長く、ステップ数もSolより約40%多い。この速度差はモデルの挙動に起因するもので、推論プロバイダーの最適化で改善余地はあるが、ステップ数の多さはモデル固有の特性だとTogether AIは述べている。
また、Kimi K3はオープンウェイトモデルである点も見逃せない。Together AIのインフラ上でホストして利用できるため、フロンティアモデルのAPIコストを回避できる。
ルーティングで「1+1＞2」を実現する
両モデルの相関係数は0.46と低く（Kimi K3とFableの比較時は0.72だった）、解けるタスクと解けないタスクが真に異なる。この「失敗の違い」がルーティングの価値を生む。
| 戦略 | 精度 | コスト/タスク |
|---|---|---|
| 最良単独モデル（Sol） | 72.7% | $8.37 |
| 現実的な学習ルーター（1shot） | 72〜83% | 約$6 |
| 完全予知ルーター（理論最大） | 83.4% | 約$6.07 |
| カスケード：Kimi→Sol（失敗時） | 85.6% | $7.30 |
| 両モデル1回ずつ実行 | 85.6% | $13.02 |
実用的な最強戦略は「Kimi K3を先に走らせ、テストスイートが失敗した場合にのみSolへエスカレートする」カスケードだ。これにより精度**85.6%**を達成でき、どちらの単独モデルよりも高く、理論上の完全予知ルーター（83.4%）さえも上回る。
表中の「両モデル1回ずつ実行」も同じ85.6%だが、コストは$13.02とカスケードの約1.8倍かかる。カスケードが優れているのは、Kimi K3が約70%のタスクをそのまま処理し、失敗したタスクにのみSolを呼び出すためだ。精度を落とさずにSolの呼び出し回数を大幅に削減できる点が、単純な並列実行との決定的な違いである。
なお、2モデル合計での**上限は95.6%**（113タスク中108タスクをいずれかで解決）。残り5タスクは8回試行しても両モデルとも解けない。95.6%を超えるには第3のモデルが必要だ。
失敗パターンの違い
失敗の仕方も対照的だ。
- Kimi K3：正解に近いが一部テストを落とす「惜しい失敗」が多い。失敗の**65%**が「新規テストの80%以上はパスしているが一部落とす」ケース
- GPT-5.6 Sol：失敗の**20%**でリポジトリの既存テスト（ベースラインテスト）を壊す。これはGPTシリーズに一貫した傾向だとTogether AIは指摘している
プログラミング言語別・タスク種別の傾向と実践的示唆
GoはKimi K3・Sol共に79%で同点。Solが優位なのはPython（74 vs 68）、TypeScript（66 vs 60）、JavaScript（75 vs 65）。Kimi K3が優位なのはRust（65 vs 60）。
タスク種別で見ると、シリアライゼーション・並行処理・プログラム解析はSol向き、Opsツーリング・ランタイム内部はKimi K3向きだ。
これらの傾向は、ルーティング戦略をさらに精緻化するヒントになる。たとえばPythonやTypeScriptのタスクが多い環境ではSolを優先し、RustやOpsツーリングが中心のワークフローではKimi K3を先発に据えるといった言語・タスク種別ベースのルーティングも、カスケード戦略と組み合わせることで精度とコストをさらに最適化できる余地がある。どのモデルを「選ぶ」かではなく、どのタスクに何を「割り当てるか」という設計の視点が、コーディングAI活用の次のステージといえるだろう。
詳細はKimi K3 vs GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routingを参照していただきたい。
