9月12日、MarkTechPostが「Cognition Releases SWE-2: A Kimi K3 Post-Trained Coding Model That Matches Fable 5.1 on FrontierCode at 64% Lower Cost」と題した記事を公開した。CognitionがKimi K3をベースに強化学習でポストトレーニングしたコーディングモデル「SWE-2」を発表し、Fable 5.1と同等のベンチマーク性能を64%低コストで達成したという内容だ。
コストと性能のトレードオフを正面から攻めたSWE-2
AIコーディングエージェント「Devin」を開発するCognitionが、最新のコーディングモデルSWE-2をリリースした。
最大の特徴は、コストと性能のトレードオフへの正面突破だ。SWE-2は自社ベンチマークFrontierCode 1.1 Mainで50.0%を記録し、Fable 5.1(50.9%)に約1ポイント差まで迫る。しかもそのコストはFable 5.1比で64%低い。さらにCognitionは「GPT-6 Astraには数ポイント及ばないが、コストは4分の1程度」とも述べている。
ベースモデルはMoonshot AIのKimi K3(パラメータ数2.8兆)で、その上に強化学習(RL)によるポストトレーニングを実施している。このポストトレーニングだけで多くのベンチマークに5〜6ポイント上乗せしたとCognitionは報告している。なおKimi K3のモデル詳細については、Cognition公式ブログおよびMoonshot AI公式リソースを参照されたい(本記事執筆時点でarXiv番号「2607.24653」として参照されているが、番号の確定的な正確性については元記事のリンクを直接確認することを推奨する)。
※編集部の考察:強化学習によるポストトレーニングでベースモデルから5〜6ポイントを引き出すという手法は、2025年以降の業界トレンドとも合致する。OpenAIやDeepSeekが示したRLベースのファインチューニングの有効性を、Cognitionがコーディング特化ドメインで再現した格好だ。コスト効率と性能の両立という課題に対し、「高性能モデルをスクラッチで開発する」ではなく「既存の優れたベースモデルにRLで専門性を注入する」というアプローチは、今後の産業応用モデル開発の一つの定石になりつつある。
ベンチマーク比較
Cognitionが公表した比較表を以下に示す。なお、ライバルモデルの数値はCognitionが独自評価した値を含む点は留意が必要だ。
| ベンチマーク | SWE-2 | Kimi K3 | Grok 4.6 | Fable 5.1 | GPT-5.6 Sol | GPT-6 Astra | SWE-1.7 |
|---|---|---|---|---|---|---|---|
| FrontierCode 1.1 Main | 50.0% | 44.2% | 48.0% | 50.9% | 47.5% | 53.3% | 42.0% |
| DeepSWE 1.1 | 73.0% | 68.5% | 67.5% | 67.4% | 72.7% | 74.1% | 37.7% |
| Terminal-Bench 2.1 | 92.8% | 88.3% | 88.4% | 91.4% | 88.8% | 89.9% | 81.5% |
| Terminal-Bench 4 | 27.3% | 21.5% | 20.3% | 55.8% | 37.3% | 57.9% | 7.6% |
比較表に登場するモデルについて補足する。Grok 4.6はxAIが開発するLLMシリーズの一バージョン、Fable 5.1およびGPT-5.6 Sol / GPT-6 AstraはそれぞれOpenAIおよび関連エコシステムにおける上位コーディング向けモデルを指すとされているが、いずれもCognitionの独自評価フレームワーク上での呼称であり、一般公開された名称と必ずしも一致しない点に注意が必要だ。
Terminal-Bench 2.1ではトップ、DeepSWE 1.1でもGrok 4.6やFable 5.1を上回る。一方でTerminal-Bench 4は27.3%と、Fable 5.1(55.8%)やGPT-6 Astra(57.9%)に約30ポイントの差をつけられており、明確な弱点となっている。
Terminal-Bench 4でこれだけ大きなスコア差が生じる背景としては、同ベンチマークが長期・多段階のターミナル操作や複雑なシェル環境での自律的な問題解決能力を重点的に評価するタスク設計になっているためと考えられる。SWE-2がターン数削減・効率重視の方向でチューニングされている一方、長大なセッションを要求するシナリオではその設計方針が裏目に出る可能性を示唆しており、Cognition自身もこの点を課題として認識していると元記事は伝えている。
「無駄な探索」を削ったことで効率が大幅改善
前モデルのSWE-1.7は単純なタスクでも過剰に手順を踏む傾向があった。SWE-2ではこれを「focused exploration(焦点を絞った探索)」と呼ぶ手法で改善している。
FrontierCode 1.1 Mainにおける前モデルとの比較では:
- ターン数:58%削減(SWE-1.7比)
- コスト:81%削減(SWE-1.7比)
- 1タスクあたりの平均ステップ数:SWE-1.7の127から、mediumで53、highで80、maxで98に減少
- 最初の実質的な編集操作までのステップ数:中央値48(SWE-1.7)→18(SWE-2 medium)
SWE-2はモデルの「努力レベル」をmedium/high/maxの3段階で選択できる。これが今回の技術的な目玉であり、1回のRLトレーニングで3段階すべてを同時に学習する仕組みを実現している。
学習の仕組み:コストペナルティの設計が核心
技術的に面白いのが報酬関数の設計だ。報酬は R = S - λ × C という形をとる。Sは成功の0/1、Cは推論コスト(USD)とロールアウト時間の混合指標だ。
ここでλ(ラムダ)を各努力レベルごとに「ベースモデルのパレート曲線の局所的な傾き」に設定することで、等報酬ラインがフロンティアに接線として引かれ、報酬を上げるにはフロンティアそのものを押し上げるしかない構造になる。これにより3段階の努力レベルを単一のRL実行で同時最適化している。
その他の実装上の工夫として、長さ加重報酬ベースライン(SWE-1.6以来使用)、DSpark投機的デコーディングによる推論高速化(TPM・TPSを10〜20%改善)、NVFP4/FP8カーネルによる量子化で学習時のメモリ使用量削減なども公開されている。
注意点:Devin専用、独立APIなし
SWE-2はオープンウェイトではなく、単体APIも提供されない。現時点ではDevin Desktopおよび**Devin CLIからのみ利用可能で、Devin WebとFusionへの展開も順次進む予定だ。有料プランユーザーは2026年10月10日まで無料**で利用できる。
自社インフラへのデプロイや独立したAPI経由での利用を想定している場合、現状では選択肢に入らない点は明確にしておく必要がある。
詳細はCognition Releases SWE-2: A Kimi K3 Post-Trained Coding Model That Matches Fable 5.1 on FrontierCode at 64% Lower Costを参照していただきたい。