7月26日、MarkTechPostが「KwaiKAT Team Releases KAT-Coder-V2.5: An Agentic Coding Model Trained on 100,000+ Verifiable Repository Environments」と題した記事を公開した。快手（Kuaishou）のKwaiKATチームが開発したエージェント型コーディングモデル「KAT-Coder-V2.5」について詳しく紹介している。強化学習（RL）の訓練中、報酬曲線が一向に改善しない原因を追ったところ、アルゴリズムの問題ではなくサンドボックスのインフラ障害だったという発見が、本モデル開発における最もユニークな教訓の一つだ。
ベンチマーク上の位置づけ——強みと弱みの両面
KAT-Coder-V2.5は、**PinchBench（実世界の多様なコーディングタスクを対象とした総合ベンチマーク）で94.9というスコアを記録し、Claude Opus 4.8の93.5を上回って首位**に立った。ただしこれはPinchBench単一での順位であり、他のベンチマークでは必ずしもClaude Opus 4.8を上回っていない点には注意が必要だ。
SWE-Bench Proでは65.2（Opus 4.8は69.2）で2位、内部ベンチマークKAT Code Benchでは53.1（同57.3）で2位となっている。Terminal-Bench 2.1では60.7と最下位（GLM-5.1が61.8、Opus 4.8が84.6）、SciCodeでは50.3（GLM-5.2と同スコア）と、苦手な領域も明確に存在する。
このモデルの特徴は、スケールではなくインフラの問題としてエージェント型コーディングを捉えた点にある。
10万超の「実行可能なリポジトリ環境」をどう構築したか
従来のコーディングベンチマーク（SWE-benchなど）はリポジトリ環境の構築自体が難しく、スケールが限られていた。KwaiKATはこの問題を「AutoBuilder」で解決した。
AutoBuilderは以下の流れで動作する：
- ビルドエージェントがリポジトリを解析し、依存関係のインストールからテスト実行までをクリーンな状態から行う設定スクリプトを生成する
- 検証エージェントがそのスクリプトを隔離サンドボックス内で実行する
- 合否判定は終了コードやログのgrepではなく、テストフレームワークの構造化出力をパースする。期待されるテストの90%以上が収集され、かつ実行結果が複数回再現できる場合のみ合格とする
失敗した場合はその情報を構造化してフィードバックし、反復修正を行う。事前設定済みのベース環境、ビルドシステムのテンプレート、蒸留済みビルドレシピのライブラリを組み合わせることで、環境構築の成功率を16.5%から57.2%まで引き上げ、12言語で10万件超の検証可能な環境を生成した。なお、Gitの履歴やコミットメタデータは除去されており、エージェントが参照解答をリポジトリから読み取れないようになっている。
「サンドボックスが壊れていた」——RL訓練の落とし穴
技術的に最も興味深い知見が、強化学習（RL）の訓練中に報酬曲線が改善しない原因がアルゴリズムではなくインフラにあったという発見だ。
前世代モデルの訓練時、報酬の伸び悩みは当初アルゴリズムの問題と見なされていた。しかし監査の結果、約16%のトラジェクトリがモデルの方策ではなくサンドボックスのインフラ障害で失敗していたことが判明。境界のずれにより約40ステップ分の観測が空になり、報酬が破損するケースも確認された。
修正は3点：
- イメージの早期解放ポリシーの導入でディスク使用率を95%→60%に低下させ、タイムアウト由来の無効ロールアウトを6〜7%→1%未満に削減
- リモートサンドボックス初期化時の環境変数の修正により、6〜7%のサンプルで報酬を反転させていたシステム上書きを排除
- チャットエンドプレートの再適用や再トークン化による約200ターン規模での40%トークンドリフトを解消するため、
/generateエンドポイントを直接呼び出すゲートウェイサーバーを導入
この3点により、サンドボックスのフィードバックエラー率を約16%から2%未満に削減し、訓練の崩壊を1桁以上減らした。
報酬設計とオープンウェイト版
学習アルゴリズムにはPPOとGAEを採用。非対称アクター・クリティックを使い、クリティックには訓練時のみ報酬・テスト・カバレッジ・パッチ・メタデータ・将来ターンといった特権情報を与える。推論時にはクリティックと追加コンテキストは破棄される。
報酬は3層構造で、コアタスクスコア・標準動作制約・失敗トラジェクトリへの部分点付与を組み合わせる。さらに5つの教師モデルをPrune-OPDベースの多教師オンポリシー蒸留で統合している。
オープンウェイト版の**KAT-Coder-V2.5-DevはHugging FaceでApache-2.0ライセンス**のもと公開されており、Qwen3.6-35B-A3BをベースとしたMoE（Mixture of Experts）構成（総パラメータ35B、アクティブ3B）で、12.7万件のSFT事例でポストトレーニング後にRLをかけた別モデルとなっている。ベンチマーク評価プロトコルがフラッグシップモデルと異なるため、スコアは直接比較できない点には注意が必要だ。
論文はarXivで、サービス版はStreamLakeで公開されている。
詳細はKwaiKAT Team Releases KAT-Coder-V2.5: An Agentic Coding Model Trained on 100,000+ Verifiable Repository Environmentsを参照していただきたい。
