6月30日、Cognitionが「Devin Fusion」と題した記事を公開した。この記事では、フロンティアモデル並みの性能を維持しながらコストを35%削減するマルチモデルハーネス「Devin Fusion」のアーキテクチャについて詳しく紹介されている。
AIコーディングエージェントのコストが組織の財務を圧迫しつつある。New York Timesが6月にフロンティアモデルのトークンコストが大企業・スタートアップを問わず限界水準に近づいている実態を報じた（※元記事内で参照されている記事のURLは記載されていないため、読者は原文で確認されたい）。Cognitionはこの問題に対し、「賢いモデルを全タスクに使うのをやめる」という方向で解決策を打ち出した。
核心は「Sidekick」アーキテクチャ
Devin Fusionの最も面白い部分はここだ。
従来のモデルルーターは、タスク開始時に「どのモデルを使うか」を1回だけ判断し、以後はそのモデルを使い続ける。Devin Fusionは違う。フロンティアモデルとコスト効率の高い「サイドキック」モデルを並列で動かし続ける。
両エージェントはそれぞれ独自のツールセットとコンテキストを持つ完全なエージェントとして動作する。メインエージェント（フロンティアモデル）は「計画立案・曖昧さの解釈・最終レビュー」といった高度な判断に専念し、それ以外のタスクはサイドキックに委譲する。
この設計が解決する問題は3つある。
- ベンチマークスコア的な知性ではなく、実際のフロンティア知性を保持する。 単純なルーターはベンチマークへの過適合が起きやすいが、フロンティアモデルを常に混在させることでその問題を回避する。
- 単一プロンプト完結タスク以外にも汎化できる。 タスク開始時点のプロンプトだけでは難易度を正確に判断できないケースが多い。また、単純な初期プロンプトの後に難しいフォローアップが来ることもある。
- モデル切り替え時のキャッシュミスを回避できる。 CognitionがかつてSmartFriendツールとして、またAnthropicがAdvisorツールとして実験したアプローチでは、モデル間でコンテキストを共有するたびにキャッシュが効かず高コストになる問題があった。Sidekickでは両エージェントがそれぞれ独自のキャッシュ済みコンテキストを維持するため、この問題が発生しない。
なお、元記事では多くのプロバイダー側プロンプトキャッシュに有効期限が5分という制約があると指摘されている。この制約への対処法はCognitionが読者への宿題として明示的に言及しており、同社のエンジニアはメール（walden@cognition.ai）での情報交換を歓迎している。どのプロバイダーのキャッシュ仕様に依存するかは運用環境によって異なるため、詳細は元記事および各プロバイダーの公式ドキュメントを参照してほしい。
セッション中のダイナミックなモデル切り替え
もう一つの柱が「Dynamic Mid-Session Routing（動的中間ルーティング）」だ。
タスク実行中に軽量な分類器が走り、「今のモデルでは手に余る」と判断されたタイミングでモデルを切り替える。ここで工夫されているのが、コンテキスト圧縮（context compaction）のタイミングと切り替えを同期させる点だ。
コンテキスト圧縮はどのみちキャッシュミスを引き起こす操作なので、そのタイミングを「モデル評価と切り替えの機会」として流用する。これにより、モデル切り替えを追加コストなしに実現している。サイドキックモデルのアップグレードすら、メインモデルに戻らずに実行できる。
ベンチマーク結果
Cognitionは今回、コードの正確性と品質の両方を測定する新ベンチマーク「FrontierCode」を用いて評価を行った。元記事によれば、結果は以下の通りだ。
- フロンティアモデル相当の構成：フロンティアモデル単体と同等の性能を維持しながらコスト35%削減
- より高度なモデルを用いた構成：同等の性能を維持しながらコスト41%削減（ただし元記事ではハーネスのチューニングが未完了の状態であることをCognitionが明示している）
また、実際の社内運用ではマージされたPRの88%がFusionルーターによって自動的に完結したというサニティチェック結果も報告されている。
モデルが賢くなるほどSidekickが有利になる
Cognitionが強調しているのは、このアーキテクチャがモデルの進化に対してポジティブな相性を持つという点だ。高度なモデルほど委譲の判断が精密で文脈収集が効率的になるため、サイドキックパターンの恩恵が大きくなる傾向がある。35%削減から41%削減へという数字の差はその表れだとCognitionは説明している。
Devin Fusionは現在、app.devin.ai/signupでプレビュー公開されている。
詳細はDevin Fusionを参照していただきたい。
