9月14日、Abid Ali Awanが「Why DeepSeek-V4.1-Flash Is Such an Exciting Open Model Release」と題した記事を公開した。この記事では、DeepSeek-V4.1-Flashが採用した新アーキテクチャがLLMの推論コストをどのように削減するかについて詳しく紹介されている。

DeepSeekがDeepSeek-V4.1-Flashをリリースした。ベンチマークスコアも見どころだが、本当に注目すべきはアーキテクチャの設計思想だ。

モデルの基本スペック

最も重要な数字は8B、16B、890バイトの3つだ。これらがDeepSeekの最適化の方向性を端的に示している。

「プリフィルが安く、デコードが賢い」非対称設計

LLMの推論には2つのフェーズがある。プリフィル（プロンプトを読み込む処理）とデコード（トークンを1つずつ生成する処理）だ。

AIエージェントの実用シナリオでは、この2つのコストが著しく非対称になる。コーディングエージェントを例にとると、数十万トークンのコードベースやログを読み込んだ上で、出力はわずか数千トークンという状況が頻繁に起きる。読み込みと生成に同じコストをかけるのは無駄が大きい。

V4.1-Flashが導入したCausal Encoder-Decoder（CED）は、この問題に直接切り込む設計だ。20層の因果エンコーダーと20層のデコーダーで構成され、デコーダーはプリフィル時にグローバルKV表現をエンコーダーの最終表現から取得できる。これにより、各デコーダー層が独自にKV表現を生成する必要がなくなる。

結果として生まれる計算プロファイルは：

• プリフィル → トークンあたり8Bのアクティブパラメータ
• デコード → トークンあたり16Bのアクティブパラメータ

「入力の読み込みには少ない計算量、推論・生成には多い計算量」という、エージェント用途に理想的な配分を実現している。

KVキャッシュに必要なHBM使用量を4分の1に圧縮

長文コンテキストにおけるもう一つの課題がKVキャッシュだ。生成中にモデルは過去のトークン表現をキャッシュとして保持するが、コンテキストが100万トークン規模になるとこのキャッシュがインフラ上の深刻なボトルネックになる。

V4.1-FlashはグローバルなKVキャッシュを1トークンあたり890バイトまで圧縮した。100万トークン時で約890MBのグローバルKVデータに相当し、前世代のV4-Flashと比較してKVキャッシュに必要なHBM（高帯域幅メモリ）使用量を約4分の1に削減している。なお、この数値はKVキャッシュのHBM使用量という限定的な指標に関するものであり、推論コスト全体が4分の1になることを意味しない点には留意が必要だ。

この実現に中心的な役割を果たすのがCompressed Sparse Attention 2（CSA2）だ。通常、異なるアテンション層がそれぞれ独自のKV情報を生成・検索するが、CSA2はこの重複を排除する。具体的には3つのモードを持つ：

さらに階層的スパースインデクサーにより、後続の層が100万トークン全体を検索するのではなく、前段で絞り込まれた候補から検索できる仕組みになっている。

加えてFP4 KVキャッシング（KV情報をFP4フォーマットで圧縮保存）を組み合わせることで、890バイト/トークンという数値を達成している。

その他のアーキテクチャ上の工夫

記事では以下の追加要素も紹介されている：

• SWA Bounded Replay：スライディングウィンドウアテンション（SWA）の状態の一部を破棄し必要に応じて再計算することで、永続的なKVストレージをV4-Flash比で約8分の1に削減するとされている（元記事では具体的な測定条件の詳細は明示されていない）
• Engram条件付きメモリ：196BパラメータのEngram memoryコンポーネントを持つが、全トークンで全パラメータを実行するのではなく、必要な情報だけを疎に参照する。著者は「ニューラルネットワークが『計算する』のに対し、Engramは『検索する』」と対比しているが、実装上はEngramも微分可能なパラメータ群として機能している可能性があり、この対比はあくまで直感的な説明として捉えるのが適切だ
• MoE（Mixture-of-Experts）：バックボーンは数千億パラメータを持つが、各トークンに対して一部の専門家ネットワークのみを起動する
• Single-Pass mHC：同一の活性化値を繰り返し読み書きする処理を1パスに統合し、メモリトラフィックを約50%削減
• DSpark投機的デコード：ドラフトトークンを先行生成してメインモデルが検証・採択することで、生成速度を向上させる

エージェントベンチマークの結果

アーキテクチャ変更が性能低下を招いていないかという点も重要だ。DeepSeekが報告するエージェント向けベンチマークの結果は以下の通り：

コーディング、ターミナル操作、サイバーセキュリティ、自動化といったエージェント実務に直結する領域で軒並みスコアを伸ばしている。コスト効率を大幅に改善しながらもこれだけの性能向上を実現している点が、著者が本モデルを高く評価する根拠になっている。

著者の評価

記事著者のAbid Ali Awanは自身でモデルを試した上で、Artificial Analysis Intelligence IndexやOpenRouterのデータとも照合し、率直な見解を述べている。

V4.1-Flashが「最も賢い」あるいは「最もコストパフォーマンスの高い」モデルだとは思わない。GLM-5.3-Flash（著者が比較対象として言及するモデル）のようなモデルは、より低価格でより高い総合性能を提供できる。V4.1-Flashが際立つのは出力速度だ。

その上で、このリリースの本質的な意義を次のように整理している。モデル単体の優劣よりも、MITライセンスで公開されたアーキテクチャのアイデア——非対称プリフィル/デコード設計、KVのクロスレイヤー共有、FP4キャッシング、条件付きメモリなど——がオープンソースコミュニティや推論フレームワークへ波及していくことの価値が大きいという指摘だ。

詳細はWhy DeepSeek-V4.1-Flash Is Such an Exciting Open Model Releaseを参照していただきたい。