10月21日、latent.spaceが「DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback」と題した記事を公開した。DeepSeekが自社の本番推論スタック「DeepInfer」をオープンソース化し、「完全オープンソース」と銘打ちながらもKVキャッシュ管理などの核心コンポーネントは非公開——この矛盾が技術コミュニティで議論を呼んでいる。
「完全オープンソース」の実態
DeepSeekは「DeepInfer」を"fully open source"と表現しているが、注意すべき点がある。KVキャッシュ管理とロードバランシングのコンポーネントは未公開だ。内部インフラと密結合しているためで、公開されたエンジンを使っても本番同等のサービスをそのまま再現できるわけではない。ライセンスはApache 2.0。
これに対し、vLLMチームは素早く反応した。DeepInferは当初vLLMをベースに構築されていたことを認めた上で、GB200環境でマッチした構成を取ればデコードスループットがDeepInferの公開値の6%以内に収まると報告し、再現レシピも公開した。この結果は「DeepSeekの効率は既存OSS推論エンジンでは到達できない」という見方を否定するものだ。
1日22億円、利益率80%——その数字の中身
DeepInferはV4.1 Flashの本番サービスを支えるスタックだ。公開に合わせて開示された運用実績が、技術コミュニティで大きな話題を呼んでいる。
公開された主要な数値は以下の通りだ：
- 1クラスターあたり1日155兆トークンを処理
- アクセラレーター1基あたり時間収益$38（オフピーク価格）
- 入力キャッシュヒット率96%
- 平均Time to First Token（最初のトークンが返るまでの時間）：400ms
- 生成速度：230トークン/秒（コーディング時は300トークン/秒）
- 推論マージン（利益率）ベースでのハードウェア投資回収期間：81日
latent.spaceの計算によれば、現行の料金設定（入力$0.15/百万トークン、出力$0.60/百万トークン）で155兆トークン/日を処理すると、1日あたり約$2,200万の売上になるとされる。ただし原文では「1時間あたり約$100万」とも表現されており、単純に24倍すると$2,400万相当となるため、両数字の間には若干の齟齬がある。latent.spaceの記事内でのトークン内訳や端数処理の前提を確認した上で参照いただきたい。クラスター規模をGW（ギガワット）換算すると$1,660億/GWという数字も弾き出されている。DeepSeekは通常10ヶ月での投資回収を計画しているとされるが、今回の数字はその計画を大幅に上回る81日という回収期間を示している。
なお、これらの数字には重要な前提がある。入力キャッシュヒット率96%という条件下での収益計算であり、一般的な推論サービスとはワークロードの性質が大きく異なる可能性がある。この点はコミュニティでも議論になっており、後述するコミュニティ反応のセクションで詳しく触れる。また、DeepSeek自身による第一者開示であり、第三者による独立した検証ではない点も留意が必要だ。
アーキテクチャ：ステージ分離とスケジューリングの設計思想
DeepInferの最も注目すべき技術的特徴は、ビジョンエンコーディング・プリフィル・デコードを明確に分離した構成にある。それぞれのステージが独立したボトルネックに対してスケールできる設計だ。
推奨デプロイ構成は：
- プリフィル：通常の8アクセラレーター構成マシン
- デコード：64〜128アクセラレーターのスーパーノード
スケジューリングにも特徴がある。プリフィルはリクエスト長ではなくアテンション計算コストの推定値でワークを割り振る。チャンクサイズを時間予算に合わせて動的に変えることで、リクエスト長が不均一な場合でも効率を維持する。
また、キャッシュプレフィックスは共有ストレージにプールされるため、プリフィル処理はキャッシュのアフィニティ（以前処理したワーカーへの固定）を必要としない。空いているワーカーにリクエストを流せる設計で、これを推論エンジニアのSu Jin Yanがプロダクション設計として評価している。
デコードのルーティングは実行中リクエスト数とKVキャッシュ長の累積値の両方でロードバランスする。リクエスト数だけではメモリ負荷を見逃すため、KV長を別指標として持つ判断は合理的だ。
MoE（Mixture of Experts）モデル特有の課題として、人気エキスパートの偏りがある。DeepInferはこれを「人気エキスパートの定期的なレプリケーション（複製）と再配置」で対処する。ただしHBM（高帯域メモリ）消費とのトレードオフがあり、有効なレプリケーション係数はワークロード依存だ。
さらに、CPUのスケジューリングをアクセラレーター実行と非同期に重ねることで、デコードステップ間のアイドルギャップを除去している。
コミュニティの反応
リリースはX（旧Twitter）上で二つの議論を生んだ。一つは「DeepSeekの推論スタックは本当に特別か？」という技術的な問い。vLLMのベンチマーク結果により、この点については比較データが出た形だ。
もう一つは「このリリースはAI推論の高い収益性を示しているのか？」という経済的な問いだ。@Tim_Dettmersや@Yuchenj_UWらはこの点に懐疑的な見方を示している。前述の通り、96%のキャッシュヒット率が前提になっている収益構造は、ワークロードの内訳・キャッシュのカウント方法・ハードウェアコストの算入範囲によって解釈が大きく変わるため、単純な比較はできない。
また、PyTorch Confの初日にこのリリースを行ったタイミングも、コミュニティには「狙ったもの」と受け取られている。
詳細はDeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day paybackを参照していただきたい。
