8月30日、php-net.proが「vLLM 0.28.0 ships with Kimi-K3 optimizations and tiered KV cache offloading」と題した記事を公開した。LLM推論エンジン「vLLM」のバージョン0.28.0がリリースされ、Kimi-K3モデルへの大規模最適化や段階的KVキャッシュのディスクオフロード機能が追加された。
vLLMはLLMをGPU上で効率的に推論するためのOSSエンジンで、PagedAttentionやcontinuous batchingといった技術によりスループットと低レイテンシを両立する。Hugging Faceモデルとの互換性や豊富なバックエンド対応（CUDA・ROCm・CPU等）から、産業利用でも広く採用されている。
Kimi-K3最適化が今リリースの核心
今回のリリースは270名のコントリビューター（うち76名が初参加）による584コミットという大規模なものだ。その中心に置かれているのが、Moonshot AIのMoEモデル「Kimi-K3」向けの最適化群である。
Kimi-K3はMixture-of-Experts（MoE）アーキテクチャを採用した大規模言語モデルで、コーディング・数学・推論タスクで高い評価を受けている。MoEモデルはエキスパートと呼ばれる部分ネットワークを選択的に活性化する構造上、GPU間の通信オーバーヘッドが大きくなりやすく、推論最適化の余地が大きい。今回のvLLM 0.28.0はそこに正面から取り組んだリリースといえる。
具体的な変更点は以下のとおりだ：
- Decode Context Parallelサポートの追加
- FlashKDAのデコード・プリフィルカーネルの融合（fused kernels）
- シーケンス並列向けのGEMM-RS（行列乗算＋Reduce-Scatter）
- all-gather通信の統合により、該当カーネル処理で1.5〜3倍の速度向上
- 適応型スペキュラティブトークンバジェットにより、DSparkのTTFT（Time To First Token）を約60%改善
- オプションの共有エキスパートシャーディング（shared-expert sharding）によりGPUあたり約17 GiBのメモリ削減
- Kimi-K3がAMDのROCm環境でV2モデルランナー上で動作可能に
「1.5〜3倍の速度向上」はMoE推論全体の数値ではなく、all-gather通信を統合したカーネル処理に対する改善幅である点に注意したい。TTFTの60%改善はインタラクティブな推論ワークロードで体感しやすい数字だ。また17 GiBのメモリ削減は、大規模MoEモデルの実運用コストに直結する。
なおDSparkはvLLMのスペキュラティブデコーディング機能の一つで、信頼度スコアに基づいてトークン候補を動的に制御する手法だ。
ディスクへのKVキャッシュオフロードが実用段階へ
もう一つの実装上の見どころが、段階的KVキャッシュオフロード（Tiered KV Cache Offloading）のディスク対応だ。
KVキャッシュとは、Transformerのattention計算で使うKey/Valueテンソルをメモリに保持しておくことで再計算を省く仕組みで、長コンテキスト処理では特にGPUメモリを大量に消費する。これまでもGPUメモリからCPUメモリへのオフロードは可能だったが、0.28.0ではさらにディスクへの退避（disk offload）が加わった。合わせて以下も追加されている：
- ツリー外（out-of-tree）のセカンダリティアマネージャのサポート
- ティアリングメトリクスの計測機能
長コンテキスト処理やバースト的なリクエストが多いワークロードでは、GPUメモリが逼迫しやすい。ディスクオフロードを最終段として持てることで、メモリ階層の設計の幅が広がる。
DeepSeek最新モデルとスペキュラティブデコーディングの強化
元記事では「DeepSeek V4」と表記されているが、これはDeepSeek-V3の後継系列にあたる最新モデルを指しているとみられる（※編集部の考察。元記事での正式名称表記のまま引用している）。このモデルに対してはエンドツーエンドのスパースMLA（Multi-head Latent Attention）がプレーンデコード向けに実装され、MTPおよびDSparkスペキュラティブデコーディングも追加された。AMD Quark NVFP4サポートとROCmのgfx11・gfx950対応も含まれている。
スペキュラティブデコーディング全体としては：
- DFlash2にローカル畳み込みと候補セレクターを追加
- DSpark信頼度スケジュールによる検証（confidence-scheduled verification）
- ドラフトモデルに対する非同期スケジューリングの自動有効化
が加わった。スペキュラティブデコーディングは、小規模なドラフトモデルが候補トークンを先読みし、大規模モデルが検証する手法で、スループットを大幅に向上させるアプローチだ。
デフォルト値と破壊的変更
デフォルト値にも実運用で影響のある変更がある：
max_num_batched_tokensが8192から16384に引き上げ- Mambaモデルに対してプレフィックスキャッシングがデフォルト有効化
- BlackwellアーキテクチャのCUDAグラフキャプチャデフォルトが1024に変更
破壊的変更（Breaking Changes）として以下を把握しておく必要がある：
bitsandbytesがツリー外プラグインに移行- Transformersが5.15.0にバンプ（バージョンを引き上げること。依存ライブラリの最低要求バージョンが上がるため、既存環境では再インストールが必要になる場合がある）
calculate_kv_scalesとoverride_attention_dtypeが削除
その他の変更点
新規対応モデルとしてMuse Glimmer、Ling 3.0 Flash（BF16・MTP・FP8バリアント）、Dots3 NOTE（マルチモーダル）、Interns2mobiusが追加された。
セキュリティ面では、音声デコード時間ガードをバイパスするサンプルレート偽装によるDoSの脆弱性が修正されている。
配布形態については、pip install vllmでCUDA 13.0向けのwheelが取得され、CUDA 12.9・ROCm・CPU・XPUのDockerイメージも提供される。ランタイムイメージはUbuntu 24.04に移行した。
詳細はvLLM 0.28.0 ships with Kimi-K3 optimizations and tiered KV cache offloadingを参照していただきたい。
