10月23日、Modalが「Launching a trillion-parameter model at Sakana AI」と題した記事を公開した。約1兆パラメータのMixture-of-Experts（MoE）モデル「Sakana Namazu」をModal上でAPI推論デプロイするにあたり、p99レイテンシを68秒から52秒（約24%削減）、レプリカあたりのスループットを約40%向上させるまでの量子化・投機的デコーディング・カーネル最適化の具体的手法が詳しく紹介されている。

Sakana AIは東京を拠点とするAI研究機関で、日本語ビジネス文脈・Webリアルタイム検索・コード実行に最適化した約1兆パラメータの大規模言語モデル「Sakana Namazu」を開発・公開した。Modalのforward deployed engineeringチームが本番ローンチ前から直接連携し、推論スタックをカーネルレベルまで突き詰めた事例である。

「NVFP4量子化」をそのまま適用しないこと

約1兆パラメータのモデルをFP16のフル精度で動かすと、GPU VRAM消費量は膨大になる。量子化は不可避だが、問題は既存の量子化レシピが英語ベンチマーク前提で設計されている点だ。日本語の語感やツール呼び出しのパターンがキャリブレーションデータに含まれていなければ、スコアは通っても実用的な品質が崩れる。

ModalチームはNVIDIA Blackwell GPU向けの低精度フォーマット「NVFP4（4ビット浮動小数点）」を採用した上で、以下2点を独自に実装した。

• 選択的エキスパート量子化： パラメータの大部分を占めるルーティングエキスパートのみをNVFP4に落とし、Attention・ルーター・共有エキスパートはBF16（Brain Float 16、FP32の表現範囲を保ちつつ16ビットに圧縮した浮動小数点フォーマット）を維持
• ドメイン代表キャリブレーション： Sakana Namazu固有のスタイル（日本語ヘビーウェイト）に沿った会話データでキャリブレーションを実施。モデルが持つ23,040個のエキスパート全てに代表的なトラフィックを通してからスケールを固定した

結果として、Sakana公開ベンチマークのノイズフロア範囲内で本番チェックポイントと同等の日本語命令追従精度を維持しつつ、NVFP4のスピードとメモリ効率を実現した。

最も面白い部分：トークンIDを生で流した投機的デコーディング

このケーススタディで最も実装の深さが光るのが、カスタム投機的デコーディング（Speculative Decoding）の構築だ。

投機的デコーディングとは、小さなドラフトモデルが先行して複数トークンを予測し、本体モデルが一括検証することで生成速度を上げる手法である。ドラフトモデルの予測精度（トークン受理率）が高いほど高速化効果も大きい。

汎用ドラフトモデルをSakana Namazuに適用した場合、トークン受理率は40%未満に留まった。ModalチームはDFlashアーキテクチャを用いたカスタムドラフトモデルをゼロから訓練したが、ここで鍵になったのが「テキストに戻さず、生のトークンIDを使う」という実装判断だ。

テキストにデコードして再トークナイズすると、ツール呼び出しやJSONスキーマ、推論マーカーの内部でトークン境界がずれる。見た目は同じでも、受理率に直結するアライメントが壊れる。ModalはトークンIDがそのまま訓練コーパスに流れ込む経路を構築し、300億トークン超の訓練データを生成した。

初版ドラフトモデルの結果：

• 汎用ドラフト比でトークン受理率が**+25%**向上
• トークンあたりデコードレイテンシが約35%低下
• レプリカあたりのスループットが約40%向上（同一GPU数でローンチ需要を処理可能に）

その後、本番トラフィック（約100万リクエスト）で改めて訓練した第2世代ドラフトモデル（DFlash2）を投入。2つのサービングセットアップで1,000リクエストをリプレイして比較したところ、平均受理長が3.51から5.01（+43%）、p99レイテンシが68秒から52秒に改善した。

カーネルレベルのチューニング

エンジンリリースごとにカーネルやスケジューリングが変わるため、A/Bテストで安全に検証しながらデプロイを進めた。主な改善点は以下の通りだ。

• 投機的デコーディングループのCPU–GPU同期ストール除去： 各デコードステップでCPUがGPU結果を読み戻す待機が発生していた。これを除去してGPUアイドル時間を90%超削減
• NVFP4 MoEの高速カーネルへのルーティング： デコードステップの約60%を占めるエキスパート行列演算を新カーネルに切り替え。副作用として同一ドラフトモデルのまま受理率が9%向上
• プリフィルディスパッチとエキスパートランナーのセットアップをキャッシュ化： 毎リクエスト繰り返されていた処理を一度に済ませ、TTFT（Time To First Token：初回トークン生成時間）を改善

また、テンソル並列（Tensor Parallelism：一つのモデルを複数GPUに分割して並列実行する手法）で4GPU分散動作するSakana Namazuでは、投機的デコーディングの受理判定が全GPUで一致しなければならない。ModalチームはランクをまたぐVerificationステップを計測し、稀に生じる不整合パスを特定。受理判定を単一の共有決定に統一することで、稀なストールを根絶した。

KV-awareルーターによるテールレイテンシ改善

Sakana AIのデプロイに対し、Modalはコード変更なしでインハウスのKV-awareルーターを有効化した。KV（Key-Value）キャッシュとは、Transformerがアテンション計算の中間状態を保持する仕組みであり、同じプロンプトプレフィックスを持つリクエストが同一レプリカに届けばキャッシュを再利用できる。このルーターはリクエストを均等分散するのではなく、プロンプトプレフィックスのKVキャッシュを既に持っているレプリカへ優先的に振り向けることで、再計算コストを削減する。

効果は即座に現れた。数分に達していたTTFTスパイクが消失し、レプリカあたりのキューがほぼゼロに低下。トークンあたりのデコード速度は維持したまま、エンドツーエンドのテールレイテンシが改善した。なお、KVキャッシュ最適化の背景についてはPagedAttention（vLLMブログ）も参照すると理解が深まる。

オンデマンドGPUによるキャパシティ管理

新規APIサービスは事前にトラフィック量を予測できない。長期契約やリザーベーション購入は過剰投資のリスクが伴う。こうした不確実性は1兆パラメータ規模のモデルでは特に深刻で、GPU単価が高いうえにレプリカ数の調整幅も大きいため、需要予測の誤差がコストに直接響く。ModalのグローバルGPUプールを使うことで、Sakana AIはリザーブなしでローンチ需要に合わせて弾力的にスケールできた。

Sakana AIのApplied Research EngineerであるMasaya Ohagi氏は次のように述べた。

"Sakana Namazuでは、モデル品質を損なうことなくGPUキャパシティを柔軟に増減させる必要があった。Modalはその柔軟性を提供し、量子化によって生じたパフォーマンスの変化にも直接エンジニアが対応してくれた。"

1兆パラメータ規模のMoEモデルを本番稼働させるためには、量子化の選択だけでなく、キャリブレーションデータの設計・ドラフトモデルの訓練パイプライン・カーネルレベルの同期最適化・ルーター戦略まで、スタック全体を一貫して調整する必要があることが本事例から読み取れる。

詳細はLaunching a trillion-parameter model at Sakana AIを参照していただきたい。