9月2日、Basetenが「The efficient frontier of LLM inference」と題した記事を公開した。レイテンシを下げたいのかスループットを上げたいのか、そもそもその2つは同じ話なのか——LLM推論の最適化を議論する現場では、異なる目的の技術が混在したまま語られることが少なくない。この記事はそうした混乱に「効率フロンティア」という概念で明確な地図を与え、各種最適化技術を体系的に分類する実用的なフレームワークを提示している。
「効率フロンティア」とは何か
「効率フロンティア（efficient frontier）」はもともと経済学の用語で、AI業界ではモデルのコストと性能のトレードオフを論じる際に借用されてきた概念だ。推論エンジニアリングの文脈では、主にレイテンシとスループット（≒コスト）のトレードオフを指す。
記事の核心となる主張はシンプルだ。推論エンジニアリングの技術は以下の2種類に分類できる。
- フロンティア上の点を移動させる技術：レイテンシを犠牲にスループットを上げる、あるいはその逆。トレードオフを管理する技術。
- フロンティア自体を押し広げる技術：全体的な効率を底上げし、レイテンシ・スループット双方に恩恵をもたらす技術。
この分類軸が明確に示されているのが、この記事の読み応えある点だ。「チューニング」と「根本的な改善」を混同しがちな議論に、整理された見取り図を与えてくれる。
実際の効率フロンティアは滑らかな曲線ではなく、非常に凸凹しているとも指摘されている。小さな設定変更が大きな影響をもたらすカットオフポイントが存在し、これらは直感では判断できず、実測によるスイープで発見するしかない。
フロンティア上の点を動かす技術
バッチサイズ
最も基本的なトレードオフ手段だ。バッチサイズを小さくすると1ユーザーあたりのレイテンシは改善するが、GPU単位のトークン生成数が減りコスト効率が悪化する。バッチサイズを大きくすると逆の効果が生じる。レイテンシ重視のユーザーが高い対価を払える場合はスループットを犠牲にする判断が合理的になる。
並列化戦略
現代のLLMは数千億〜数兆パラメータ規模になるため、複数のGPUに分散させる必要がある。並列化の方式によってレイテンシ・スループットどちらを優先するか変わる。
- Tensor Parallelism（TP）：全GPUへのall-to-all通信を伴うが、NVLink経由の高帯域通信で高速に処理でき、レイテンシ低減に有効。
- Expert Parallelism（EP）：EPの度合いが低いとレイテンシが良く、EPの範囲を広げるほど高スループット向けの構成になる。
- Attention Data Parallelism（ADP）：アテンション層を複製して並列計算することでスループットを向上させるが、リクエストあたりの速度は低下する。
量子化（Quantization）
重み・アクティベーション・KVキャッシュの精度を落として推論するアプローチだ。基本的にはフロンティア上の点を動かす技術に位置づけられるが、サービング効率を全体的に改善することでフロンティア自体を押し広げる効果を持つ場合もある。一方で品質とのトレードオフが生じる。記事では、MXFP4やNVFP4といったマイクロスケーリング浮動小数点フォーマットを使うことで、品質をほぼ損なわずに大きな効率改善が得られる場合があると指摘している。
フロンティア自体を押し広げる技術
こちらが記事で最も重要な部分であり、複数の技術の効果が複利的に重なる点が強調されている。例えば、ハードウェア改善で性能が2倍になり、ソフトウェア改善でさらに2倍になれば、全体で4倍の改善となり、それをレイテンシ削減・スループット向上に自由に配分できる。
カーネル最適化とランタイム改善
CUDAカーネルは行列演算などの個別処理を担う低レベル関数だ。カーネル単位の高速化は推論エンジン全体のフォワードパスにわたって効率を積み重ね、1トークンあたりの必要リソースを削減する。Basetenによる詳細な解説記事も参照可能だ。
投機的デコーディング（Speculative Decoding）
モデルが生成しそうなトークンを事前に予測し、後から検証するアプローチだ。登場当初はバッチサイズが小さい場合にのみ有効で、レイテンシとスループットのトレードオフを伴っていた。現在はEAGLE-3、DSpark、DFlashといった技術の成熟により、特にコード生成のように出力トークンが予測しやすいタスクでは、フォワードパスの省略による効率改善と、ユーザーあたりの毎秒トークン数向上という形でフロンティアを押し広げる技術になっている。
P/D分離（Prefill/Decode Disaggregation）
プリフィル（入力処理）とデコード（出力生成）を別々のワーカーで処理する戦略だ。これらは計算特性が根本的に異なる——プリフィルは大量の入力トークンを一括処理する演算集約型であり、デコードは1トークンずつ逐次生成するメモリ帯域律速の処理だ。それぞれを専用ワーカーに分離することで、各処理に最適化されたリソース割り当てが可能になる。さらに、入力・出力のシーケンス長やキャッシュヒット率に応じてワーカー比率を動的に調整できる点も大きな利点だ。実際にはレイテンシをほぼ維持したままスループットを増やす用途で最も効果を発揮することが多く、フロンティアを広げる技術として記事中でも重要な位置づけを与えられている。
この記事は、LLM推論最適化の全体像を「効率フロンティア」という一本の軸で整理した実用的なフレームワークを提示している。詳細は各技術について無料公開されている書籍Inference Engineeringにも展開されている。
詳細はThe efficient frontier of LLM inferenceを参照していただきたい。
