11月16日、Omri Ben-Tolilaが「You Want to Self-Host Your LLM. Here's What the Napkin Math Leaves Out.」と題した記事を公開した。LLMのセルフホスティングコストを試算する際に「ざっくり計算」では見えてこない落とし穴を、実際のスタートアップのケーススタディをもとに詳しく解説している。
「GPU代はAPI代の半額」という試算が崩れるまで
GPUを買えばトークン課金APIの半額になる——そう計算したチームが実際に12台のGPUを調達し、月額3.6万ドルを支払ったところ、MaaS(Managed API)をそのまま使い続けた場合の128% というコストに着地した。
なぜか。モデルでも価格でもなく、トラフィックの「形」 が問題だった。
このスタートアップは米国ビジネスアワーに集中したトラフィックを持ち、ピーク時は週平均の4.7倍、夜間・週末は平均の60分の1という極端な波形だった。GPUは常時稼働のコストがかかるため、「ピーク用に調達した12台」が週のほとんどの時間帯で23%前後の稼働率で動くことになる。損益分岐点となる稼働率(1年リザーブで52%)を大きく下回る。
GPUではピーク分を払う。トークン課金APIでは平均分を払う。
著者はこれをバスとタクシーの比喩で説明している。満員のバスは1席あたり格安だが、深夜3時に空で走っていても料金は変わらない。タクシーは乗った分だけ払う。バスが得かどうかは「1日の波の偏り方」で決まる。
稼働率で変わる損益分岐点
同じ月間790億トークン、同じGPU構成で、トラフィックの時間分布だけを変えた場合の比較が元記事に示されている:
| トラフィックの形 | ピーク/平均比 | コスト(1年リザーブ) |
|---|---|---|
| 米国ビジネスアワー集中 | 4.7× | **128%**(割高) |
| 米国+欧州 | 2.3× | 87% |
| 米欧亜フォローザサン | 1.6× | 75% |
| 均一(バッチ処理など) | 1.1× | **64%**(割安) |
ピーク/平均比が3を超え、ユーザーが1リージョンに集中している場合、固定GPUフリートは大半の時間アイドルになる。逆に夜間・週末の「谷」に回せるバッチジョブや評価タスクがあれば、すでに払っているGPUコストを追加費用ゼロで活用できる。
見落とされがちな4つの現実
1. レート制限こそが自ホスティング検討のきっかけ
多くのチームがGPUを検討し始めるのはAPIが高いからではなく、APIにリクエスト数上限(レート制限)があるからだ。上限を超えたトラフィックは別のモデルへのオーバーフローで処理するしかなく、オープンモデルMaaS+Gemini Flash-Liteオーバーフロー構成だと月2.8万ドルかかる。これが「正直な比較対象」であり、GPU構成の3.6万ドルと比べるべき数字になる。
GPUを買う前にクォータ引き上げを申請することで、比較対象がシンプルなMaaS単体になり、ピーク型ワークロードではGPUに勝ち目がなくなるケースもある。
2. 障害時の冗長化コストは想定外に高い
ゾーン冗長(1ゾーン落ちても耐える)を実現しようとすると、12台→18台になり**186%。2リージョン冗長で24台、244%**に跳ね上がる。
より現実的な設計として著者が提案するのが「層状フォールバック」だ:自前GPUがベースロードを担い、ピークはMaaSのレート制限内まで吸収し、それを超えた分やGPU障害時はGeminiで受ける。障害時にビジーアワーの全トラフィックをGemini Flash-Liteに流しても費用は161ドル程度で済む。ゾーン冗長のために毎月1.6万ドル払うより安い。
3. 長いプロンプトはGPUを想定外に消費する
リクエストの2%が32K〜128Kトークン、0.5%が128K超という「ロングテール」が存在すると、トークン数では全体の約3分の1を占める。さらにGPUではAttentionの計算量がプロンプト長に比例して増えるため、実測では32K〜128Kトークンのリクエストが短いプロンプトの3.0倍遅く、128K超では4.1倍遅くなった。
結果として、ロングテールをGPUで処理すると必要台数が12台→23台に膨らみ、コストは**234%**に達する。一方、長いプロンプトだけMaaSにルーティングすると8台で済み、101%まで下がる。
ゲートウェイでプロンプト長に応じてルーティングするのが現実的な対策だ。
4. スループット見積もりの楽観バイアスも要注意
著者自身の経験として、プロダクション形状のワークロードで初回ベンチマークを取ったところ、約30%楽観的な数字が出たという。共有プレフィックスキャッシュのヒット率が理論値の半分にしかならず、長い推論出力がバッチスロットを長時間占有したためだ。
また、元記事中ではGemma 4(※記事公開時点でGoogle Cloud Media上に掲載された内容に基づく記述)について、リーズニングのトークン予算に上限がなく、実測では思考モードをオンにしたリクエストの89%が上限の3,250トークンを使い切り、JSONが途中で切れた状態で返ってきたと報告されている。推論コストの試算には「実際に出力されたトークン数」を使う必要がある。
試算ツールも公開
記事で使われた全計算は、著者が作成したオープンソースツール「aiops-dilemma」で再現できる。dilemma uiを実行するとブラウザで動作し、トラフィック形状の入力やCloud Monitoringからの実績データ取り込み、GPU台数の変更をインタラクティブに試せる。GPU・TPU価格はCompute EngineのCloud Billing Catalogからリアルタイムで取得される。
LLMコストの最適化については、MLflowやLiteLLMといったオープンソースのプロキシ・ゲートウェイツールも費用追跡やルーティング制御に活用されている。またAI Infrastructureのコスト構造に関しては、Andreessen HorowitzによるAIコスト分析なども参考になる。
GPUセルフホストの試算は「GPU時間単価÷スループット」だけで終わりにしがちだが、実際にはトラフィックの波形、レート制限、障害対応、プロンプト長分布という4つの要素がコストを大きく動かす。GPUを買う前に、自社のピーク/平均比を計算するのが最初のステップだ。
詳細はYou Want to Self-Host Your LLM. Here's What the Napkin Math Leaves Out.を参照していただきたい。