7月30日、Mozilla AIが「Who Cares About LLM costs?」と題した記事を公開した。この記事では、LLMのコストが予測不能になる構造的な理由と、それをどう制御するかという実務的な視点について詳しく論じられている。
「請求書が来るまで誰も気にしない」問題
LLMを使った機能を初めてリリースするとき、コストはほとんど意識されない。テスト時は数百会話で請求額もわずか。デモも好評で、チームも盛り上がり、そのままリリース。ユーザーが増え、セッションが長くなり、エージェント的なループが1ユーザーアクションあたり3〜4回のモデル呼び出しを行うようになる。コードは何も変えていない。
そして誰かが請求ページを開いたとき、想定外の巨大な数字が目に入る。
Mozilla AIはこれを「残念ながら、思っているよりずっとよく起きることだ」と明言している。
なぜLLMのコストは読めないのか：トークン課金構造の罠
通常のクラウドコストはプロビジョニングしたリソース（インスタンス数、DBのティア、コア数）に比例してスケールする。一方、LLMのコストは会話の「形状」という揮発性の高いものにスケールする。ここでいう「形状」とは、入出力トークン数の組み合わせのことだ。LLMの料金体系はトークン単位の従量課金構造（いわゆる「トークノミクス」）を採用しており、1リクエストで消費するトークン数が増えるほど、そのまま請求額に直結する。
具体的にコストを跳ね上げる要因として、記事では以下を挙げている：
- 冗長なシステムプロンプト
- ユーザーが貼り付ける長いドキュメント
- 不正なレスポンス後のリトライループ
これらはいずれもコードを一切変えなくても、1リクエストのコストを何倍にもする。しかも根本にあるのは「他人の行動が自分のコンピュートリソース消費を強制する」という非対称な構造だ。ユーザーが貼り付けるドキュメントの長さも、リトライを誘発するプロンプト設計のまずさも、サービス提供者側がコントロールしきれない変数として存在する。
さらに複数プロバイダーへの分散がこれを悪化させる。OpenAI、Anthropic、セルフホストモデルをそれぞれ別の用途で使うと、ダッシュボードも請求サイクルも「トークン」の定義すらバラバラになる。特定の期間内の正確な支出を一箇所で把握する手段がなくなる。
加えて、クラウドの請求システムには支出通知までのラグが存在すると記事は指摘する。アラートが上がる頃には、リクエストはすでに送出済みで、請求も確定しており、残る選択肢は機能ごとオフにすることだけだ、というのがMozilla AIの見立てだ。
コスト制御の3本柱
Mozilla AIは、LLMコストをリスクとして扱うべきだと主張し、基本的なリスク管理フレームワークに沿った3つの柱を提示している。
- Prevention（予防） — コストを生む構造を事前に設計で抑える
- Detection（検知） — リアルタイムまたは十分に早い段階で異常を捉える
- Mitigation（緩和） — 問題が起きてからの対処
「予防」の段階では、システムプロンプトの肥大化を防ぐ設計や、ユーザー入力のトークン上限を設けることが典型的な対策となる。「検知」では、プロバイダーのダッシュボードに頼るだけでなく、アプリケーション層でリアルタイムにトークン消費を追跡する仕組みが求められる。「緩和」は問題が顕在化してからの後手の対応であり、記事では「予防と検知がうまくいくほど、緩和が必要になる確率は下がる」と述べている。後手に回る緩和策への依存を減らすことが本質だ、という主張だ。
Otariという選択肢
記事の末尾では、Mozilla AI自身が開発するトークンコスト管理ツール「**Otari**」が紹介されている。Otariはプロバイダーをまたいだトークン消費の追跡と料金計算を一元化することを目指しており、OpenAIやAnthropicといった複数サービスの利用コストを横断的に可視化する設計となっている。ドキュメントによれば、各モデルの入出力トークン単価を設定したうえでリアルタイムの消費量に紐づけることで、ダッシュボードの分散問題や請求サイクルのズレを吸収する仕組みを提供している。
エンジニアを会計士に再教育する必要はなく、こうした専用ツールで対処できる、というのがMozilla AIの立場だ。一方で記事は、LLMコスト管理のエコシステム自体はまだ黎明期にあり、市場標準が定まる前にさらに混乱が続くだろうとも述べている。Otariはその中の一つの解法として位置づけられており、同種のツールが今後さらに登場することが示唆されている。
この記事が指摘する核心は単純だ。LLMのコストは「誰かが払う問題」ではなく、設計と運用の段階から制御すべきリスクである。プロバイダーがトークン単位の従量課金を強化するほど、コストは「高い」から「予測不能」へと性質が変わる。予測不能なものは計画に織り込めない。早期検知と予防的設計を組み合わせることで初めて、LLMコストは管理可能なリスクになる、というのがMozilla AIの結論だ。
詳細はWho Cares About LLM costs?を参照していただきたい。
