8月16日、Martin Aldersonが「How I think about reducing AI costs」と題した記事を公開した。著者はあるクライアント企業のAIトークンコストを3週間で50%以上削減した実績を持つコンサルタントで、この記事ではその経験をもとに、急増するAI推論コストを削減するための実践的なフレームワークを4フェーズで整理している。
AIコストは多くの企業で無視できない規模になりつつある。Ramp AI Indexのデータによれば、従業員一人あたりの月間AI支出は急激に上昇しており、上位1%・10%・中央値のいずれの企業群でも同様の傾向が見られる。
Martin Aldersonは、このコスト問題をどう考えるかを4つのフェーズで整理している。
まずコストの実態を把握する
最初のステップはコストの監査だ。チームや部門をまたいでAI支出が分散しているケースは多く、全体像を把握できていない企業は珍しくない。
把握すべき指標は2軸ある。
使用中のモデル：古いモデルが放置されているケースが多い。元記事ではコスト比較の一例として「GPT-4oは入力$2.50/出力$10（100万トークンあたり）だが、より新しいモデルはその10分の1のコストで、Artificial Analysisのインテリジェンス指数では4倍以上のスコアを記録している」と紹介されている（※元記事に記載のモデル名については、公式発表との照合を推奨する）。技術的負債としてのモデル選定は見落とされがちな問題だ。
トークンコストの内訳：AIのトークンコストは「キャッシュ済み入力」「未キャッシュ入力」「出力」の3種類に分かれる。エージェントを使う場合、この分布は直感と大きくずれることが多い。
また、API経由の利用だけでなく、コーディングエージェント（GitHub CopilotやClaude Codeなど）のコストも含めて集計することが重要だ。開発チームのコーディングエージェント支出を見落として、API費用だけを最適化しているケースは多い。
すぐに効く施策：モデルの見直し
コスト構造が把握できたら、次は「低コストで効果の大きい変更」を探す。
同じプロバイダー内でのレガシーモデルから新モデルへの切り替えは、コスト削減の中でも実施しやすい部類だ。ただし、古いモデル向けに施したプロンプトの「ハック（工夫）」が新モデルでは逆効果になる場合があるため、必ず検証フェーズを設けること。
また、ユースケースに対してモデルが「過剰性能」になっていないかの確認も重要だ。大規模モデルを使わなくて済むワークフローは意外と多い。各モデルの性能・コスト比較にはArtificial Analysisが参考になる。同サービスではベンチマークスコアと推論コストを横断的に比較できるため、モデル選定の判断材料として活用しやすい。
プロバイダーの切り替え
より踏み込んだ手段として、OpenAI/Anthropic/Googleから離れ、オープンウェイトモデルをホストするプロバイダーへの移行がある。オープンウェイトモデルとは、モデルの重みが公開されており、サードパーティがホスティングできるモデルのことだ（例：DeepSeek、Llama系など）。
支出規模が小さければ、調達手続きやデータプライバシー審査のコストに見合わない場合もある。しかし規模が大きければ、ここに最大の削減余地があることが多い。
よくある社内の誤解として「DeepSeekは中国のサービスだ」という認識があるが、DeepSeek自身のAPIとは別に、米国・欧州のプロバイダーが同モデルを管轄内でホスティングしているケースも多い。すべてを一度に移行する必要はなく、トークン消費量の大きいワークフローだけを先に移行するだけでも大幅な削減効果が見込める。また、プロバイダー間の価格・レイテンシ比較にもArtificial Analysisのプロバイダー比較機能が参考になる。
エージェント・LLMのワークフロー最適化
最も掘り下げが必要なのが、個別ワークフローの最適化だ。まずコストの高い上位10ワークフローから着手することを推奨している。
よく見られる失敗パターンとして、以下が挙げられている。
プロンプトへの詰め込みすぎ：関連するかどうか不明なドキュメントを大量にプロンプトに含めるケースが多い。ツールコール（ドキュメント検索機能）を使ってLLMが必要なものだけを取得する設計の方がトークン効率は高い。
ツールの出力が肥大化している問題：記事ではIntuit公式のQuickBooks Online MCPサーバーを具体例として挙げている。コードの品質自体は高いが、トークン消費の観点からは深刻な問題を抱えている。
- ツール定義が142個あり、シリアライズすると約2万1,000トークンがリクエストのたびに送信される
search_invoicesはフィルタリングなしで全フィールドをそのまま返すget_invoice_pdfはPDFをBase64エンコードしたテキストとして返すため、100KBのPDFが約3万3,000トークンになる。モデルはそれを読むことも圧縮することもできない
ツール呼び出しの失敗によるトークン消費：エージェントがエラーからリカバリーしようとして追加のトークンを消費する。特に長時間稼働するエージェントの終盤でツール失敗が起きると、キャッシュリード（キャッシュ済みトークンの再読み込み）コストが急増するため、監視体制の整備が必要だ。
定期的な見直しが前提になる
AIの進化は速く、1年前のベストプラクティスが現在は逆効果になっているケースもある。少なくとも四半期ごとにトークン支出とモデル選定を見直すことを推奨している。
なお、冒頭で触れた3週間で50%以上のコスト削減はMartin Alderson自身のコンサルティング実績として紹介されているものであり、記事全体を通じてその知見が体系化されている。コンサルティングの相談窓口も設けているとのことだ。
詳細はHow I think about reducing AI costsを参照していただきたい。
