10月23日、Databricksが「The new economics of AI cost management」と題した記事を公開した。半年前に顧客の最大の懸念は「AIで出遅れること」だったが、今は「コストが売上より速く伸びていること」に逆転している——DatabricksのSenior Staff EngineerでUnity GatewayのTechnical LeadであるKevin Stumpf氏はそう語る。本記事はStumpf氏へのインタビュー形式で構成されており、エンタープライズAIのコストを単なる削減対象ではなく「管理すべきシステム」として捉え直すための考え方と実践手法を詳しく紹介している。

「tokenmaxxing」から「valuemaxxing」へ

かつてAI活用の浸透期には、トークン消費量を競う「tokenmaxxing」（いかに多くのトークンを使えるかを競う志向）が一種のステータスになっていた。ところがStumpf氏はその問題点を明確に指摘する。

ループで動くだけのエージェントを立ち上げ、天気を何度も聞かせて大量のトークンを燃やす——それが「使用量を報酬にするインセンティブ構造」の予測可能な帰結だった。

現在は組織全体でのAI活用が前提となり、問われるのは「AIで生み出した価値÷そのコスト」という指標だ。Stumpf氏はこれを「valuemaxxing」（コスト当たりの価値最大化を目指す志向）と呼ぶ。トークン数より圧倒的に定量化が難しいが、ビジネス上の意味を持つのはこちらだ。

コスト帰属（Cost Attribution）の実装

「コストを管理するには、まず計測できなければならない」というのが記事の基本的な立場だ。

Databricksのコスト帰属機能は、ユーザー・グループ・AIエージェント・ゲートウェイエンドポイント・モデル・プロバイダー・期間の各軸でデフォルトから追跡できる。さらにリクエストレベルのタグを使えば、特定のプルリクエスト・機能・外部顧客といった単位まで集計を絞り込める。

実際にDatabricks社内では、AIコーディングエージェントのセッションにプルリクエストのIDをタグとして付与し、「このPRにはAIコストが$300かかった」という形で可視化している。

Stumpf氏によれば、この懸念の逆転はほぼすべての組織で取締役会レベルの議題になっているという。コスト帰属はその問いに答えるための最初の一手として位置づけられている。

スマートルーティング：タスクに応じてモデルを動的に選択

最も実装インパクトが大きい施策の一つが、Smart Routingだ。

Stumpf氏の見立てでは、フロンティアモデル（GPT-4oやClaude 3.5 Sonnetなど最高性能モデル）が本当に必要なタスクは全体の5〜10%に過ぎない。残り90%は、オープンソースモデルや低コストモデルファミリーで十分解ける。

問題は、個々のエンジニアが「とにかく解決したい」と考えるため、コストを意識せずに最上位モデルを選び続けることだ。Smart Routingはリクエスト到達時にタスクの複雑さをリアルタイム評価し、適切なモデルへ振り分けることで、品質を維持しながらコストを約30%削減できるとしている。

さらに一段上の概念として「ハーネスルーティング」も紹介されている。同じモデルでも、どのエージェントハーネス（AIエージェントの実行・制御フレームワーク）を使うかによってトークン消費量が有意に変わるという研究が出てきている。DatabricksはUnity GatewayとOmnigent（複数のエージェントハーネスを束ねて最適なものを動的に選択する「メタハーネス」サービス）を通じてこの層の最適化も提供している。

スペンドガードレールの設計

支出上限（ハードキャップ）の設計については、単純な遮断ではなく段階的な応答を推奨している。

• 典型的なパワーユーザーが1日$300程度使うなら、ハードキャップは$500に設定。ループ暴走エラーを捕まえつつ、正当な高負荷日を妨げない
• チームやプロジェクトごとに差別化した予算を設定する
• 予算の70%消費時点でアラートを送り、フロンティアモデルへのアクセスをオープンソースモデルにフェイルオーバー。いきなり遮断しない

コンテキストブロートの抑制

「コンテキストブロート」とは、エージェントに必要以上の情報を詰め込む状態を指す。トークンを無駄に消費するだけでなく、エージェントが「何が重要か」を判断するオーバーヘッドも生む。

Stumpf氏の推奨は「プッシュ型からプル型へ」の転換だ。90%以上の確率でタスクに必要と確信できる情報だけをデフォルトでプッシュし、残りはMCP（Model Context Protocol）サーバーやツール経由でエージェントが必要時に自律的に取得する設計にする。事後的なトリミングやキャッシュより、そもそもブロートを発生させない構造の方が効果的だという。

エンドツーエンドトレーシングの役割

エージェントが実行した推論・ツール呼び出し・プロンプト・トークン使用量の完全な記録を収集するトレーシングは、コスト管理の基盤となる。OpenTelemetryなどの標準規格に沿ったトレースデータを蓄積することで、どのエージェント・どのツール呼び出しがコストを押し上げているかをさかのぼって特定できるようになる。

Stumpf氏はこれをデータ産業の歴史になぞらえる。かつてデータレイクが「データ沼」になった時期があったように、エージェントトレースも収集しただけでは価値が出ない。しかし現在はLLMによる非構造化データ処理能力が上がり、収集量に比例してインサイト抽出が容易になってきた。トレースを貯め始めるのは早ければ早いほどよいというのがStumpf氏の立場だ。コスト帰属やルーティングの精度改善も、蓄積されたトレースデータを分析基盤として初めて機能する。

中央集権的なAIゲートウェイが前提条件

記事全体を通じて繰り返されるのは、「すべてのAIトラフィックを集中管理ポイントに通すこと」が可視化・帰属・ガードレールの前提条件だという点だ。Unity Gatewayはその役割を担う製品として位置づけられており、モデル・エージェント・ツール・コーディングエージェントをまたいだ一元管理を提供する。

ただしStumpf氏はこう釘を刺す。「集中システムがあるだけでは不十分。全員がそこを通るよう強制する仕組みも必要だ。任意参加では可視化は機能しない。」

詳細はThe new economics of AI cost managementを参照していただきたい。