10月23日、DatabricksのCo-founderであるPatrick Wendellが「The AI Bill is coming」と題した記事を公開した。AI製品部門の責任者でもある彼が、3,500人規模の社内展開で直面したコスト爆発と、それを最大90%削減した4つのレバーについて具体的に語っている。
エンジニアリング生産性の向上がそもそもの起点
DatabricksはAIコーディングツールの社内展開を積極的に推進した結果、同じチームでアウトプットをほぼ2倍に近づける成果を得た。プルリクエスト数、出荷フィーチャー数、コード行数といったアウトプット指標で測定している。
ただし、最初は誰もツールを使いたがらなかった。そこで「最高スペックのモデルを、トークン使用量制限なしで」という形で障壁を取り除いた。トークンとはAIモデルが処理するテキストの単位であり、送受信するテキスト量に比例してコストが増減する。この判断自体は理にかなっていたが、使われ始めた瞬間にコストが指数関数的に膨れ上がった。
AIコーディングツールはシート課金（席数に応じた定額制）ではなく消費量課金（使った分だけ支払う従量制）が主流だ。1人のエンジニアが高コストモデルでループを回したまま昼食に出かけると、それだけで青天井の請求が発生する。コスト増がAI導入による効率化メリットを食いつぶす水準に達し、Patrickが個人として深く関与することになった。
ハードキャップは最悪の選択肢
最初に試みた「一定額で強制停止」というアプローチは逆効果だった。
タスクの途中で切られると、数時間分のフローが失われる。そして制限に引っかかるのは往々にして一番使いこなしているエンジニアだ。切られた彼らは個人アカウントに移ってしまい、こちらからは何も見えなくなる。
代わりに採用したのは「段階的な摩擦」だ。現在はUnity Gatewayがこれを担っている：
- 警告を表示
- 承認フローを挟む
- 安価なモデルにダウングレードして作業継続を許可
- 完全停止は最終手段
加えて、各エンジニアに定期的に自分の支出内訳と節約提案を送るだけで約10%のコスト削減効果があったという。ある企業ではプルリクエストに使用モデルとコストを記載する運用を導入しており、「安価なタスクに高コストモデルを使うと事実上の公開恥さらしになる」とPatrickは評している。
最大のレバーは「新しい安価なモデルに乗り換えること」
4つの削減レバーのうち、最も大きなインパクトを持つのは地味な話だ。
毎週5本程度のモデルがリリースされており、そのうち1〜2本は同等品質でより安価になっている。9か月前のフロンティアモデル（その時点で最高性能とされるモデル）と同水準の品質を、タスク当たり約1%のコストで実現するモデルが最近登場している。つまり1年足らずで100分の1という方向性だ。
ポイントは「移行を実際に実行すること」。Unity Gatewayを経由しているため、新モデルへの切り替えを一か所で完結でき、エンジニア側の作業変更は不要だ。このレバーだけで50%以上のコスト削減を実現している。
残りの3つのレバー（ルーティング、支出の可視化、トークン消費量の削減）を組み合わせると、ユニットコストを最大90%削減したケースもある。
モデルのトークン単価はコストの指標にならない
Databricksは自社の数百万行規模のコードベースを使ってコーディングエージェントをベンチマークしている。パブリックベンチマークはトレーニングデータへのリークや、大規模エンタープライズのコードベースとの乖離があるため信頼できないという立場だ。
その結果として出てきた知見が興味深い：
- オープンソースモデルのGLM-4がClaude Opus 4と品質で同等、かつタスク当たりコストが約33%安い
- トークン単価が1.7倍安いモデルが、消費トークン数が多いためにタスクコストでは逆に高くなった
- ハーネス（モデルを包むコーディングツール）のチューニングとキャッシュ設定だけで約50%の節約
「モデルの価格表を見てコストを判断するのは誤り」という主張を、自社データで裏付けている。
フロンティアモデルは難問のために取っておく
GoogleのGeminiを3,500人の全エンジニアに展開したところ、支出が約60%増加した。システム設計のような難しいタスクでは明確に優れていたが、既存モデルで十分な日常タスクにも使われてしまったためだ。
現在はUnity Gateway内でフロンティアモデルに専用予算を設定し、「難問専用」として位置づけている。
可視化こそがすべての前提
Patrickが最後に伝えるアドバイスは単純だ。
まず、どこにお金が流れているかを把握せよ。チーム別・モデル別の支出を把握できていない企業がほとんどだ。すべてのトラフィックが通過するゲートウェイを1つ設置すれば、見えるようになる。それさえできれば、あとは全部やりやすくなる。
Databricksの社内の課題から生まれたUnity Gatewayは現在、数千社の顧客が利用している。モデルルーティングのSmart Routerは、最高品質のモデルと同等のアウトプットを保ちながらタスク当たりのコストを30%以上削減するという。
詳細はThe AI Bill is comingを参照していただきたい。
