8月26日、Datadogが「How Datadog saves over $1 million each month by optimizing AI usage」と題した記事を公開した。LLMのAPI費用が組織規模で急増する中、「性能を落とさずにどこまでコストを削れるか」はエンジニア組織の共通課題になりつつある。Datadogはその取り組みを自社で実践し、月間100万ドル超の削減という数字とともに手法を公開した。
AI利用コストの膨張は業界全体の課題だ。GitHub、Shopify、Stripeといった企業がAIツールの全社展開を進める中、コーディング支援AIだけで月数百万ドル規模の支出が発生するケースも珍しくなくなっている。Datadogもその例外ではなく、Claude CodeやAgent Skillsを1,000人超のエンジニアが日常的に使う環境でコスト爆発に直面した。同社が取り組んだのは「使用禁止」や「機能制限」ではなく、評価に基づく最適化という方針だ。
モデルのダウングレードで月68.7万ドル削減
最もインパクトが大きかった施策は、Claude CodeおよびAgent Skillsのデフォルトモデルをより上位のモデルからより安価なモデルへ変更したことだ。元記事ではAnthropicのモデル名が具体的に記載されているが、バージョン番号の正確な表記については元記事を直接確認されたい。
価格差は明白で、変更後のモデルは変更前に比べて入出力トークンともに60%安い。ただし、単純にモデルを切り替えれば済む話ではない。Datadogが本当に測りたかったのは「汎用的なコーディング能力」ではなく、「自社のフレームワーク・ライブラリ・開発規約に沿った作業をどれだけこなせるか」だった。
そのために、AI Developer Experienceチームは独自のエージェント評価プラットフォームを構築した。開発者がセルフサービスで評価シナリオを書き・テストし・追加できる仕組みで、140種類以上の評価項目を毎晩実行してモデルごとのコストとパフォーマンスをスコアリングしている。
結果、上位モデルはパフォーマンス最高だが最もコストが高く、下位モデルへの移行はDatadogワークフローの習熟度を8%低下させる一方、AIコストを36.7%削減するという試算が出た。このトレードオフを受け入れてモデルを切り替えたところ、過去1か月で68.7万ドルのコスト削減を確認した。
さらに同じ評価基盤を使い、Claude Code CLIのデフォルト「effort level（処理の努力レベル）」をhighからmediumに変更したところ、こちらだけで月間28.8万ドルの削減につながった。effort levelはモデルが問題解決にどれだけのステップ・試行を費やすかを制御するパラメータで、タスクの複雑度に応じて調整することでコストと品質のバランスをとれる。
コストアラートで768ユーザーに介入→1週間で15万ドル削減
2つ目の施策は、自動コストアラートと支出ガードレールの整備だ。Datadog Cloud Cost MonitorとWorkflow Automationを組み合わせ、たとえばユーザーのCursor利用額が日次閾値を超えると、自動でそのユーザーのSlackにコスト削減ガイドへのリンクを送る仕組みを構築した。
Anthropicプロビジョニングキーへのアラート展開を対象にしたケーススタディでは、768ユーザーがアラートを受信し、受信前後の1週間を比較したところAIコストが15万ドル超減少した。仕組みとしてはシンプルながら、効果は定量的に確認できている。利用者が自分のコストを可視化されることで行動が変わる、という人的要因を突いた施策とも言える。
コンテキスト最適化で入力トークンを39%削減
3つ目はトークン数そのものを減らすコンテキスト最適化だ。Claude Codeにタスクを依頼すると、エージェントはリポジトリからソースコード・ドキュメント・ログなど大量の情報を収集するが、最終的な回答生成に使われるのはその一部に過ぎない。
Datadogが注目したのはOSSのHeadroomだ。エージェントツールの出力をLLMに渡す前に前処理し、無関係な検索結果のフィルタリング、重複ログの除去、JSONの冗長な構造の圧縮などを行う。なお、Headroomは記事公開時点では比較的新しいプロジェクトであり、ライセンス形態や本番環境での長期的な安定性についてはリポジトリで直接確認することを推奨する。本番採用を検討する場合はメンテナンス状況やコミュニティの活発さも判断材料に加えるとよいだろう。
自社の評価環境ではコスト47%削減・性能への影響は軽微という結果が出たため、1,000人超のエンジニアを対象にA/Bテストを実施した。1週間の結果は以下の通りだ。
| 指標 | ベースライン | テストグループ | 差分 |
|---|---|---|---|
| ユーザーあたりコスト ($) | 156.70 | 114.40 | -27.0% |
| 入力トークン数/ユーザー | 203,201,549 | 123,397,245 | -39.3% |
| 出力トークン数/ユーザー | 1,011,091 | 650,273 | -35.7% |
| ツール結果サイズ (bytes) | 3,490 | 2,953 | -15.4% |
入出力トークンともに約40%削減、コストは27%減という結果を受け、Datadogは今後さらに広いエンジニア集団へのロールアウトを計画している。
ポイントの整理
Datadogが実施した主な施策と削減額は以下の通りだ。
- デフォルトモデルを上位→下位へ変更：月間約68.7万ドル削減
- Claude Codeのデフォルトeffort levelをhigh→mediumへ変更：月間約28.8万ドル削減
- コストアラート＋Slackガイド通知：1週間で15万ドル超削減
- Headroomによるコンテキスト最適化：ユーザーあたりコストを27%削減（展開中）
共通しているのは「評価なき変更はしない」という姿勢だ。140種類以上の自社固有ベンチマークを毎晩実行し、性能とコストのトレードオフを定量把握した上で意思決定している。この評価基盤自体が、継続的なコスト最適化の土台になっている。AIツールの全社展開が当たり前になりつつある今、同様の課題を抱える組織にとって参考になる事例だ。
詳細はHow Datadog saves over $1 million each month by optimizing AI usageを参照していただきたい。
