7月31日、LangChainが「LangSmith LLM Gateway: Runtime Controls for Production Agents」と題した記事を公開した。本番環境のAIエージェントにコスト上限・レート制限・フォールバックを一元管理できる「LangSmith LLM Gateway」のパブリックベータ公開について詳しく紹介されている。
背景：LangSmithとは何か
LangSmithは、LangChainが提供するLLMアプリケーション向けのオブザーバビリティ・管理プラットフォームだ。LangChainフレームワークで構築されたエージェントのトレース・評価・デバッグを担うプロダクションツールとして位置づけられており、今回発表されたLLM Gatewayはその管理機能を「モデルアクセスの制御層」にまで拡張するものだ。LangChainのオープンソースライブラリとは別のSaaSプロダクトであり、PlusプランおよびEnterpriseプランで利用できる。
「一晩でLLM呼び出し1万回」を防ぐガバナンス層
本番環境でエージェントを動かすチームが直面する問題は共通している。モデルプロバイダーが障害を起こせば顧客向けエージェントはエラーを返し続け、コーディングエージェントがリトライループに陥れば朝起きたら請求が4桁になっている——記事中ではこうした具体的な失敗シナリオが挙げられている。
従来の対処法は各エージェントのコードにコスト制御やフォールバックロジックを個別に埋め込む方法だったが、エージェントとモデルプロバイダーが増えるたびに管理パスが増殖する。LangSmith LLM Gatewayはエージェントとモデルプロバイダーの間に挟まる集中ガバナンス層として、この問題を解決する位置づけだ。
4階層のコスト上限設定が核心機能
LLM Gatewayの機能の中で最も実用的なのがコスト上限（Spend Cap）の仕組みだ。上限は以下の4レベルで個別に設定できる。
- Organizationレベル — 会社全体の上限
- Workspaceレベル — チーム単位の上限
- APIキーレベル — 特定プロジェクト向け
- Userレベル — 個人単位の上限
上限に達したエージェントにはHTTPステータス402が返り、明確なエラーメッセージが通知される。時間軸も設定可能で、日次・月次といった単位での制限をかけられる。
マルチテナント環境向けの顧客別ポリシー
SaaS製品のように複数顧客にエージェントを提供している場合、顧客ごとにAPIキーを発行せずに個別の上限を管理できる点も特徴的だ。カスタムリクエストヘッダーで顧客やチームを識別し、1つのAPIキー経由でルーティングしながら顧客単位のSpend CapとRate Limitを適用できる。ヘッダーポリシーの詳細は公式ドキュメントを参照のこと（※ドキュメント構造は更新される場合があるため、リンク先が変更されている場合はLangSmith Docsのトップから「LLM Gateway」を検索されたい）。
その他の主要機能
レート制限は、Organization・Workspace・User・APIキーの各レベルで設定可能。プロバイダーのレート制限に突き当たるような急激なトラフィックスパイクを事前に抑止できる。
モデルフォールバックは、プロバイダーがダウンまたはレート制限状態になった際、別モデルへ自動ルーティングするルールを一箇所で定義できる。各エージェントに個別のフォールバックロジックを書く必要がなくなる。
機密データ保護（Enterpriseプランのみ）は、リクエスト内のPIIや秘密情報をモデルプロバイダーに送信する前に検出・マスキングする。LangSmithのトレースログからも同様に除去される。
対応プロバイダーとBYOK
OpenAI、Anthropic、Fireworksなどの主要プロバイダーに対応し、OpenAIまたはAnthropicと互換性のあるエンドポイントを持つカスタムモデルも接続できる。
設計思想はBYOK（Bring Your Own Key）ファーストで、既存のプロバイダーAPIキーをそのまま持ち込んで利用できる。オープンモデルのホスト推論（Fireworks提供）もGateway Credits経由で使用可能だ。
既存ユーザーの声
Blueberry AIのCTO Sean Rich氏は次のように述べている。
LLM Gatewayによってディープエージェントの請求とコスト追跡を集中管理できるようになった。統合は素直で、エージェントをスケールするために必要な可視性が得られた。
Friday Digital AgencyのAIエンジニア Hylke Sybesma氏はこう語る。
公開向けエージェントには特にSpend Capが必須だ。LLM Gatewayによってそのリスクがなくなった。顧客と支出や各種ポリシーを合意して、数クリックで設定できる。
導入方法と今後のロードマップ
導入はシンプルで、エージェントのリクエスト先をLangSmith Gatewayエンドポイントに変更し、base_urlを更新するだけ。残りのコードはそのままでよい。Claude Code、Codex、Deep Agents Code（dcode）などのコーディングハーネスとの併用もドキュメント化されている。
今後のロードマップとしては、ガードレールの拡充（外部モデル呼び出しやプロダクションシステムとのインタラクションに対応）と、CI/CDコントロール（プロンプト・コンテキストのデプロイ、A/Bテスト、Blue-Greenデプロイ、Infrastructure-as-Codeによるポリシー定義）が予定されている。
現在はPlusプランおよびEnterpriseプランで利用可能。LangSmithにログインまたはサインアップ後、サイドバーから「LLM Gateway」を選択することで開始できる。セットアップの詳細は公式ドキュメントに記載されている。
詳細はLangSmith LLM Gateway: Runtime Controls for Production Agentsを参照していただきたい。
