EnvoyがAIエージェント専用プロキシに進化 — トークン単位の流量制御とMCPルーティングで「L7では無理だった問題」を解決
DRANK

11月19日、Google Cloudが「The Envoy agentic stack: Routing models, tokens, and MCP」と題した記事を公開した。AIエージェント時代において、従来のL7プロキシが「リクエストカウントではトークン消費量を把握できない」「ステートレスなロードバランシングではマルチターン会話の文脈が消える」といった構造的な限界を抱えることは知られていたが、Envoyはこれらをネットワーク層で根本的に解決するアーキテクチャへと進化した。同記事はその全体像——トークン単位の流量制御、KVキャッシュを意識したルーティング、MCPツール呼び出しのインライン検査——を詳述している。

by @tf_official
Related Topics: AI Google Cloud Network