11月21日、AWSが「Cut self-hosted LLM cost and latency with the distributed KV caching agent skill」と題した記事を公開した。この記事では、Amazon ElastiCacheを使った分散KVキャッシュによってセルフホストLLMの推論コストを最大40%、TTFT(最初のトークン出力までの時間)を最大80%削減できるAgent Skillの仕組みと使い方について詳しく紹介されている。
なぜGPUが同じ計算を繰り返しているのか
セルフホストLLMの運用で見落とされがちなコスト要因がある。プリフィル(prefill)の再計算だ。
マルチターンの会話やRAG(検索拡張生成)では、会話が進むにつれてコンテキストが数万〜数十万トークンに膨れ上がる。ユーザーが同じスレッドに戻るたびに、リクエストを受け取ったGPUサーバーはそのコンテキスト全体のKV(Key-Value)アテンション状態を最初から計算し直す。法律AIアシスタントで64,000トークンのコンテキストを持つ会話に戻った場合、最初のトークンが返るまで13秒かかるといった状況が実際に発生する。
各GPUサーバーが独立した小さなキャッシュしか持たないため、他のサーバーが計算済みのKV状態を再利用できない。これが無駄なGPU計算と遅延の根本原因だ。
分散KVキャッシュで何が変わるか
Amazon ElastiCacheを使った分散KVキャッシュは、GPU-ローカルなキャッシュをGPUフリートの外側に共有レイヤーとして拡張する。これにより、どのGPUサーバーでも、セッションをまたいで、サーバー障害やルーティング変更後でも計算済みのKV状態を再利用できる。
この構成の肝となるのが**LMCacheだ。LMCacheはvLLMとElastiCacheの間に挟まるL2キャッシュレイヤーで、GPU上のL1キャッシュ(vLLM内蔵のプレフィックスキャッシュ)でヒットしなかったKV状態を、RDMA(Remote Direct Memory Access)経由でElastiCacheから高速に取得する役割を担う。RDMAとは、CPUを介さずホスト間でメモリを直接転送する技術で、通常のTCPと比べてレイテンシが大幅に低い。AWSのGPUインスタンス(p5等)では、この転送を高速化するネットワークインターフェースEFA(Elastic Fabric Adapter)**が利用可能で、本スキルはEFAを前提とした構成を自動でセットアップする。
AWSによれば、この構成で推論コストを最大40%削減、TTFTを最大80%短縮できるとされている。
Agent Skillで評価から構築まで自動化
今回紹介されているのは、この分散KVキャッシュをコーディングエージェントから操作できる「Agent Toolkit for AWS」のスキルだ。Kiro(AWSが提供するコーディングエージェント)、Claude Code、OpenAI Codexなど、Agent Skillsに対応したコーディングエージェントで動作する。
記事全体を通じて最も注目すべき点は、「効くかどうかの診断」から「コスト試算」「インフラ構築」「障害対応」まで、自然言語の指示一本で一気通貫に実行できる設計にある。各フェーズを順に見ていく。
Flow 1:自分のワークロードに効くか診断する
「p5インスタンス上のvLLMフリートで64Kトークンのコンテキストを扱っているが、会話再開時に最初のトークンまで13秒かかる。どう直せばいいか?」という自然言語のプロンプトを投げるだけで、エージェントが原因を分析する。
特徴的なのは新規インフラ不要な改善策を先に確認する点だ。プレフィックスキャッシングが無効なら有効化を提案し、GPU側のプレフィックスキャッシュヒット率がすでに90%超ならば共有KVキャッシュは不要と判断する。法律系ユースケースではテナント間のデータ分離要件も確認する。
Flow 2:コスト削減額を試算する
KVTraceというツールを使い、既存のvLLMまたはSGLangのKVキャッシュイベントを記録して、実際のトラフィックパターンに対してオフラインで試算を行う。トークンIDやプロンプテキストは記録せず、ブロックハッシュとトークン数のみを扱う。センシティブなプロンプトには--anonymize-key-fileオプションが用意されている。
8台のp5インスタンスで64,000トークンプロンプトを処理するRAGアシスタントを例にとると、エージェントはAWSの価格リストからGPUとキャッシュノードの価格を自動で参照し、cache.i8ge.48xlargeを2ノード推奨という試算を出す。「削減されたGPU時間が実際にコスト削減になるのは、サーバー台数を減らすか、同じ台数でより多くのトラフィックを処理する場合のみ」という注釈も明示される。
Flow 3:セットアップ
「L2 KVキャッシュをゼロから構築してほしい」と指示するだけで、エージェントがインフラ構築を一通り実行する。具体的には、EFAパーミッション付きセキュリティグループの作成、カスタムパラメータグループ付きValkey 9.1クラスターの構築、LMCacheユーザーのAWS Secrets Managerへの登録、各GPUサーバーへのLMCacheサーバーデプロイ、そしてRDMA経由のKV状態転送の動作確認までを自動で行う。
なお、高影響操作(リソースの作成・変更・削除)はすべてユーザーの明示的な承認を求める設計になっている。
Flow 4:トラブルシューティング
「ElastiCacheクラスターへの接続は成功するが、実際のデータ転送が失敗する。rdma_write_errorsが増加している」という症状を投げると、エージェントはEFAトラフィックをブロックしているセキュリティグループルールの問題と特定し、確認・修正コマンドを提示する。
前提条件
このスキルを使うには以下が必要だ:
- Agent Skillsに対応したコーディングエージェント(KiroまたはClaude Code等)
- EFA RDMAライトをサポートするGPUインスタンス(p5等)
- LMCache 0.5.8rc1以降、vLLM 0.11.1以降(またはSGLang 0.5.13以降)
- ElastiCache for Valkey 9.1以降(
cache.i8ge.48xlargeノード)
詳細はCut self-hosted LLM cost and latency with the distributed KV caching agent skillを参照していただきたい。