8月8日、Jake Roachが「Amazon cracks down on 'CPU waste' among engineers as agentic AI crunch intensifies」と題した記事を公開した。エージェントAIの急拡大によってAWSのCPUリソースが逼迫し、Amazonが社内エンジニアに対してEC2インスタンスの無駄遣いを取り締まっている実態について詳しく紹介されている。
エンジニアがEC2を取得するまで「数日待ち」に
AWSのエンジニアたちが、開発用EC2インスタンスの取得に以前は数時間で済んでいたところ、今や数日単位で待たされる状況に陥っている。The Informationの報道によると、Amazonは今年5月、エンジニアに対してCPUの無駄遣いを削減するよう要請する場を設けた。あるエンジニアは「Amazonで数年働いてきたが、こんなに長く待たされたことはない」と述べている。
これは単なる社内の運用効率化の話ではない。背景にあるのは、エージェントAI（Agentic AI）の台頭によるCPU需要の急増だ。
なぜ今、CPUが足りないのか
従来のAIインフラは推論（inference）ワークロードを中心に設計されており、GPUが主役だった。その構成では、GPUとCPUの比率はおよそ8対1または4対1であり、CPUはGPUに処理を供給するための脇役に過ぎなかった。
ところがエージェントAIのワークロードはまったく異なる性質を持つ。エージェントAIとは、LLMが単に回答を生成するだけでなく、複数のツールやAPIを自律的に呼び出しながらタスクを遂行するAIシステムを指す。このアーキテクチャでは、ツール呼び出し（tool call）や複数ステップにわたるオーケストレーション処理——エージェントが次に何をすべきかを判断・調整するロジック——がCPU上で動作する。結果として、GPUが遊んでいる間もCPUが常時フル稼働に近い状態になりやすく、従来の設計比率が一気に崩れる。GPUとCPUの比率はいまやほぼ1対1に近づきつつあるという。
この変化はAmazon社内にとどまらない。Intel、AMD、メモリ・ストレージ各社も口をそろえて「需要が高すぎて、手に入るものは何でも取る」という状況だと述べている。
実際、AMDはデータセンター向けにZen 6「Venice」アーキテクチャを発表した。AMDがデータセンター向けに新アーキテクチャをクライアント市場より先に投入するのは、数十年ぶりのことだ。NvidiaもGPUアクセラレータ一辺倒の訴求から転換し、Vera CPUをエージェントAIインフラの主軸として打ち出している。
コーディングエージェントが1.8億円を溶かした事件も
CPU不足の背景には、社内でのAI利用コストが制御しきれなくなっている問題もある。先月、Amazonではコーディングエージェントがトークンコストとして180万ドル（約1.8億円）を消費し、開発予算を860%超過するという事態が発生した。エージェントAIが生産性ツールとして急速に普及する一方で、そのインフラコストとリソース消費は大企業でさえ対処に苦慮している実態が浮かぶ。
Amazonの公式見解：「これは新しい施策ではない」
報道を受けてAWSのスポークスパーソンは次のようにコメントした。
「EC2を含むAWSサービスへの需要は非常に強く、成長を続けている。この旺盛な需要のもとでも、社内外のお客様のコンピューティングニーズの大多数を満たし続けている。アイドル状態のインスタンスの回収、適切なサイジング、需要に応じたスケールアップ・ダウンといった効率化は、以前から行ってきたことだ。Frugality（倹約）は創業初日から我々のDNAにある。これは新しい指令ではない。」
Tom's HardwareがAmazonに対し、エンジニアにコンピューティング使用量削減の期限が設けられたかどうかを改めて確認したところ、AWSのスポークスパーソンは「EC2に関するこの報道は不正確だ。通常のビジネス運営の一環として、Frugality（倹約）のリーダーシップ原則に基づき、常にリソース効率を高めてきた」と回答した。
なお、FrugalityはAmazonの14のリーダーシップ原則のひとつとして公式に掲げられており、「より少ないリソースでより多くのことを成し遂げる」という考え方を指す。単なるコスト削減の号令ではなく、創業時から文化として根付いているものだと同社は強調している。
ただし、記事ではスポット（Spot）インスタンスで不足が顕在化している一方、契約済みキャパシティでは不足は発生していないとするコンサルタントの証言も紹介されている。SpotインスタンスはAWSの余剰キャパシティを低価格で利用できる仕組みであり、需要が逼迫すれば真っ先にしわ寄せが来る構造にある。
エージェントAIの普及が、GPUだけでなくCPUの需要構造まで根本から変えつつある。開発現場のリソース争奪戦は、しばらく続きそうだ。
詳細はAmazon cracks down on 'CPU waste' among engineers as agentic AI crunch intensifiesを参照していただきたい。
