8月25日、NVIDIAが「Up to 30x More Work Per Watt: NVIDIA Vera Rubin NVL72 Sets a New Efficiency Standard for AI Agents」と題した記事を公開した。NVIDIA Vera Rubin NVL72がAgentic AIワークロードにおいて前世代のGB300 NVL72比で最大30倍の電力効率を達成したという実測データが公開されており、AI Factoryの設計指標を根本から塗り替える可能性がある内容だ。
【重要な留意点】 本記事で紹介する数値はSemiAnalysisによる第三者レビューが現在進行中であり、最終確定値ではない。またVera CPUによるツール呼び出し性能はまだ結果に含まれていない。数値の解釈には注意が必要だ。
Agentic AIがインフラに突きつける課題
OpenRouterが公開したDeepSeek V4採用レポートによると、AIエージェントのワークロードは通常のチャットリクエストと比較して15倍のトークンを消費する。
なぜかといえば、AIエージェントは単一の質問に答えるのではなく、複数のサブエージェントを起動し、ツール呼び出しを繰り返しながら推論を積み重ねるからだ。たとえば投資判断のために企業調査をするエージェントは、財務データベースへのクエリ、ニュース検索、競合比較のサブエージェント起動、バリュエーションモデルの実行を順次行い、最終的にレポートを生成する。各ステップで蓄積されたトークンが次のステップの入力になるため、コンテキスト長は数十万トークン規模に達することもある。
このような「長コンテキスト・高トークン需要」のワークロードは、既存のインフラ設計の前提を大きく覆す。
実測値：前世代比で最大30倍のスループット/ワット
NVIDIAは今回、SemiAnalysisが開発したAgentXというベンチマークを使ってVera Rubin NVL72の性能を計測した。AgentXは実際のAgentic AIコーディングセッションを録画したもので、コンテキストの増加パターン、ツール呼び出し、サブエージェントの起動といった実挙動がそのまま保存されている。一般的な合成ベンチマークではなく、実世界のトレースを使っている点が重要だ。
結果は以下の通りだ。
- Vera Rubin NVL72 vs GB300 NVL72：DeepSeek V4 Proモデルにおいて、スループット/メガワットで最大30倍
- コスト面：1Mトークンあたりのコストが最大35倍低下
- GB300 NVL72 vs Hopperアーキテクチャ：同じDeepSeek V4 Proで最大15倍のスループット/メガワット
なお、比較対象のGB300 NVL72はBlackwellアーキテクチャ世代のシステムだ。Vera RubinはBlackwellの後継にあたる新アーキテクチャであり、世代をまたいだ電力効率の進化を示す数値として読むことができる。
電力制約のあるAIデータセンター（AI Factory）において、スループット/メガワットはそのまま収益に直結し、1トークンあたりのコストは利益率に直結する。NVIDIAのDSX MaxLPS技術はGPU・ラック・ワークロードの3階層で電力を動的に管理し、同じ電力予算内で最大40%多くのGPUを稼働させることができるという。
性能を支える技術：推論最適化の積み重ね
Vera Rubin NVL72がこの数値を達成している背景には、ハードウェアとソフトウェアの垂直統合（コデザイン）がある。各技術が電力効率にどう寄与するかを含め、主要な推論最適化技術を以下に整理する。
- Disaggregated Serving：コンテキスト処理（Prefill）と応答生成（Decode）を分離し、それぞれ独立してスケールさせる。処理特性の異なる2フェーズを混在させないことでリソース利用率が向上し、無駄な待機電力を削減する
- Rate Matching：PrefillとDecodeの処理速度を同期させることでGPUの待機時間を削減。アイドル状態のGPUに電力を浪費しない設計だ
- Large-scale Expert Parallelism：Mixture-of-Experts（MoE）モデルのエキスパートサブネットワークをGPUドメイン全体に分散し、各推論ステップで活性化するパラメータを絞ることで計算量を抑える
- Distributed KV-caching / KV-aware Routing：KVキャッシュをGPUドメイン全体に分散し、関連キャッシュを持つGPUにリクエストを誘導することで冗長な再計算を回避。長コンテキストのエージェントワークロードでは特にこの再計算コストが大きくなるため、効率への寄与が高い
- MegaMoE（Fused CUDAカーネル）：多数の演算とGPU間通信を単一の実行パスに統合し、カーネル起動オーバーヘッドと通信待ちを削減する
ハードウェア側では、第5世代Tensor Coreと第3世代Transformer EngineがPrefill/Decodeの両ステージを加速する。NVFP4量子化（4ビット精度）でモデルの重みを圧縮することで、メモリ帯域の消費を抑えながらスループットを向上させている。重み圧縮によるメモリ転送量の削減は、そのまま電力効率の改善に直結する。
GPU間の通信基盤としては、第6世代のNVLinkとNVLink Switchが使われており、既製品のEthernetと比較してパケットレートが10倍、レイテンシが3倍低い。NVL72のスケールアップドメインは、大規模なExpert ParallelismやDistributed KV-cachingを実現するための低レイテンシ・高帯域通信に不可欠な構成だ。通信レイテンシが下がればGPUの待機時間も減り、電力あたりの実効スループットが向上する。
ソフトウェアスタックはNVIDIA TensorRT LLM（推論ランタイム）とNVIDIA Dynamo（サービングフレームワーク）がハードウェアとコデザインされており、これらの最適化技術が実際に機能する土台になっている。
7チップ構成の全体像
今回の実測値はVera Rubin NVL72のGPU部分の結果だが、プラットフォーム全体は7チップ構成だ。
- NVIDIA Vera CPU
- Groq 3 LPU（NVIDIAがVera Rubinプラットフォームに統合したGroqの推論アクセラレータ。長コンテキストにおける超低レイテンシ応答を担う）
- NVLink 6 Switch
- BlueField-4 DPU
- Spectrum-6 SPX
- ConnectX-9 SuperNIC
これらはいずれもエージェントをスケールで運用するAI Factoryを前提に設計されている。Vera Rubin NVL72はすでに量産段階に入っており、エコシステム全体への展開が進んでいる。
詳細はUp to 30x More Work Per Watt: NVIDIA Vera Rubin NVL72 Sets a New Efficiency Standard for AI Agentsを参照していただきたい。
