11月6日、pbxscience.comが「NVIDIA Says Full-Stack Co-Design, Not More HBM, Is the Key to Agentic AI Efficiency: Up to 30x Throughput per Dollar With Only About 3% More Memory per GPU」と題した記事を公開した。NVIDIAがGPUメモリを増やすのではなくフルスタック共設計によってアジェンティックAIの推論効率を高めるアプローチについて、その技術的根拠と主張をまとめている。
HBMを増やさずに30倍の改善、NVIDIAの主張
NVIDIAが発表した内容で最も目を引く数字は、ドル当たりのアジェンティックスループットが最大30倍というものだ。しかしそれ以上に興味深いのは、その達成に使ったGPU当たりのHBM増加量が**わずか約3%**だという点である。
比較対象はBlackwell Ultra世代（GB300 NVL72）とVera Rubin世代（Vera Rubin NVL72）。SemiAnalysisが策定したAgentXベンチマーク上でDeepSeek V4 Proのワークロードを用いた測定で、ユーザー1人当たり毎秒125トークンの速度条件下での数値だ。なお、これはNVIDIA自身の発表数値であり、実際のワークロードや速度要件によって結果は異なる。
また、電力効率の観点でも同様の主張がある。ユーザー1人当たり毎秒160トークンの条件で、Vera Rubin NVL72はGB300 NVL72に対してメガワット当たりのスループットで最大30倍を達成したとしている。GPU当たりのHBMは同じ288GBのままだ。
なぜエージェントはメモリを食い尽くすのか
AIエージェント（Agentic AI）とは、単発のプロンプト応答ではなく、ツール呼び出しや複数ステップの推論を繰り返しながらタスクをこなすLLMの運用形態を指す。この動作モデルがHBM（High Bandwidth Memory）に深刻な負荷をかける。
推論時にHBMが保持するのは主に2種類のデータだ。一つはモデルの重み（weights）、もう一つはKV（Key-Value）キャッシュ——モデルがすでに処理した文脈を再計算しなくて済むよう保持しておくバッファである。エージェントはタスク完了までに多数の推論ラウンドとツール呼び出しを繰り返すため、このKVキャッシュが際限なく膨らむ。NVIDIAによれば、エージェントの処理軌跡（trajectory）は最大300万トークンに達することもある。
単純にHBMを増やしても問題は解決しない。容量が増えてもコンピュートと帯域幅は共有のままであり、どちらかがボトルネックになった時点で余剰なHBMはコストと消費電力を増やすだけになる——というのがNVIDIAの立場だ。
「適切なデータを、適切な場所に」という設計思想
NVIDIAが提示する解法は、データの種類に応じて最適なメモリ階層に配置し、必要な直前にGPUへ引き戻す、という階層型アーキテクチャだ。
重みの圧縮と分散
モデル重みにはNVFP4（4ビット浮動小数点フォーマット）を使う。FP8よりさらにストレージ効率が高く、HBM上の重みの占有を圧縮する。さらにNVL72ラック内では最大72基のGPUにNVLinkで重みを分散できるため、各GPUが保持する重みの量は全体の一部にとどまり、残りのHBMをKVキャッシュや並行ユーザーの処理に充てられる。
KVキャッシュの3段階管理
KVキャッシュに対しては以下の3段階のアプローチを取る：
- NVFP4による圧縮：KVキャッシュ自体もFP8より効率よくHBMに収める。
- Vera CPUによるオフロード：エージェントがツール呼び出しの返答待ちの間、非アクティブなキャッシュをVera CPUが搭載する最大1.5TBのLPDDR5Xメモリに退避させる。これはRubin GPU 1基のHBM4容量の5倍以上に相当する。
- CMXへのオフロードとDynamoによる制御：さらに使われていないKVキャッシュは、CMX（Coherent Memory eXtension）と呼ばれるストレージ層に退避させる。CMXはHBMよりもビット単価が大幅に低い不揮発性ストレージ層であり、GPU・CPUメモリと統合されたアドレス空間上で扱える点が特徴だ。NVIDIAの推論ソフトウェアDynamoがGPUメモリ・CPUメモリ・CMXをひとつのリソースプールとして管理し、既計算の文脈を再計算なしで再利用する。
RAGのベクトルデータもHBMに置かない
RAG（Retrieval-Augmented Generation）では大量のドキュメントをベクトルインデックス化して保持する必要があるが、NVIDIAはこのナレッジベースとインデックスをHBMではなくCPUメモリとストレージに置き、必要な取得済みパッセージのみをモデルのコンテキストに渡すアーキテクチャを採る。
「スペック競争」から「システム効率」へのシフト
NVIDIAの主張を整理すると、アジェンティック推論において重要なのはGPU単体のHBM搭載量ではなく、システム全体のメモリ効率とコストパフォーマンスだということだ。重みの圧縮、KVキャッシュの階層管理、GPU・CPU・ネットワークをまたいだデータスケジューリングを組み合わせることで、同じメモリ容量からより多くの有用な出力を引き出せると主張している。
HBM供給がタイトで価格が上昇している現状において、この「フルスタック共設計」という枠組みは、競合との差別化軸を単体GPU仕様から総合システムコスト（トークン当たりコスト）へと移すものでもある。ただし、今回の数値はNVIDIA自身の特定ベンチマークによるものであり、他のワークロードでの独立した検証は今後の課題だ。
