8月27日、Hassan Mujtabaが「NVIDIA Develops Custom "NVHBM" Memory For AI, Claiming 30% More Bandwidth and 15% Lower Power Than HBM4E」と題した記事を公開した。NVIDIAはHBM4Eを上回る性能を謳う独自メモリ「NVHBM」を発表し、メモリコントローラの配置そのものを根本から再設計することで、帯域幅・消費電力・ダイ面積の三つを同時に改善するという従来にない設計思想を打ち出した。

メモリコントローラをHBM側に移す——NVHBMの核心

NVIDIAが発表したNVHBM（NVIDIA High Bandwidth Memory）の最大の特徴は、メモリコントローラの配置を根本から変えた点にある。

従来のHBM構成では、メモリコントローラはGPU（XPU）側のダイに搭載されていた。NVHBMではこのコントローラをXPUから取り除き、HBMのベースダイ（HBMスタックの最下層に位置し、コントローラやI/O回路を収めるロジックチップ）内に直接組み込む。この構造変更により、以下の3つの性能改善を実現するとしている。

さらに、JEDEC標準のHBM4Eと比較してPHY（物理層インターフェース回路。チップ間でデータを送受信するための信号変換を担う）およびサポート回路の面積を最大67%削減できるとされる。インターフェースが簡素化されることで、インターポーザー（複数のチップを接続する中間基板）のルーティングも容易になり、シリコン全体で最大80%の有効面積増加が得られるという。

なぜ今、メモリ帯域がボトルネックになっているのか

LLM（大規模言語モデル）のパラメータ数は急速に膨張しており、すでに兆パラメータ規模に達している。Micronが指摘するように、コンピュート性能はHBM帯域幅を2年ごとに約3倍のペースで上回っており、「メモリウォール」と呼ばれる帯域幅の壁がAI推論・学習の実質的な制約になりつつある。

NVHBMはこの課題に対してアーキテクチャレベルで応答した設計だ。QualcommのHBC（LPDDR DRAMスタック上にコンピュートを載せる類似アプローチ）や、Samsung・SK Hynix・Micron各社のHBMベースダイへのコンピュート統合計画とも方向性は一致しており、業界全体でメモリアーキテクチャの再設計が進んでいる。

AWSのAnnapurna Labsが最初のパートナーに

NVHBMはNVLink Fusionエコシステムの一部として位置付けられている。NVLink FusionはNVIDIAが提供するチップ間高速インターコネクト技術で、GPU同士だけでなくサードパーティ製チップとの接続も可能にする仕様だ。複数のメモリベンダーが共通の実装仕様に対応することで、各社ごとの統合・認定作業を削減する狙いがある。

最初のパートナーとして名が挙がったのはAmazonのAnnapurna Labsだ。同社のVP、Nafea Bshara氏は次のようにコメントしている。

「NVHBMは高帯域幅メモリの性能と効率を向上させる新たなアーキテクチャアプローチを示している。将来のAWSインフラ設計に向けた技術協力を楽しみにしている。」

具体的には、Trainium4以降のAWS TrainiumチップがNVLink Fusionを活用し、NVIDIAのGPUとAmazon独自チップをラックスケールの共通アーキテクチャ下で接続する構成が予定されている。

搭載GPUの見通しは2028年——Feynman世代が本命

NVIDIAはすでに次世代GPU「Feynman」にカスタムHBMを採用することを示唆しており、NVHBMを初めて搭載するGPUはFeynman世代になると見られる。Feynmanは現行のBlackwellアーキテクチャの後継にあたり、3Dダイスタッキングを組み合わせた先進パッケージング技術の採用も報じられている。NVHBMとの組み合わせにより、コンピュートとメモリの両面で従来世代から大幅な性能跳躍が期待される。Feynmanのリリースは2028年が見込まれている。

詳細はNVIDIA Develops Custom "NVHBM" Memory For AI, Claiming 30% More Bandwidth and 15% Lower Power Than HBM4Eを参照していただきたい。