8月24日、Hassan Mujtabaが「Micron Says AI's Memory Wall is Worsening as Compute outruns HBM Bandwidth by 3x every Two Years, Advanced Packaging & Process To Tackle Rising Thermal Constraints」と題した記事を公開した。この記事では、AIのコンピュート性能がHBM帯域幅の伸びを上回り続ける「メモリウォール」の深刻化と、Micronがその打開策として取り組む先進パッケージング技術について詳しく紹介されている。
コンピュートは3倍、HBMは2倍——広がる一方の格差
MicronのHBM設計アーキテクチャ・フェロー、Raghu Sreeramaneni氏がHot Chips 2026の講演で示したデータが衝撃的だ。コンピュート性能は2年ごとに約3倍のペースで向上しているのに対し、HBMの帯域幅は同期間で2倍未満にとどまる。このギャップは縮まるどころか拡大しており、AIシステムのボトルネックとしてのメモリの存在感が増している。
「メモリウォール」とは、プロセッサ性能とメモリ帯域幅の乖離によって実効性能が頭打ちになる現象を指す。LLM（大規模言語モデル）の推論・学習ではデータ転送量が膨大であり、プロセッサがデータ待ちになる「メモリバウンド」な状態が頻繁に発生する。HBM（High Bandwidth Memory）はこの上限（ルーフライン）を引き上げることでプロセッサの実効性能を引き出す役割を担っているが、そのHBM自体がコンピュートの進化に追いつけていない構図だ。
講演でとりわけ印象的な数字が一つある。典型的なGPU SIPに4スタックのHBM（12-Hi）を搭載した場合、シリコン面積の約90%をメモリが占める（GPUシリコンの8倍）。ポストカード大のパッケージの大半がメモリで埋まっているという事実は、HBMがいかにAIアクセラレータの設計を支配しているかを端的に示している。
さらに、Metaの「Llama 3」トレーニングレポートでは、意図しない学習中断の17%がHBMに起因していたと報告されている。信頼性の観点でもHBMは無視できない課題を抱えている。
HBM vs. DDR——帯域幅は最大17倍、だが容量は5分の1
HBMが従来のDDR DRAMと比べていかに異質な存在かは、以下の比較表が端的に示している。
| 指標 | DDR5 | HBM（典型的なGPU構成） |
|---|---|---|
| 帯域幅 | 数十〜100 GB/s程度（単体モジュール） | 5.3 TB/s（複数スタック合算） |
| 容量 | 多数のDIMMで大容量 | 約200 GB（約5分の1） |
| ダイあたり帯域幅 | 約8 GB/s | 256 GB/s（HBM3E） |
| エネルギー効率（pJ/bit） | 高い（非効率） | 低い（特にAIの逐次アクセスで有利） |
帯域幅では最大15〜17倍の優位性を持つ一方、容量ではDDRに劣る。AIのトレーニング・推論では大量のデータを高速に送り込む必要があるため、この帯域幅の差が直接的な性能差に直結する。なお、DDR5の帯域幅は単体DIMMあたりの値であり、HBM側の5.3 TB/sは複数スタックを搭載したGPUシステム全体の合算値である点に留意が必要だ。
現行のMicronの最新製品HBM4は、チャネル数をHBM3Eの2倍に増やすことで大幅な帯域幅向上を実現している。元記事で示された「最大2800 GB/s」という数値はシステム構成（スタック数・チャネル数）に依存する値であり、単一スタックの仕様とは異なる点に注意が必要だ。各世代でデータレート、Pseudo-Channel数、密度、スタック高さが順当に向上している。
次の壁：熱問題とスタック高さの限界
スタック高さは4-Hiから16-Hiまで拡大してきたが、20-Hiへの道には熱・機械的ストレスという大きな壁が立ちはだかる。問題の核心は「電力」ではなく「電力密度」だ。高度な機能が集中するベースダイが特に発熱しやすく、スタック高が増すほどダイの活動量も増加する。
Micronが対策として取り組んでいるのが、Fusion Bonding（フュージョンボンディング）と呼ばれる先進パッケージング技術だ。従来のマイクロバンプ接合に代わり、シングルデジットマイクロン（数μm）オーダーの極めて微細なピッチでダイ同士を直接接合する手法であり、DRAMダイ間の誘電体層を減らすことで熱抵抗の改善が期待される。また、よりメモリ最適化されたSerDes設計を用いた高速IO設計も研究中だ。液冷やハイブリッドボンディングも選択肢として挙げられている。
ただし16-Hi超のスタックについては、Micron自身が「まだ解決すべき課題が多い」と認めており、実用化への道筋は不透明な部分が残る。
構造的課題は続く
Micronの整理によれば、現在のHBMに突きつけられた課題は以下にまとめられる。
- ダイあたりの密度を上げるとエネルギー効率（pJ/bit）が低下する
- スタック高さの増加に伴う熱・機械的制約
- コンピュートとHBM帯域幅の乖離が続く構造的なメモリウォール
- Processing-in-memory DRAMなど新アーキテクチャへの移行の必要性
ここで言うProcessing-in-memory DRAMとは、演算処理をメモリダイ内部で行うことでデータ転送量そのものを削減しようとするアーキテクチャであり、メモリウォールへの根本的なアプローチとして注目されている。また2.5D先進メモリとは、シリコンインターポーザやブリッジチップを介してCPU/GPUとメモリを近接配置する実装技術を指し、帯域幅と消費電力の両立を狙う手法だ。これら2.5D接続メモリ、2.5D先進メモリ、Processing-in-memory DRAMという3種類のメモリアーキテクチャが現在並立しているが、どのアーキテクチャが主流となるかはAIワークロードの進化の方向性と密接に連動しており、業界全体の設計判断を左右する岐路に差し掛かっている。コンピュートとメモリの非対称な進化速度という根本的な構造問題が解消されない限り、メモリウォールはAIインフラの設計コストと複雑性を押し上げ続けるだろう。
