11月12日、Semiconductor Engineeringが「Rethinking Memory For AI Inference」と題した記事を公開した。AIエッジ推論の普及が加速する中、演算性能よりも「データをどこに置き、どう動かすか」がシステム全体の電力効率と速度を決めるという認識が業界で広がっている。メモリアーキテクチャそのものを再設計する動きが本格化しており、主要ベンダーの見解と技術的課題が詳細に整理されている。
なぜ今、メモリアーキテクチャが問われているのか
AIモデルの学習(トレーニング)はデータセンターで完結するが、推論(インファレンス)はエッジデバイス——車載システム、ドローン、スマートフォン——へと移行しつつある。ここで根本的な制約として浮上するのが、電力とメモリ帯域の壁だ。
データをCPU/GPUとメモリ間で往復させるだけで電力を消費する。バッテリー駆動の車両やドローンでは、データ移動に使うエネルギーが航続距離を直接削る。演算器をどれだけ高速化しても、メモリからデータが届かなければ演算器は待つしかない——これが「メモリウォール」と呼ばれる構造的問題だ。だからこそ「演算をメモリに近づける」という発想が、IoT時代から続く議論を経て、AIの文脈でいよいよ実装フェーズに入ってきた。
核心:「メモリに演算を持ち込む」3つのアプローチ
記事では以下の用語が整理されている。混同されがちな概念なので注意が必要だ。
| 用語 | 演算の場所 | 代表例 |
|---|---|---|
| CIM / IMC(compute-in-memory) | メモリセルやビットライン内部 | SRAMやReRAM上のアナログMAC演算 |
| PIM(processing-in-memory) | 同一DRAMダイ上のロジック | LPDDR6-PIM(JEDEC標準化進行中) |
| PNM(processing-near-memory) | メモリパッケージ内の別ダイ | HBM4/HBM4Eのベースダイ上の演算 |
CadenceのKos Gitchevはこの効果をシンプルに説明する。通常のフローでは、SoC内のプロセッサがメモリにアクセスするたびにキャッシュを経由した往復トランザクションが発生する。PIMを使えば「メモリ内で計算させて、結果だけ読み出す」だけでよくなる。読み書きのラウンドトリップが消える分、帯域消費と電力消費が根本的に変わる。
推論に特化した強みと限界
Quadricのチーフマーケティングオフィサー、Steve Roddyは重要な点を指摘する。トレーニングはメモリアクセスパターンが不規則で、Pythonなどインタープリタ型コードによるキャッシュコヒーレンス管理が必要だ。しかし推論ではモデルが実行前から確定している。データアクセスパターンが事前にわかるため、コンパイル時に最適なメモリ・演算配置を決定できる。これがPIM/PNMとの相性が良い理由だ。トレーニングには向かないが、推論には構造的に合っている——このワークロードの非対称性が、エッジ向け特化アーキテクチャを正当化する根拠になっている。
一方、Expederaのチーフサイエンティスト、Sharad Choleはトレードオフを明確にする。演算をDRAM側に押し込む手法はバッチサイズ1の低バッチデコードには有効だが、コスト最適化されたラージバッチデコードやプリフィル処理では「アクティベーション通信」がボトルネックになる。ワークロードを「ストレージ感度・帯域幅感度・バッチ感度」の3軸で分割して考える必要がある、と述べている。PIM/PNMは万能ではなく、どのフェーズ・どのバッチサイズに適用するかの設計判断が不可欠だ。
ハードウェアより難しいかもしれないソフトウェア
SK hynixのHoshik Kim上級副社長は、ベースダイへのMAC演算オフロードという具体的な方向性を示す。推論ワークロードの大半は単純なMAC(積和演算)であり、これをベースダイ内に収め、より複雑な演算はGPUに任せるという分業だ。
ただし、Keysightのメモリソリューション担当、Randy Whiteはソフトウェア側の複雑性が爆発すると警告する。PIMダイはチェッカーボード状にロジックとメモリが交互に並ぶ構造になる。メモリアクセスと演算完了を同期させるスケジューラをBIOSレベルで書かなければならず、「データを動かさなくていい」というハードウェアの恩恵を引き出すためのソフトウェア負荷が激増する。ハードウェアの進化がソフトウェアスタックの追従を待つ構図は、過去のGPGPU普及期にも見られたパターンだ。
加えて、LPDDRのロジックプロセスとDRAMプロセスは最適化指標が異なるため、混載による製造コスト増も課題だ。コストを正当化できるアプリケーションを見極めることが必須になる。
商用化は2030年前後
Ayar LabsのVishal Chandrasekarは「本格的なインメモリ応用は3〜5年後、2030年前後」と見る。CadenceのFrank Ferroも「今すでに市場に出ているとは言いがたい。非常に特定的な組み込みアプリケーションには存在するが、広範な用途としてはまだ初期段階」と現状を評価する。
SamsungはLPDDR6-PIMのアーキテクチャと性能ベンチマークをQualcommのSnapdragonプラットフォームで検証済みとして発表しており、商用化に向けた動きは着実に進んでいる。JEDECでのLPDDR-PIM標準化も活発に議論されている。商用化のタイムラインは楽観的とは言えないが、標準化と検証の両輪が動き始めた点は見逃せない。
インターコネクトとシステム全体の最適化
Arterisのアンディ・ナイティンゲールはこう述べる。「AIシステムのボトルネックは、コンピュート・メモリ・アクセラレータ・チップレット間のデータ移動にある。これはインターコネクトとメモリアーキテクチャをメモリデバイスそのものと同じくらい重要にする」。
Baya SystemsのNandan Nayampallyはこの変化をより根本的な問いとして表現する。業界の関心は「メモリをもっと積む」から「メモリを飢えさせないファブリックをどう作るか」へ、さらに「スカーシティ(希少性)を前提にしたアーキテクチャ設計」へと移行しているという。これは、メモリ容量や帯域幅を潤沢に確保することが難しいエッジ環境を所与の条件として受け入れ、その制約の中で最大の推論効率を引き出す設計思想への転換を意味する。演算資源をどこに置くかという問いが、システム設計の起点になりつつある。
PIM/PNMは「メモリにどこまで演算を任せるか」という問いへの答えを模索する段階にある。エッジ推論という明確なターゲットが存在し、ワークロードの特性上PIMとの相性も良い。しかし、ソフトウェアスタックの整備、製造プロセスの統合コスト、標準化の完成——この三つが揃って初めて、広範なアプリケーションへの展開が現実になる。2030年という目標年は、業界がその三条件を達成できるかどうかを測る試金石でもある。
詳細はRethinking Memory For AI Inferenceを参照していただきたい。