9月15日、IEEE Spectrumが「Why AI's Inference Boom Is Forcing a Rethink Of Chips and Memory」と題した記事を公開した。AIの推論（インファレンス）需要の爆発的増加がチップとメモリのアーキテクチャに根本的な見直しを迫っている実態について、業界の動向を交えながら詳しく論じている。

「トレーニングは昨日の話」——今はインファレンスの時代

2020年以降、AI開発の主戦場はモデルの訓練（トレーニング）だった。GPT-3からGPT-4oへの進化がその象徴で、同一ベンチマークのスコアは**43.9%から88.7%**へと跳ね上がった。

しかし2026年現在、業界の関心はトレーニングからインファレンス（訓練済みモデルを使ってコードを生成したり文章を書いたりする処理）へと移っている。Moor Insights & Strategyのデータセンターアナリスト、Matt Kimball氏はこう言い切る。

「トレーニングはもう昨日のニュースだ。CIOが話したいのはインファレンスのことだけだ。」

需要増の背景には3つの要因がある。第一に、LLMが実用レベルに達してユーザーが急増したこと。第二に、推論モデル（Reasoning Model）の台頭だ。推論モデルは「Chain of Thought」と呼ばれる手法でインファレンスを何度も繰り返し自己再帰的に思考するため、高い推論努力レベルでは通常の最大20倍のテキストを生成する。第三に、エージェント型AIの普及で、インファレンスがリアルタイムの応答だけでなく24時間自律的に動き続けるようになったことだ。

トレーニングとインファレンスは何が違うのか

一見似ているが、両者は計算特性がまったく異なる。

トレーニングはバックプロパゲーション（誤差逆伝播法）という手法でモデルのパラメータを更新する処理であり、並列化しやすい。GPUがAIの主力アクセラレータになったのはこのためだ。

インファレンスは「プリフィル」と「デコード」の2フェーズで構成される。

• プリフィル：ユーザーのプロンプトを読み込み、各トークン間の関係を一括計算する。GPUの得意な並列処理が活きる。
• デコード：トークンを1つずつ順番に生成する。ここが問題だ。

デコードでは、新しいトークンを生成するたびにモデルの全パラメータ（数十〜数百GB）と、会話の文脈情報を格納したKVキャッシュをメモリから読み出す必要がある。KVキャッシュとは、プリフィルで計算したキーとバリューのベクトルを保存するメモリ領域で、会話が長くなるほど数十GBに膨れ上がる。

この「全部読み直す」という自己回帰的な性質がボトルネックになる。研究によると、オープンソースLLMを動かすNvidia H100 GPUは50〜80%の時間アイドル状態だ。データを待っている間、計算ユニットが手持ち無沙汰になっている。

メモリをどう変えるか——スタートアップ2社の対照的なアプローチ

Metaでシリコンエンジニアリング部門を率いていたShahriar Rabii氏は現在のGPUアーキテクチャをこう評する。「コンピュートを過剰に積んで、メモリが枯渇している。それがメモリの大規模スケールアウトを促している。」

この課題に対し、2つのスタートアップが正反対のアプローチを取っている。

d-Matrix：コンピュートとメモリを垂直に積む

d-Matrixの第2世代アクセラレータ「Raptor」は、AIアクセラレータのダイをDRAMダイの上に直接積層する。現行のGPUはHBM（高帯域幅メモリ）をGPUの周辺に配置するが、d-MatrixのCTO、Sudeep Bhoja氏によればRaptorはデータの移動距離を「ミリメートルからマイクロメートルへ」削減できるという。

Majestic Labs：ワイヤーを長くしてメモリを大量に接続

Majestic Labsは逆の発想を取る。HBMはGPUから2〜3ミリメートル以内にしか配置できないという物理的制約を、独自の銅線インターフェースとメモリアグリゲーターチップで突破。約1メートルの距離でメモリを接続できると主張する。これにより1つのサーバーラックで最大128TBのDRAMを扱える。NvidiaのGB300 NVL72ラックのHBM3E容量が約20TBであることと比べると、桁違いの差だ。

2社に共通するのは、高価なHBMではなく汎用DRAMを採用していることだ。メモリアナリストのJim Handy氏によれば、HBMはDRAMの2〜3倍のコストがかかる。

NvidiaとAmazonの「オールチップ」戦略

大手もこの現実に動き出している。

Nvidiaは2025年末にAIインファレンス向けスタートアップのGroqから知財と人材を取得したと元記事は報じている（具体的な買収金額については元記事の原文を直接ご確認いただきたい）。GroqのアーキテクチャはSRAMをチップ内に組み込み、メモリアクセスを最小化する設計を取る。元記事によれば、この取得を受けてJensen Huang氏がGTC 2026で発表した製品はLPU（Language Processing Unit）ベースのアーキテクチャを採用しており、インファレンス処理の効率化を主眼に置いている。製品の正式名称については元記事の記載を参照されたい。

AmazonはもともとトレーニングChip「Trainium」を持ちながら、Cerebrasの夕食皿サイズのウェーハスケールチップを組み合わせて使う構成を選択した。インファレンスを計算集約フェーズとメモリ集約フェーズに分割し、Trainiumで計算負荷の高い処理を、Cerebrasでメモリ帯域が必要な処理を担う。

一方、HBM陣営のSK Hynixは反撃に出ている。現在生産中のHBM4はHBMの最大メモリ帯域幅を2倍に引き上げ、2026年後半出荷予定のNvidia Vera Rubin GPUへの搭載が見込まれている。HBM技術の変遷についてはIEEE SpectrumのHBM関連報道も参照されたい。

アーキテクチャの「賭け」が始まった

元記事が示す構図は明快だ。トレーニングに最適化された既存のGPUアーキテクチャが、インファレンスには必ずしも最適でないという構造的な問題は、チップ設計からメモリ技術、さらにはデータセンター全体の設計に至るまで、広範な見直しを迫っている。

注目すべきは、この問題に対する解が一本化されていない点だ。垂直積層・長距離接続・ウェーハスケール・LPUと、アプローチは多様に分岐しており、どのアーキテクチャが主流になるかはまだ決まっていない。インファレンス需要が今後も拡大し続けるなら、この「賭け」の結果がAIインフラの次の10年を左右する可能性がある。チップとメモリの設計競争は、今まさに正念場を迎えている。

詳細はWhy AI's Inference Boom Is Forcing a Rethink Of Chips and Memoryを参照していただきたい。