8月23日、jepeake.comが「AI Chip Architectures」と題した記事を公開した。NVIDIA・AMD・TPU・Trainium・Cerebras・GroqといったAIチップの設計思想・アーキテクチャ・スケーリング戦略・ソフトウェアスタックを横断的に比較・解説した内容だ。
なぜ今、チップアーキテクチャが重要なのか
2018年のTuring講演で、John HennessyとDavid Pattersonは予言した。「次の10年は、新しいコンピュータアーキテクチャのカンブリア爆発が起きる」と。
当時の背景はこうだ。1980年代にはシングルスレッドCPUの性能は年率52%で向上していた。しかし2018年時点では、ムーアの法則とデナードスケーリングの終焉により、その伸びはわずか3%まで落ちていた。その解として彼らが示した実例が、GoogleのTPU v1だ。CPUに対してニューラルネット推論で29倍のスループット、エネルギー効率で80倍を達成していた。
この予言は的中した。現在、AIチップとして実際に本番環境で展開されているアーキテクチャは以下の4系統に絞られる。
- GPU（NVIDIA、AMD）
- 収縮配列アクセラレータ（Google TPU、AWS Trainium）
- Cerebras Wafer-Scale Engine（ウェハースケールエンジン）
- Groq LPU（言語処理ユニット）
勢力図を数字で見ると、AMDはOpenAIとMetaからそれぞれ6GWのコミットメントを獲得している。TPUはGeminiのトレーニングに使われ、AnthropicはClaudeをGoogle TPUと100万チップ超のTrainiumの両方で動かしているとされる。CerebrasはOpenAIの推論を担い、Groqについては元記事の記述に基づけばNVIDIAによる200億ドル規模の買収が報じられているが、完了・確定の状況については元記事を直接確認されたい。
問題の本質：「メモリウォール」
AIチップが解くべき問題を一言で言えば、行列積（matmul）を十分な速さでデータを供給しながら回し続けることだ。
Transformerモデルは本質的にmatmulの連鎖であり、学習・プリフィル・デコードでその性格が大きく変わる。
| フェーズ | 演算の種類 | 演算強度 |
|---|---|---|
| 学習・プリフィル | GEMM（行列×行列） | 高い（Compute-bound） |
| デコード（自己回帰） | GEMV（行列×ベクトル） | 低い（Memory-bound） |
デコードは1トークンずつしか生成できず、毎ステップでモデル全重みとKVキャッシュを読み込む必要がある。これがメモリウォールと呼ばれる問題の核心だ。コンピュートは指数関数的にスケールしてきたが、メモリ帯域はそうではない。
この記事の主軸は「データをどこに置き、どう動かすか」という問いへの各アーキテクチャの回答を比較することにある。
NVIDIA GPU：プログラマビリティで総取りを狙う
NVIDIAの設計哲学は「汎用プログラマブルチップ」だ。CUDAという統一プログラミングモデルの上で、Transformer学習・推論・グラフィクス・科学計算を同一チップで動かす。
Tensor Coreの進化が示す設計方針
NVIDIAのAI性能の核であるTensor Coreは、2017年のVoltaで初登場して以来、世代ごとに根本的な変化を遂げてきた。
- Volta（2017）：32スレッドのwarpが同期的に16×16×16のFP16 MMAを実行。スレッドがブロックして完了を待つ。
- Hopper（2022）：128スレッドのwarp-groupが非同期
wgmmaを発行。matmulをバックグラウンドで実行しながらwarpは次のタイルをロードできる。 - Blackwell（2024）：たった1スレッドがMMA命令を発行し、即座にリターン。オペランドはすべてShared MemoryまたはTMEM（テンソルメモリ、256KB/SM）に移動し、レジスタファイルの圧迫がない。さらに2SM間をまたぐ256×256×16の「CTA-pair MMA」が登場。
この変化の方向性は明確だ。matmulの発行がスレッド集合から単一スレッドへと軽量化され、実行との分離が進んでいる。これはFlashAttentionのようなfused attentionカーネルで、matmul実行中にsoftmaxや次タイルのロードをオーバーラップさせるために不可欠な設計だ。
メモリ階層の深化
HBM容量はV100の32GBからB300の288GB（HBM3e）、Rubinの288GB（HBM4）へと拡大している。オンチップでは各SM内にL1/SMEM 256KBとTMEM 256KBが共存し、HBM→SMEM間のデータ転送はHopperで導入されたTMA（Tensor Memory Accelerator）というDMAエンジンが担う。以前はwarp全スレッドがアドレス計算とデータコピーに費やしていたコストが、TMAのデスクリプタ発行1命令に集約された。
スケールアップとスケールアウト
複数GPU間はNVLink（第5世代）で接続され、NVSwitchがAll-to-All通信を担う。HopperのNVL8からBlackwellのNVL72（72GPU、1.4 ExaFLOPS FP4）へ、そして2027年予定のNVL576（576GPU、100 PetaFLOPS FP4/GPU、600kW）へとラックスケールでの統合が進む。
TPU・Trainium：収縮配列の専用設計
NVIDIAと対極に位置するのが収縮配列（Systolic Array）ベースのアーキテクチャだ。汎用プログラマビリティを捨て、matmul専用回路で効率を極める設計思想である。
**Google TPU**は、その代表格だ。収縮配列では、データが格子状に並んだPE（Processing Element）を一方向に「流れる」ように設計されており、各PEは隣のPEからデータを受け取り、積和演算を行って次のPEに渡す。この仕組みにより、同じデータを何度もメモリから読み直す必要がなく、メモリ帯域の消費を大幅に抑えられる。GoogleはTPUをGeminiのトレーニング基盤として採用しており、カスタムネットワークファブリック（ICI: Inter-Chip Interconnect）でチップ間を接続してPodスケールの分散学習を実現している。プログラミングモデルはCUDAのような汎用性はなく、XLA（Accelerated Linear Algebra）コンパイラを通じてワークロードをチップに最適化する形をとる。
**AWS Trainium**も同様の収縮配列アーキテクチャを採用するが、AWSのインフラと深く統合されている点が特徴だ。プログラミングにはAWS Neuron SDKを使用し、PyTorchやJAXからの利用が可能になっている。AnthropicがClaudeの運用に100万チップ超を採用しているとされるのが、このTrainiumだ。
収縮配列系アーキテクチャの共通した強みは、同じワークロードあたりのTCO（総所有コスト）でGPUに対して有利になるケースがある点だ。その反面、ソフトウェアスタックの柔軟性はGPU＋CUDAエコシステムに比べて限定的であり、既存のCUDAカーネルをそのまま流用することはできない。
Cerebras Wafer-Scale Engine：ウェハーごと1チップにする
**Cerebras**のアプローチは、業界の常識を根本から覆す。通常の半導体製造では、1枚のシリコンウェハーから多数の小さなダイを切り出してチップを作る。ダイが大きくなるほど欠陥による歩留まり低下が深刻になるため、これが業界標準となってきた。
Cerebras Wafer-Scale Engine（WSE）はこの前提を捨て、ウェハー全体をそのまま1つのチップとして使う。ダイを切り分けないため、ダイ間の通信に伴うレイテンシや帯域の損失が原理的に存在しない。その結果、オンチップSRAMのプールが極めて大きくなり、メモリウォール問題へのアプローチがGPUや収縮配列系とは根本的に異なる。GPUがHBMという外部メモリを高帯域で読み書きする設計であるのに対し、WSEはモデルの重みや中間結果をできる限りオンチップSRAMに収める方向で設計されている。現在OpenAIの推論ワークロードで実稼働しており、特に大規模モデルの低レイテンシ推論での存在感を示している。
Groq LPU：決定論的データフローで予測可能な性能を
GroqのLPU（Language Processing Unit）は、GPUともTPUとも異なる第三の設計思想に立つ。GPUはアウト・オブ・オーダー実行とキャッシュ階層によって汎用性を確保するが、その副作用としてレイテンシのばらつきが生じる。Groqはこれを嫌い、完全に決定論的なデータフロー実行を採用した。コンパイル時にすべての命令スケジュールとデータ移動を静的に決定し、実行時の動的スケジューリングを排除する。これにより、推論レイテンシが予測可能で一貫した値になる点を強みとしてきた。
ただし、Groqの独立したプレイヤーとしての立場については、元記事が言及している買収報道を踏まえると、将来像は現時点で流動的だ。詳細は元記事および最新のニュースソースで確認することを推奨する。
技術選定の視点
記事は各アーキテクチャを「どこにデータが置かれ、どう動き、コンピュートユニットはどう構成され、スケール時に何が起きるか」という4軸で整理している。CTOやインフラエンジニアが技術選定する際の判断軸として使える構造になっている。
プログラマビリティ（NVIDIA）と効率特化（TPU/Trainium）のトレードオフ、ラックスケール統合（NVL576）とウェハースケール統合（Cerebras WSE）の違い、推論と学習でのアーキテクチャ適性——これらを同じ語彙で比較できる点がこの記事の価値だ。
詳細はAI Chip Architecturesを参照していただきたい。
