8月26日、ServeTheHomeが「SambaNova's SN50 RDU for AI at Hot Chips 2026」と題した記事を公開した。SambaNovaがHot Chips 2026で発表した第5世代AIアクセラレータ「SN50 RDU」は、ハードウェアによるメモリ管理機構を持たないデータフローアーキテクチャを採用し、GPUが構造的に苦手とする「帯域幅律速」の問題に真っ向から対抗する設計だ。SN40比でFLOPS性能を5倍に引き上げながら、大容量オンチップSRAMとソフトウェア全制御による並列実行を組み合わせた同アーキテクチャの詳細を紹介する。
GPUの「帯域幅の壁」をどう突破するか
AI推論の世界では今、エージェント型推論（agentic inference）が主流になりつつある。SambaNovaの分析によれば、推論処理時間の大半はデコードフェーズが占める。特にDeepSeek V3では実行時間の**97%がデコード、プリフィルはわずか3%**という極端な偏りがある。
問題はデコードが本質的に帯域幅律速（bandwidth-bound）であることだ。FLOPS対バイト比が極めて低く、バッチサイズを大きくしても改善しにくい。SambaNovaはこれをModel Bandwidth Utilization（MBU）という指標で定義し、単にHBMをどれだけ使っているかではなく、モデル実行においてその帯域幅がどれだけ有効活用されているかを問題にしている。
GPUはこの点で苦しい。最適化されたGPUフレンドリーなベンチマーク上でもMBUは低く、GPUをスケールアップすると性能は伸びてもMBUはさらに落ちる。また、GPUのモデル帯域幅は約30TB/秒が上限であり、それ以上の壁を越えられない。SN50のアーキテクチャはこの「帯域幅の壁」への回答として設計されている。
SN50のアーキテクチャ：「データフロー」が差別化の核心
SN50はSN40からの踏襲として大容量オンチップSRAMを引き継ぎつつ、FLOPS性能をSN40比5倍に引き上げた。スケールアップは256チップ以上の構成に対応し、スケールアウト向けに400Gbネットワークも別途備える。
チップ構成はシンプルで、I/Oダイは持たない。最大レチクルサイズの2ダイ構成（ロジック用）にHBMスタックを組み合わせた形だ。採用しているのはHBM2eであり、すでに生産が縮小傾向にある旧世代メモリである。元記事はこの点を将来的な課題として言及している。
ラック単位では、1ラックに16 RDUを搭載し、2ノードに分割するエアクール構成を取る。
ハードウェアメモリ管理なし、ソフトウェアで全制御
SN50のコアは**PCU（Compute Core）とPMU（Memory Core）の"海"**で構成される。ハードウェアによるメモリ管理機構は存在せず、すべてソフトウェアで管理される。各ユニットは入力が来た時点で動作し、結果を出力に流す——これがデータフローアーキテクチャの本質だ。「ハードウェアメモリ管理を持たない」設計は機能の省略ではなく、コンパイラによる静的スケジューリングで帯域幅をより予測可能かつ効率的に制御するための意図的な設計判断である。
また、SRAMの使用量はモデルのサイズに依存しない設計になっており、ダブルバッファリングされたPMUを活用してHBMアクセスとコンピュートを並列実行する。グローバル同期も不要であり、GPUでは難しいコンピュートと通信のオーバーラップを実現している。
スケーリング：8ソケットから512ソケットまで
複数RDUのスケーリングは二層構造で実現する：
- スケールアップ（Scale-up）：高速インターコネクト経由、8ソケット構成ではall-to-allトポロジー（元記事では「800Gb」と記載されているが、Ethernetか専用インターコネクトかは明示されていない）
- スケールアウト（Scale-out）：400GbE、Ethernetスイッチ経由で64ソケット・512ソケット構成へ拡張
GEMM（行列積）ベンチマークでは、32ソケット構成でも使用率70%以上を安定して維持できるとしている。GPUがスケールアップに伴ってMBUを落とすのとは対照的に、SN50は大規模構成でも帯域幅利用効率を保てる点が、元記事が強調するポイントだ。
DeepSeekとMoEへの対応
SN50はテンソル並列（TP）に加え、エキスパート並列（EP：Expert Parallelism）もサポートする。EPはMoE（Mixture of Experts）モデル向けの並列化手法で、broadcast-dispatchおよびall-to-all dispatch-combineを活用する。DeepSeekとのTP-32構成での帯域幅利用率も発表されており、大規模MoEモデルへの対応が明示された。
エージェント型推論の普及でデコードフェーズの重要性が増す中、MoEモデルへの効率的な対応はAIアクセラレータの競争力を左右する要素になっている。SN50がEPをサポートすることで、DeepSeek V3のような大規模MoEモデルを実用的な効率で稼働させる基盤として位置づけられている。
Intelとの関係について
元記事はServeTheHomeによるHot Chips発表のレポートであり、SambaNova単体の技術発表を中心に構成されている。Intelとの連携については元記事に明示的な記述は確認されていない。この点は本稿では触れないこととする。
詳細はSambaNova's SN50 RDU for AI at Hot Chips 2026を参照していただきたい。
