AMDとCerebrasがAI推論の「Prefill」と「Decode」を分業する構成を発表 — レイテンシ競争が激化するエージェント型AI時代への回答

7月24日、AMDが「AMD and Cerebras Announce Industry-Leading Ultra-Low-Latency and High Throughput AI Inference Solution」と題した記事を公開した。AMDとCerebrasが共同で超低レイテンシ・高スループットのAI推論ソリューションを発表したもので、推論パイプラインをハードウェアレベルで役割分担させるという、従来とは異なるアーキテクチャアプローチが注目を集めている。

「Disaggregated Inference」という設計思想

今回の発表の核心は、推論ワークフローをPrefillフェーズとDecodeフェーズの2段階に分離して最適化する「Disaggregated Inference（分離型推論）」という構成にある。

大規模言語モデルの推論処理には、大きく2つのフェーズがある。

Prefillフェーズ：入力プロンプトや大規模コンテキストを処理する段階。大量のデータを並列処理するためGPUが有利で、スループットが主な評価軸となる
Decodeフェーズ：トークンを1つずつ逐次生成していく段階。メモリ帯域幅がボトルネックになりやすく、レイテンシが直接ユーザー体験の品質に影響する

従来の構成ではこの2フェーズを同一ハードウェアで処理するため、それぞれに最適化されたアーキテクチャを使い分けることができなかった。AMDとCerebrasの今回の構成は、この2つを別々のハードウェアに割り当てることで、それぞれの得意領域を最大限に活かす。

AMD Helios：Prefillフェーズを担当。AMD Instinct GPUをベースとしたラックスケールソリューションで、大量の複雑なリクエストを高スループットで処理する
Cerebras Wafer-Scale Engine（WSE）：Decodeフェーズを担当。1枚のシリコンウェハー全体をチップとして使う独自アーキテクチャにより、極めて高いオンチップメモリ帯域幅を実現し、超低レイテンシでトークンを生成する

この組み合わせにより、最大5倍のトークン毎秒・毎ワット（T/s/W）の効率向上が期待されるとしている。この「5倍」という数値は、元記事によれば従来の統合型推論構成（単一ハードウェアでPrefillとDecodeを処理する構成）と比較した場合の値である。

AMD HeliosとCerebras WSEの背景

AMD Heliosは、複数のAMD Instinct GPUを高速インターコネクトで接続したラックスケールの推論プラットフォームだ。大規模なコンテキストウィンドウや並列バッチ処理に強みを持ち、Prefillのように計算集約型の処理に適している。

Cerebras WSEは、一般的なGPUとは根本的に異なるアーキテクチャを持つ。通常のGPUがHBM（High Bandwidth Memory）などの外付けメモリに依存するのに対し、WSEはウェハー全体を1チップとして使うことで、桁違いのオンチップSRAM帯域幅を確保する。Decodeフェーズにおけるボトルネックがまさにメモリ帯域幅にあることから、この特性が直接的な優位性につながる。

両者の組み合わせは、互いの弱点を補完し合う関係にある。HeliosがPrefillの重い計算を引き受け、WSEがDecodeの低レイテンシ生成を担うことで、単一ハードウェアでは達成しにくいトレードオフを解消する構成となっている。

なぜ今このアーキテクチャが求められるのか

AIの推論ワークロードは均質ではない。大量のバッチ処理を優先する用途と、コーディング支援・リアルタイムコパイロット・ライブエージェント・エージェント型ワークフローのように応答速度が直接ユーザー体験を左右する用途では、要件が根本的に異なる。

特にエージェント型AIが普及するにつれ、1回のユーザー操作に対してモデルが複数回推論を繰り返すパターンが増えており、各推論のレイテンシが積み重なって全体の応答速度に影響する。Decodeフェーズの高速化はこの文脈で直接効いてくる。

AMDのCEO、Lisa Su博士は次のようにコメントしている。

「AIインフェレンスはAIにおける最大のインフラ機会の一つになりつつある。AMDとCerebrasの協業により、最もレイテンシに敏感なアプリケーションへのリーダーシップを拡張し、リアルタイムのエージェント型AIのための強力な新プラットフォームを構築する」

Cerebras CEOのAndrew Feldman氏も以下のように述べている。

「超高速推論への需要は前例のないペースで拡大している。AMDとの提携により、そのパフォーマンスをさらに多くの顧客に届ける機会を得た」

提供時期と提供形態

CerebrasはAMD Heliosを自社データセンターに展開する計画で、2026年後半にCerebras Cloud経由でのサービス提供開始を予定している。まず外部からはクラウドサービスとしてアクセスする形になる。オンプレミス導入やエンタープライズ向けの個別展開については現時点で明示されていないが、クラウド経由での提供という形態は、ハードウェアの調達コストや運用負荷を負わずに超低レイテンシ推論を利用できる点で、幅広い開発者・企業にとってのアクセスポイントとなり得る。

今回の発表は、モノリシックなGPUクラスタによる推論という既存の常識に対し、ワークロードの特性に応じてハードウェアを使い分けるという設計思想を示したものとして注目に値する。エージェント型AIのインフラ議論に新たな視点を加える提携といえるだろう。

詳細はAMD and Cerebras Announce Industry-Leading Ultra-Low-Latency and High Throughput AI Inference Solutionを参照していただきたい。