10月15日、Semiconductor Engineeringが「Agentic AI Alters The CPU-GPU Balance」と題した記事を公開した。エージェント型AIの台頭によってデータセンターにおけるCPUとGPUの役割バランスが変化しつつある実態について詳しく紹介されている。

CPUとGPUの比率が1:4から1:1へ近づく可能性

GPUがAIワークロードの主役であることは疑いないが、エージェント型AI（Agentic AI）の普及がその前提を崩しつつある。

従来の推論タスク——LLMに質問を投げて回答を得る——はGPUが得意とする並列演算に適していた。CPUはその場合、ホストとして複数のGPUの管理や通信の橋渡しを担う程度で、CPU:GPU比は約1:4が標準的だった。

ところがエージェント型AIでは話が変わる。エージェントはモデルから返答を受け取るだけでなく、その結果に基づいて次の行動を決定する。これは本質的にif-then-elseの分岐ロジックであり、GPUが苦手とする処理だ。CPUの出番が格段に増える。

「かつての課題は、1台のCPUに対してどれだけ多くのAIアクセラレータを接続できるかだった。エージェント型AIでは、CPUの負荷が増大し、その比率が変わってきている」——Ron Lowman（Synopsys、IP戦略マーケティングマネージャー）

業界の試算では、エージェント型ワークロードによってCPU:GPU比が1:1に近づく可能性があるという。ArmのSatadal Bhattacharjee（グローバルクラウド・AIインフラシリコン責任者）も「電力効率の高い方法でエージェントを動かしたい需要が急増しており、CPU需要が大幅に高まっている」と述べている。

QCI（Quantum Computing Inc.）のCTO、Yong Meng Suaは端的に言い切る。「だからこそ今、CPUが非常に高価になっている」。QCIは量子・古典ハイブリッドコンピューティングを手がける米国企業で、エッジからクラウドまで幅広いAIインフラの動向を注視する立場にある。

エージェントへのリクエストは1回のクエリで完結せず、タスクを遂行する過程で多数のクエリを連鎖的に発行する。これがCPU負荷をさらに押し上げる要因となっている。

MoEアーキテクチャ：「全員総出」をやめる

LLMのもう一つの変化として、Mixture-of-Experts（MoE）モデルの普及が挙げられる。

通常のLLMはすべてのトークンを巨大なモデル全体に通す。対してMoEは、モデルの特定レイヤーに複数の「専門家（expert）」を配置し、ルーター（gating function）がトークンごとに適切なエキスパートを選択して処理を委ねる仕組みだ。

Synopsysのプロダクト管理ディレクター、Priyank Shuklaはこう説明する。「以前のLLMはパラメータを増やせば性能が上がるスケーリング則に依拠していた。MoEでは、たとえば1兆パラメータが法律専門、別の1兆が数学専門というように分割できる。フロントエンドモデルが質問を適切なモデルに振り分ける」。

Fig. 1：SLM vs. MoE。特化型LLMをSLMに凝縮したものと、ルーターが次のトークンを処理する「エキスパート」を選択するMoEモデルの比較。出典：Bryon Moyer/Semiconductor Engineering

MoEの肝はスパース活性化にある。総パラメータ数はむしろ通常のLLMより多くなるが、各トークンの処理に使われるのはその一部だけだ。「すべてのパラメータが毎回の推論に参加しなくてよい。これがMoEの主要な利点」（Bhattacharjee）。

一方でSLM（Small Language Model）との違いも明確だ。SLMは特定領域に絞り込んだ独立したモデルであり、単体で動作する。MoEは単一モデルの内部に複数のエキスパートを持ち、広範なトピックをカバーできる代わりにモデルサイズは大きくなる。

なお、MoEの消費電力については一概には言えない。ルーティング、メモリアクセス、デバイス間通信のオーバーヘッドが追加されるため、「効率はパラメータ数だけでなく、システム全体の設計に依存するようになっている」とBhattacharjeeは指摘する。

リザーバーコンピューティング：ランダムなモデルが電力効率に優れる理由

記事ではより特殊なアーキテクチャとしてリザーバーコンピューティング（Reservoir Computing）も取り上げている。主流のLLMやMoEとは異なる系譜に属するアプローチであり、記事中でも「広く採用されているわけではない」と位置づけられている。

時系列データの処理に特化したこのモデルは、大部分がランダムな固定ネットワーク（「リザーバー」）で構成される。学習が必要なのは最終出力層のみで、訓練コストが大幅に低い。通常のニューラルネットワークでは全層の重みを誤差逆伝播で更新するのに対し、リザーバーコンピューティングでは固定されたリザーバーが入力信号を高次元の状態空間に写像し、その出力だけを学習する。この構造上の単純さが、低消費電力・高速な適応という特性につながっている。さらに、リザーバー部分はシリコンにハードコードできるため、更新が必要な重みはわずかで済む。

「動的な時系列入力を扱う特化型アプローチで、低電力・高速な適応が求められる場面で有効だ」（Bhattacharjee）。

用途は限定的だが、エッジデバイスや電力制約の厳しい環境での活用が視野に入る。LLMやMoEが主戦場とするクラウド・データセンター領域とは異なるニッチを担う存在として、AIアーキテクチャの多様化を象徴する事例といえる。

推論モデルはGPU主体を維持

エージェント型AIがCPU需要を押し上げる一方、推論モデル（Reasoning Model）はGPUを引き続き主体とする。

推論モデルはクエリに答える前に追加の思考プロセスを実行し、回答の導出過程を示せる場合もある。「知識・文脈・質問者への理解を統合し、より包括的な回答を生成する」（Bhattacharjee）。この処理はトークン生成とニューラルネットワーク演算を伴うため、GPUやAIアクセラレータが適している。

商用実装例としてはOpenAIのo1/o3シリーズとDeepSeek-R1が挙げられている。

エージェント型AIの普及は、ハードウェア調達の観点でも無視できない変化をもたらしている。GPU偏重だったデータセンター設計において、CPUの役割と需要が構造的に増大している。MoEはGPU上で動くものの、パラメータの利用効率を根本から変える。リザーバーコンピューティングは電力効率の高いニッチな用途に存在感を示す。AIアーキテクチャの多様化が、チップの役割分担を再定義しつつある。

詳細はAgentic AI Alters The CPU-GPU Balanceを参照していただきたい。