7月15日、SiliconAngleが「Agentic inference reshapes AI infrastructure at RAISE Summit」と題した記事を公開した。この記事では、エージェンティック推論の普及がAIインフラのボトルネックをコンピュートからストレージ・資本・データ主権へと拡大させている実態について詳しく紹介されている。

GPUクラスタへの投資を積み上げてきた企業が、次のボトルネックとして「ストレージの速度」「資金調達の遅さ」「データの管轄権」という、従来とは異なる課題に突き当たり始めている。RAISE Summitでの複数の講演者の発言を軸に、AIインフラを再構築する論点が整理されている。

GPUを止めるな：ストレージが「AIメモリの延長」へ

最も実務的な示唆を持つのが、ストレージの役割変化だ。

エージェンティックAIは長期間にわたるセッションを処理するため、コンテキストデータの量がGPUメモリ容量を超えるケースが増えている。SK Hynix傘下のNANDストレージメーカー・SolidigmのSVPであるGreg Matsonは次のように説明する。

「GPUはインフラの中で最もコストの高い部品だ。だから常に100%稼働してトークンを生成し続けさせたい。データ待ちで止まっているなら、GPUに払った費用を無駄にしているのと同じだ。」

ハイパースケーラーは、GPUに隣接する位置に大容量SSDを配置する構成へのリプレースを進めている。SolidigmはAI Central Labを通じて、ストレージを単独コンポーネントではなくAIシステム全体の一部として評価するアプローチを取り、実際のワークロードで性能検証を行っている。

同社VPのAvi Shettyの言葉が現場感を示している。

「誰もデータシートのランダムリード・ライト性能を気にしていない。今みんなが知りたいのは、AIデータセンターのAIワークロードでどう動くか、それだけだ。」

ストレージの評価軸が「IOPS」から「AIワークロードでの実挙動」へと移っているのは、インフラ選定の判断基準としても押さえておきたい変化だ。

スタック全体の専門化：チップからアーキテクチャまで

インサイト1：AIスタックの専門化が加速

AMDのCTOであるMark Papermasterは、CPUとGPU、アダプティブコンピューティング、ネットワーキングを横断して最適化するアプローチを説明した。ROCmソフトウェアスタックは、データセンタークラスタからエッジ、AI PCまで一貫したレイヤーを提供することを目指している。

「ワークロードが複雑化している。人々は個別タスクではなく、エンドツーエンドのプロセス全体を見ている。そうなると異なるコンピューティングエンジンが必要になり、大規模なラッククラスタ全体で協調させなければならない。」

電力効率の面では、Tensordyne IncのNapierチップが独自アプローチを取る。Paretoログ数値系（乗算演算を加算に置き換えることで大型乗算回路を不要にする数値表現方式。指数部を対数空間で扱うことで、乗算が加算と等価になる性質を利用している）を採用し、72チップ構成のNapier podの消費電力は30kW。比較対象のNvidiaシステムが150kWであるのと対照的だ。ユーザーには通常の浮動小数点演算と同じインターフェースで見えるため、ソフトウェア側の変更は不要という。対数数値系の詳細についてはLogarithmic Number System（Wikipedia）も参考になる。

インサイト2：分解型推論による役割分担の最適化

d-MatrixのCorsairアクセラレータとNvidia HopperおよびBlackwell GPUを組み合わせたParasailデプロイメントが、プレフィル（計算負荷が高い処理）とトークン生成（レイテンシ重視の処理）を別々のハードウェアで処理する分解型推論（disaggregated inference）のケースとして紹介された。d-MatrixのCTOであるSudeep Bhojaはこう述べた。

「今日のキーワードは低レイテンシだ。エージェントは長時間動作する。ユーザーは待ちたくない。」

単一のGPUクラスタにすべての処理を集約するのではなく、処理フェーズごとに最適なシリコンを割り当てる設計思想が、エージェンティックワークロードにおける現実解として浮上している。

資本調達とデータ主権：インフラの新たな構成要素

インサイト3：資本とデータ主権がスタックに組み込まれる

エージェンティックAIプロジェクトは、電力とGPUだけでなく、資金調達の速度でも詰まるケースが出ている。Argentum AI Inc.のCEO Andrew Sobkoは、顧客との契約を先行して確保してから資本を投下する「需要先行モデル」を説明した。

「デプロイ速度の最大のボトルネックは資本調達だという結論に至った。電力・コンピュート・資本の三つをセットで提供することが我々の核心的プロダクトになっている。」

データ主権についても、コンプライアンス対応からインフラアーキテクチャの問題へと重心が移っている。Agentcy Labs CEOのAmit Eyal Govrinは主権の概念を以下の5層に分解し、「他社のスタックに家賃を払わない」状態を目指すべきと語った。

• 領土（Territory）：データが物理的にどの国・地域に存在するか
• 運用（Operations）：誰がシステムを運用・管理しているか
• スタック（Stack）：使用するソフトウェア・ハードウェアの出自と依存関係
• 法律（Legal）：適用される法域と規制フレームワーク
• ユニットエコノミクス（Unit Economics）：外部スタックへの依存がコスト構造に与える影響

この5層の整理は、データ主権をクラウドベンダー選定の問題としてだけでなく、ビジネスモデルの持続性まで含めた構造問題として捉え直す視点を提供している。

Neo4jのCTO Philip Rathleは、知識グラフ（Knowledge Graph）を確率的なLLMの「左脳」として活用することで、決定論的なビジネスルールと説明可能性をAIに組み込めると述べた。

「LLMは自発的で創造的だが、ミスを犯し、なぜ間違えたかもわからない。グラフをLLMの左脳として持つことが、グラフの本質的な役割だ。」

AIインフラの議論が「どのGPUを買うか」から「ストレージ配置・電力設計・資金調達・データ主権」まで広がっている現在、CTO層の技術選定において考慮すべき軸が増えていることをこの記事は示している。

詳細はAgentic inference reshapes AI infrastructure at RAISE Summitを参照していただきたい。