8月19日、Semiconductor Engineeringが「The Future Of AI Compute Won't Run On Just One Kind Of Chip」と題した記事を公開した。AIデータセンターにおける異種チップ混在（ヘテロジニアス）アーキテクチャへの移行と、それを支えるソフトウェア・インターコネクト技術の現状について、半導体業界の主要企業6名のエキスパートによる座談会形式（全3回シリーズの第3回）で詳しく語られている。第1回・第2回は同メディアのシリーズページから参照できる。
Arm、Cadence、Synopsys、Siemens EDA、Expedera、Axiomiseの専門家6名が参加したこの座談会は、GPUに何でも押し込む時代が終わりつつあるという共通認識のもと、推論パイプラインの分解（Inference Disaggregation）、インターコネクト選定、そしてソフトウェア統合の課題を率直に論じている。
「GPUだけ」の時代が終わる理由：推論の分解（Inference Disaggregation）
この議論の核心は、推論パイプラインを機能ごとに分割し、それぞれ最適なハードウェアで処理するという設計思想にある。
ArmのSatadal Bhattacharjeeはこう説明する。推論には大きく3つのフェーズがある。
- Prefillフェーズ：入力プロンプトを処理し、何をすべきかを把握する段階。極めて計算集約的。
- Decodeフェーズ：実際の応答を生成する段階。
- エージェント実行フェーズ：ツール呼び出し（例：Uber予約、ホテル検索）を実行する段階。
PrefillクラスターにGroq LPU（Language Processing Unit）を採用する動きや、DigitalOceanがAMDとNvidiaを組み合わせた5レイヤー推論アーキテクチャを発表したことは、「GPUだけでは賄えない」という業界の認識を象徴している。
これらのクラスターは現状、主にEthernetで相互接続されているが、それぞれが異なるハードウェアとソフトウェアの組み合わせを持つ。Bhattacharjeeは「すべての釘に一本のハンマーは要らない」と端的に表現している。
並列化戦略とネットワークトポロジーの複雑さ
Expedera（エッジAI向けの推論IPを手がける半導体IPスタートアップ）のSharad Choleが指摘する通り、モデルの大規模化とともにHBM（High Bandwidth Memory）の利用効率がボトルネックになっている。データセンターレベルでは、APIスループット（リクエスト/秒）を最大化するために、以下の並列化戦略を組み合わせる必要がある。
- Tensor Parallel：All-reduceとブロードキャストを使う。NVLinkのような高速インターコネクトが必須。
- Data Parallel：データを分割して並列処理。
- Context Parallel：コンテキストを分散処理。
- Pipeline Parallel：点Aから点Bへの直線的なデータフロー。
それぞれがトポロジー要件を異にするため、クラスター設計段階からこれを意識しなければならない。1GPUから8GPUへスケールアウトして8倍に近いパフォーマンスを得ることが「常に難題」とCholeは述べている。
インターコネクト：Ethernetか、InfiniBandか、光か
クラスター間の接続技術については、主要な選択肢が整理されている。
- InfiniBand：現在最も広く使われているラック間接続。銅線ベース。
- Slingshot（HPE）：Top500リストでも採用される高性能Ethernetベース技術。ただしHPE Crayシステムに限定される。
- Ethernet：汎用性が高く、独自プロトコルの台頭がイノベーションを促してきた歴史がある。
そして次の段階として注目されているのが光インターコネクト（Optical Interconnect）だ。GoogleのTPUはすでに光接続を採用している。SynopsysのSumit Vishwakarmaは「電子（電気）より光子（光）の方が速い。抵抗もなくエネルギー散逸もほぼない」と述べ、コパッケージドオプティクス（Co-packaged Optics）——チップ近傍、さらにはチップ内部への光接続の組み込み——が研究段階にあることを紹介している。
同時にVishwakarmaは、マルチダイパッケージにおけるマルチフィジクス（熱・反り・エレクトロマイグレーション）の問題も提起している。HBMを含む複雑なパッケージが熱や反りで破損すれば、クラスター全体に影響する。
ヘテロジニアス環境を統括するソフトウェアの難しさ
異なるベンダーのハードウェアが混在するクラスターでは、ソフトウェアがそれぞれのハードウェアを適切に使い分けることが求められる。CadenceのMoshiko Emmerはこう整理する。
「パイプラインはより細かく分割される。一部のステップは制御が重く、状態を持ち、分岐が多い。その他はまだ大規模並列のテンソル演算だ。ハイブリッドアーキテクチャはこれに自然に適合する」
ここで課題となるのが、複数ベンダーのランタイム・コンパイラ・スケジューラーを横断して一貫したパフォーマンスを引き出す統合レイヤーの不在だ。現状では各ハードウェアベンダーが独自のソフトウェアスタックを持ち、ヘテロジニアス構成全体を俯瞰して最適化できる共通の抽象化レイヤーは成熟していない。この点が、ハードウェアの多様化が進む一方でソフトウェアの複雑性を急増させる要因として議論の中で繰り返し指摘された。
Siemens EDAのCameron Brunnerは、将来的には量子コンピューターとの統合も視野に入ると述べており、クラスター内のヘテロジニアス性はさらに拡大すると見込む。
AxiomiseのAshish Darbariはクラスター設計の本質的な変化を指摘する。「クラスターは設計問題を『強力な1台を作る』から『協調する分散システムをエンジニアリングする』へと変えた」。チップ間接続の標準化としては**UCIe（Universal Chiplet Interconnect Express）**が複数ベンダー間の相互運用性を高める規格として浮上している。
トレーニングから推論へ、そして単一GPUクラスターから機能別ヘテロジニアスクラスターへ——この移行においてトークンコスト削減を左右するのは、ハードウェア選定と同程度にソフトウェア統合の質だ、というのが6名の共通見解だ。
詳細はThe Future Of AI Compute Won't Run On Just One Kind Of Chipを参照していただきたい。
