10月13日、NVIDIAが「OCP Global Summit: Amid Ecosystem Adoption, NVIDIA Opens Vera Rubin Architecture to Help Scale AI Factories Worldwide」と題した記事を公開した。NVIDIAはOCP(Open Compute Project)のグローバルサミットにて、次世代GPU「Vera Rubin」のラック・コンピュートトレイ設計をオープン化し、Google・Meta・Microsoftらと連携してAIファクトリーの標準化を推進することを発表した。注目すべきは、MetaがNVIDIAの最新イーサネットスイッチ「Spectrum-6」を採用し、10万GPU超規模のAIファクトリー構築に踏み出す点だ。ハードウェア設計からネットワークファブリック、電力グリッド対応まで、業界横断でオープン化が一気に進んだ内容となっている。
Vera RubinラックをOCPへ貢献——MGX 1.2の中身
今回の発表の核心は、NVIDIAがVera Rubin時代のラック・コンピュートトレイ設計をOCPに貢献したことだ。OCPはMeta(旧Facebook)が2011年に立ち上げたデータセンターハードウェアのオープン標準化団体で、現在はGoogle・Microsoft・NVIDIAなど主要企業が参加している。
設計はオープンアーキテクチャであるNVIDIA MGXの第3世代仕様「MGX 1.2」として策定された。MGXはNVIDIAが主導するモジュール型サーバー設計標準で、第1世代(2022年)でベースライン仕様を確立、第2世代で液冷対応を強化してきた経緯がある。今回のMGX 1.2はVera Rubin世代の超高密度・高電力環境に対応する大幅な拡張版であり、システムビルダーが次世代AIファクトリーを構築する際の共通基盤となる。
MGX 1.2の主な追加要素は以下のとおりだ。
- ラックスケールのブラインドメイト液冷(配線不要で着脱可能な液冷接続)
- 5,000Aの液冷バスバー(高電力AI向け)
- 19インチ機器のネイティブ対応と高密度ラック設計
- ファンレス液冷コンピュートトレイ、標準化された電源・冷却インターフェース
- 最大250kWのラック展開をサポート
単なる仕様策定にとどまらず、製造・フィールドサービスの効率化を意図した設計になっており、エコシステムパートナーが互換性のあるプラットフォームを構築しやすい構造になっている。
また、今回Vera CPU専用のラック設計仕様も公開された。Vera Rubin NVL72が大規模トレーニング・推論の基盤であるのに対し、NVIDIA Vera CPUラックはエージェントAI向けのツール呼び出し、オーケストレーション、サンドボックス実行を担う役割として設計されている。
DSX AIファクトリー向けOSSコンポーネントを新規公開
NVIDIA DSXプラットフォーム向けに、以下4つのオープンソースコンポーネントが公開された。いずれもNVIDIAが自社のDGX Cloudを運用する中で培った実装を基にしている。
- **NVIDIA Config Manager**:スイッチ設定を自動化し、AIファクトリーのネットワークファブリックを手動介入ゼロで展開・維持する
- **NVIDIA Cluster Readiness Engine**:実ワークロードに近いシミュレーションでGPUクラスターをストレステストし、トレーニング開始前にハードウェアの健全性を保証する
- **NVIDIA Rack Management Service**:ラックをファーストクラスの管理単位として扱い、スケールでのファームウェア管理を簡素化する
- Cluster API Provider for NVIDIA Infrastructure Controller:ベアメタルのAIハードウェアを数日ではなく数時間で本番クラスターに変換する
クラウドプロバイダーやソフトウェアパートナーがマルチテナントプラットフォームに直接組み込むことを想定した設計だ。
Google・Meta・MicrosoftとオープンなAIファクトリー標準を策定
ハードウェアと同様に重要なのが、業界横断での標準化の動きだ。
NVIDIAはAMD・Google・Metaと共同で**Open Data Center Specification v0.7**を公開した。電源アーキテクチャから冷却インフラ、物理レイアウトまで、次世代AIファクトリー設計の統一仕様を定めるものだ。
さらに、Google・Meta・Microsoft・NVIDIAが共同で**OCP Grid Resilience Specificationを策定した。電力グリッドの障害発生時に大規模AIインフラがどう振る舞うべきかを規定し、2秒以内にほぼ全負荷へ復帰**することを要件としている。
これらの標準がオープン化されたことで、機器メーカーやコロケーションプロバイダーは、個別顧客の独自仕様を待たずに設計・製造・納品を進められるようになる。
MetaがSpectrum-6を採用——10万GPU超のファブリック構成へ
MetaはNVIDIA Spectrum-6 102.4Tb/s Ethernetスイッチを採用し、Vera Rubin AIファクトリーを構築することを発表した。なお、Vera RubinはNVIDIAのGPUアーキテクチャの世代名であり、Hopper(H100世代)、Blackwell(B100/B200世代)に続く次世代にあたる。Spectrum-6はその一世代前にあたるSpectrum-4と比較してスイッチング容量とレーン帯域幅が2倍になっており、200Gレーン単位のロスレスEthernetファブリックを提供する。
MetaのSpectrum-6ベーススイッチ「N-IceCube」は、液冷ラック「IcePack」に搭載される。OSにはMetaのオープンソースネットワークOSであるFBOSSを使用し、OCP標準のSwitch Abstraction Interface(NVIDIAが開発に貢献)上で動作する。
中核技術となるのがSpectrum-X Multiplaneだ。GPU間のトラフィックを最大8つの独立したネットワークプレーンにハードウェアで分散することで、10万GPU超のAIファクトリーをより少ないスイッチ階層・低コストで構成できる。コンポーネント障害時には残りのプレーンに自動的にトラフィックが移行し、帯域が縮小しても処理を継続する。
Metaのデータセンター・AIネットワーク部門シニアディレクターのOmar Baldonado氏は次のようにコメントしている。
「マルチプレーンファブリックを運用可能なスケールとパフォーマンスで実現するNVIDIAとの密接なパートナーシップに期待している。FBOSSをSpectrum ASICに拡張することで、同じソフトウェアスタックを我々のファブリック全体で動かせる」
その他の発表
- NVIDIA×Cisco:USFP標準——「Ultra-Dense Small Form Factor Pluggable(USFP)」は、400Gb/sネットワークファブリック向けに策定された業界初のモジュール規格だ。従来のQSFP系モジュールと比較して高密度実装を可能にし、次世代AIファクトリーのケーブリング集約に貢献することが期待される
- NVIDIA×Google:Falcon Transportサポート——Falcon Transportは低レイテンシ・高信頼性のデータセンター内トランスポートプロトコルで、将来のConnectX-10 SuperNICおよびBlueField DPUへの対応が発表された。大規模分散AIワークロードにおけるGPU間通信の効率化を担う位置づけだ
- Visionbay:800VDC AIファクトリー「K-1」——NVIDIAの800 VDCリファレンスアーキテクチャとVertivの電源・熱管理技術を組み合わせた高密度AIインフラ基盤。クラスターレベルの電源センターでAC-DC変換を集約し、800VDCをコンピュートリソースの近くに配電することで、従来の低電圧配電が抱えるスケーリングの難しさを解消する
詳細はOCP Global Summit: Amid Ecosystem Adoption, NVIDIA Opens Vera Rubin Architecture to Help Scale AI Factories Worldwideを参照していただきたい。