10月20日、madrobot.blogが「Meta is wiring a million GPUs together in Ohio to work as one AI machine」と題した記事を公開した。MetaがオハイオのNew Albanyに構築したギガワット級スーパークラスター「Prometheus」の詳細な技術構成について、障害率の推移や電力管理の手法を含めて論じている。
フロンティアAIの競争は、もはやモデルの設計だけで決まらない。電力、ネットワーク、そして障害率をどこまで下げられるか——Prometheusはその答えを数字で示した最初の事例だ。
GPU約100万枚が「一台のマシン」として動く
Prometheusは、オハイオ州New Albanyに置かれたMetaのスーパークラスターである。現在は「数十万GPU」が稼働中で、最終的には約100万GPUが一体として同期動作する設計だ。複数の建屋（既存データセンター、AI最適化新棟、仮設の「Rapid Deployment Structure」、パートナーからのリース施設）を2kmから100km超のファイバーで接続しており、ファイバーの総延長は「数百万マイル」、スイッチは数万台、光部品は数百万点に達する。
「Rapid Deployment Structure」とは、大型テント状の仮設構造物に電力・冷却・ネットワークを引き込んだ施設形態で、永久建屋の建設期間を短縮しながら計算資源を先行投入するための手法だ。
これだけの規模になると、光速そのものが問題になる。建屋間の距離が長ければ信号の往復時間が学習の足を引っ張るため、Metaはトレーニングソフトウェアを伝播遅延に合わせてチューニングしたという。
このクラスターは、直近で発表された「Muse Wonder」モデルのトレーニングに使用された。Muse WonderはMetaが2025年に公開した大規模マルチモーダルモデルで、テキスト・画像・動画を横断した生成・推論能力を持つフロンティアモデルと位置付けられている。次フェーズはMeta Superintelligence Labsが開発する次世代フロンティアモデルを見据えて構築中だ。
3世代のNvidiaハードウェアが混在
Prometheusは「72GPUで一台のアクセラレーター」として振る舞うNvidiaのラックスケールシステムで構成される。各ラック内のGPUはNVLinkと呼ばれるNvidia独自の高帯域幅GPU間インターコネクトで密結合されており、PCIe接続と比べて大幅に高いバンド幅と低いレイテンシを実現する。現在稼働中および予定される3世代は以下のとおりだ。
- Catalina（GB200 NVL72）: Blackwell GPU×72、メモリ192GB/枚、2ラックで約120kW
- Clemente（GB300 NVL72）: Blackwell Ultra GPU×72、メモリ288GB/枚、FP4演算でエクサフロップ超、1ラックで約135kW
- San Miguel（Vera Rubin NVL72）: 近日導入予定。完全液冷、1ラックで170kW超、GB300比で電力効率10〜20%向上
各GPUの消費電力は約1,400W。Metaは72枚中64枚で学習ジョブを走らせ、残り8枚をホットスペアとして確保している。障害が発生すると即座にスペアへ切り替え、最後のチェックポイントから再開する。32,768GPU規模のトレーニングラン1本に必要なのは523ラック、37,656GPUだ。
障害率を1年で99%削減した経緯
Prometheusが2025年中頃に稼働を開始した当初、8,000GPU当たり1日約1,000件のインタラプトが発生していた。これを1年間の改善作業（2025年3月の「スタビリティスプリント」を含む）とNvidiaエンジニアの常駐配置によって99%削減した。
初期の主因はGB200チップ間を結ぶNVLink接続（60万本超）での信号問題で、GB300ラック導入後はメモリ障害が主たる問題に移行した。
Muse Wonderのトレーニング中、クラスターは以下のGoodputを記録した。GoodputはAI学習文脈における有効計算時間率を指す指標で、全稼働時間のうちモデルの重みを実際に更新できた時間の割合を表す。障害・チェックポイント復旧・メンテナンスなどに費やされた時間はGoodputに算入されないため、クラスターの実質的な生産性を測る上で重要な指標となっている。
- 事前学習：85%超
- 強化学習：90%超
- インタラプト間隔：約47,000 GPU時間（現在は54,000時間超に改善、目標は約100,000時間）
この数字はMetaが自社で公開したもので、スーパークラスターの実運用数値がここまで詳細に開示されるのは珍しい。
電力変動「数十メガワット」を数秒で吸収する仕組み
数万GPUが一斉に演算・停止するため、Prometheusのサイト消費電力は30〜40%の幅で変動し、大規模ジョブの開始・停止時には「数秒で数十メガワット超が動く」とされる。
これに対応するためMetaが開発したのが「Dynamo Dimmer」というソフトウェアだ。クラスターが電力上限に近づくとGPUの電力上限を段階的に引き下げ、仕事を止めずに消費電力を平滑化する。ラック搭載バッテリー、キャパシタートレイ、サイト全体の蓄電システムも組み合わせる。
この電力変動問題はMetaだけの話ではない。Google、Microsoft、Nvidiaを含む主要AI企業が系統運営者に対して電力変動の抑制に取り組むと表明しており、データセンターの急増に伴う送配電網への影響は業界横断の共通課題となっている。
冷却は建屋によって異なり、旧棟はエアアシスト液冷、AI専用新棟は施設から直接液体を配管する方式を採用。次世代スーパークラスターの「Hyperion」（ルイジアナ州Richland Parish）はPrometheusの知見をもとに設計される。
詳細はMeta is wiring a million GPUs together in Ohio to work as one AI machineを参照していただきたい。
