NVIDIAが576基のGPUを「1つの巨大GPU」として束ねる新構成を発表 — 10兆パラメータモデルを動かすために、ラック丸ごと1つのGPUとして扱う
DRANK

10月23日、Hassan Mujtabaが「NVIDIA To Connect 576 Rubin Ultra GPUs Using CPO To Create One Giant GPU With The "Highest Performance per Watt" on the Planet Next Year To Drive 10 Trillion-Parameter AI Models」と題した記事を公開した。NVIDIAが次世代CPO(Co-Packaged Optics)技術とNVLink 7を用いて576基のRubin Ultra GPUを論理的に1基の巨大GPUとして扱うラックスケール構成「Vera Rubin Ultra NVL576」を発表したというもので、10兆パラメータモデルの実運用を見据えた設計思想が随所に見て取れる。

by @tf_official
Related Topics: AI Deep Learning CUDA