6月13日、IEEE Spectrumが報じたところによると、Nvidiaは最新のAIテストでの圧倒的な成果を発表した。長年にわたり、Nvidiaは多くの機械学習ベンチマークで支配的な地位を築いている。

MLPerfは、しばしば「機械学習のオリンピック」と呼ばれるAIベンチマークスイートであり、競合するコンピュータシステム間の比較をより明確にするための新しいトレーニングテストを発表した。この新しいテストには、大規模言語モデルの微調整とグラフニューラルネットワーク（GNN）が含まれる。

今回のテストには、GoogleやIntelのAIアクセラレータを使用したシステムも参加したが、NvidiaのHopperアーキテクチャを搭載したシステムが再び圧倒的な結果を示した。特に、11,616個のNvidia H100 GPUを搭載したシステムは、9つのベンチマークすべてでトップを飾り、そのうち5つ（新しいベンチマーク2つを含む）で記録を更新した。

「ただハードウェアを投入するだけでは改善されるわけではない。」
— デイブ・サルバトーレ（Nvidia）

サルバトーレ氏は、11,616-H100システムが「これまでで最大のものだ」と述べている。このシステムは、GPT-3トレーニング試験を3.5分未満で突破した。比較のため、512-GPUシステムでは約51分かかった。この結果は、昨年のGPT-3トレーニングにおけるNvidiaの最大エントラントに対して3.2倍の改善を示している。

サルバトーレ氏によると、「基本的に線形スケーリングを達成している」とのことだ。つまり、GPUの数を2倍にするとトレーニング時間が半減する。これはNvidiaのエンジニアリングチームによる大きな成果だと強調している。

新しいベンチマーク

MLPerfは、AI業界の動向に合わせて新しいベンチマークを追加し、既存のものをアップグレードしている。今年は大規模言語モデル（LLM）の微調整とグラフニューラルネットワーク（GNN）の追加が行われた。

微調整では、既に訓練されたLLMを特定の分野で使用するために専門知識で再訓練する。例えば、Nvidiaは43億パラメータのモデルを再訓練し、自社の設計ファイルやドキュメントに特化したChipNeMoを作成した。

MLPerfベンチマークでは、事前訓練されたLlama-2-70Bモデルを使用し、政府文書のデータセットで再訓練して、より正確な文書要約を生成することを目指している。

さらなる改善

Nvidiaは、昨年と同じHopperアーキテクチャを使用しながらも、トレーニング時間を改善し続けた。これはすべてソフトウェアの改善によるものである。サルバトーレ氏によると、新しいアーキテクチャがリリースされると、ソフトウェアによる2～2.5倍のブーストが得られるとのことだ。

GPT-3トレーニングでは、2023年6月のMLPerfベンチマークから27％の改善が見られた。これは、8ビット浮動小数点操作のトリミングや、各チップの計算エンジンの電力予算の調整、GPU間の通信の高速化など、複数のソフトウェア変更によるものである。また、フラッシュアテンションと呼ばれるアルゴリズムも導入された。

詳細はNvidia Conquers Latest AI Tests​を参照していただきたい。