8月14日、InfoWorldが「Understanding the economics of AI factories」と題した記事を公開した。この記事では、データセンターが「AIファクトリー」へと進化する中で、コンピュートがコストセンターから収益ドライバーへと転換しつつある経済構造について詳しく解説されている。
NVIDIAが示したAIファクトリーの新しい原則
NVIDIAのCEOジェンスン・フアン氏は端的に言い切った。「コンピュートは収益だ。コンピュートがなければトークンを生成できない。トークンがなければ収益も生まれない」。
この言葉は、インフラ投資の意思決定を根底から変える。これまでCPU・GPU・ネットワーク・ストレージは「コストを抑えるもの」として扱われてきた。しかしAIファクトリーの文脈では、これらの性能がそのまま売上高に直結する。最適化の対象が「コスト削減」から「トークン生産性の最大化」へとシフトする。
記事はこの観点から、AIファクトリーを運営・設計する上で問うべき5つの問いを整理している。
最も重要な問い：何を測るべきか
エンジニアにとって最も実践的な問いが「そもそも何をKPIにするか」だ。
記事が挙げる核心的なメトリクスは「ワットあたりのトークン数（tokens per watt）」と「トークンあたりのコスト（cost per token）」だ。ほとんどのAIファクトリーは電力制約を受けているため、これらがそのまま収益上限とマージンを規定する。
ただし、これらを単一の動作点で評価してはいけない、と記事は強調する。バッチジョブ・リアルタイムチャット・エージェント型ワークロードは、スループットとレイテンシのトレードオフ曲線上の異なる点を要求する。特定の点でしか高性能を発揮できないAIチップは、ワークロード全体をカバーできない。
さらに以下の指標も「AIファクトリー効率の土台」として挙げられている：
- TTFT（Time to First Token）：最初のトークンが出力されるまでの時間。サービス起動速度に直結する
- MTBI（Mean Time Between Interruptions）：中断間の平均時間。収益の安定性を示す
- プラットフォームの有効寿命：AIワークロードが進化する中で、インフラが生産的であり続けられる期間
エージェントAIがCPU要件を変える
従来のデータセンターCPUは「コアを増やして並列スループットを上げる」方向で最適化されてきた。しかしエージェント型ワークロードはループ構造で動作するため、話が変わる。
処理の流れは次のとおりだ：GPUでモデルが推論 → CPUがツール呼び出し（コードのコンパイル、データ取得など）を実行 → 結果がGPUに戻り再び推論。すべてのステップが直列に実行され、前のステップが完了するまで次が始まらない。
この構造では、コアあたりのシングルスレッド性能とメモリレイテンシが各ステップの完了速度を決定づける。コア数よりもコア単体の速さが重要になる。NVIDIAのVera CPUは、このニーズに応えるべく前世代比でシングルスレッド性能2倍、コア間帯域幅3倍、メモリレイテンシ40%削減を達成したと記事は述べている。
ネットワーキングとストレージ：3層構造で考える
AIファクトリーのネットワーク要件は、記事では3層に整理されている：
- スケールアップネットワーキング：複数アクセラレータとそのメモリを高帯域・低レイテンシで接続。Mixture-of-Experts（MoEモデル）で特に重要
- スケールアウトネットワーキング：数万台のサーバ間でGPUメモリを直接転送。ゼロジッターで一貫した低レイテンシを維持
- スケールアクロスネットワーキング：電力制約により複数拠点に分散した容量を、オーケストレーションを含めて統合
汎用Ethernetではこれらの性能要件を満たせないと記事は明言している。NVIDIAのSpectrum-X Ethernetは汎用Ethernet比で最大1.6倍の性能、10万GPU超の環境でも最大95%の効率を維持するとされている。
ストレージについても、エージェント型ワークロードでは長いコンテキストや複数セッションにわたる推論状態と作業メモリへの高速アクセスが必要であり、ストレージパスが追いつかなければGPU稼働率が低下する、と記事は指摘する。
セキュリティとソフトウェアスタック
セキュリティはアドオンではなく、AIデータパスに組み込まれている必要があるとされる。顧客データやモデルのIPが漏洩すればダウンタイムが発生し、トークン出力が失われる。記事ではハードウェアルートの認証による機密コンピューティングと、エージェントの挙動を監視するリアルタイムのファイル・ネットワークアクセスポリシー適用が要件として挙げられている。
ソフトウェアについては、NVIDIAのBlackwellプラットフォーム上でDeepSeek V4のトークンコストを1か月以内に最大5倍削減した継続的な最適化を実例として示している。なお、DeepSeek V4という表記は元記事に基づくものであり、一般的に広く知られているDeepSeek V3やR1系とは異なる可能性がある点に留意されたい。
数字で見る性能ベンチマーク
記事後半はNVIDIA製品の数値が並ぶが、エンジニア視点で注目値を抜粋する：
| 指標 | 値 |
|---|---|
| Vera Rubin NVL72のトークン/メガワット | GB200 NVL72比 10倍 |
| ラック組み立て時間（ケーブルレス設計） | 2時間 → 5分（初回成功率95%） |
| NVLink第6世代のレイテンシ | 汎用Ethernet比 3倍低減 |
| BlueField-4 DPUの脅威検出速度 | 既存エージェントレスソリューション比 最大1000倍高速 |
本記事はNVIDIAに関連するコンテンツをInfoWorldが掲載した形式であり、スポンサードコンテンツである可能性がある点は留意が必要だ。ただし「トークン/ワット」「TTFT」「MTBI」といった指標の整理は、ベンダー中立な視点でAIインフラを評価する際のフレームワークとして活用できる。NVIDIAのBlackwellアーキテクチャやAIインフラの最新動向に関心がある読者には、NVIDIA Blackwell アーキテクチャ公式概要も参照されたい。
詳細はUnderstanding the economics of AI factoriesを参照していただきたい。
