8月25日、NVIDIAが「NVIDIA Groq 3 LPX Now in Full Production With World-Class Speed for Agentic AI」と題したプレスリリースを公開した。エージェントAI向けに設計されたAI推論アクセラレータ「NVIDIA Groq 3 LPX」の量産開始を正式に発表するもので、独立系ベンチマーク機関が計測した3,400トークン/秒という数字が市場に衝撃を与えている。エージェントAI基盤の推論速度競争が激化する中、NVIDIAがこのタイミングで量産を宣言した意味は小さくない。
※なお「NVIDIA Groq 3 LPX」はNVIDIA製のチップであり、後述する推論専業クラウド企業「Groq社」（独立した別会社）とは無関係である。名称の類似による混同に注意されたい。
量産開始、ベンチマークで3,400トークン/秒を記録
NVIDIAは、インタラクティブAI推論アクセラレータ「NVIDIA Groq 3 LPX」の量産開始を正式に発表した。発表はHot Chips（半導体・アーキテクチャに特化した学術カンファレンス）のタイミングに合わせて行われた。
最も目を引く数字が、Artificial Analysis（AIモデルのパフォーマンス測定を専門とする独立系ベンチマーク機関）が実施したベンチマーク結果だ。Googleのオープンソースモデル「Gemma 4 31B」を使用し、100,000トークンのコンテキスト長という条件下で、3,400出力トークン/秒を達成した。これは同モデルで過去最速の記録だという。
比較対象として、NVIDIAは「最も近い代替プラットフォームと比較して4倍高速」と述べているが、これはNVIDA自身による主張であり、独立機関による競合製品との直接比較検証ではない点には留意が必要だ。エージェントAIが数百〜数千の推論ステップを経て大量のトークンを生成するというワークロード特性を考えると、この速度差は実際のタスク完了時間に直結する。コーディングタスクを例に挙げると、「時間単位から分単位へ」と短縮されると説明している。
なぜ「トークン生成速度」がエージェントAIで重要か
生成AI市場はいま、単発の質問応答から「エージェントAI」へと急速に重心を移している。ツール呼び出しや自律的なマルチステップ実行が当たり前となる中で、推論インフラの速度がプロダクトの競争力を直接左右するようになってきた。こうした文脈でNVIDIAが今回のGroq 3 LPX量産を打ち出したのは、まさにその需要を狙い撃ちにしたタイミングといえる。
エージェントAIのシステムは、大きく2つの計算課題を持つとNVIDIAは説明する。
- 大量のコンテキストを効率よく処理すること（プリフィル：入力トークンを一括処理し内部状態を構築するフェーズ）
- 極めて低いレイテンシでトークンを生成すること（デコード：1トークンずつ逐次的に出力を生成するフェーズ）
Groq 3 LPXが対象とするのは後者だ。エージェントは1タスクを完了するために、ファイルの検査、コードの記述・テスト、ツールの呼び出し、結果の検証を何度も繰り返す。各ステップの応答速度が遅ければ、ループ全体が詰まる。デコード速度の改善が、そのままエージェントの「使える速さ」に直結する構造になっている。
Groq 3 LPXは、NVIDIA Vera Rubin NVL72（NVIDIAの最新AIファクトリー向けラックスケールシステム）の拡張として位置づけられており、単体での置き換えではなくVera Rubinの推論性能を補完する構成だ。
最初の採用者はNebius、次いでGroq社
クラウドインフラ側では、AIクラウドプロバイダーのNebiusが最初の採用企業として発表された。NebiusのプロダクションAI推論プラットフォーム「Nebius Token Factory」を通じてGroq 3 LPXを提供する計画で、Nebius CTOのDanila Shtan氏は次のように述べている。
「生成フェーズこそが、AIシステムが実際にどれだけ応答的かを決める部分だ。NVIDIA Groq 3 LPXはまさにその加速を目的に作られている。既存のAPIをそのまま使えるため、開発者はスタックの移行なしにエージェントループの各ステップを即座に感じられるようになる」
Nebiusに続き、推論専業クラウドのGroq社も早期採用者として名前が挙がっている。繰り返しになるが、このGroq社はNVIDIAとは資本・組織ともに独立した別会社であり、NVIDIA Groq 3 LPXというチップ名との混同には注意が必要だ。両者が連携する形で採用が進むのは興味深い展開といえる。
システム構成：7チップ、5ラック
Vera Rubinプラットフォームは、7種類のチップと5種類の専用ラックにまたがる極めて大規模なコデザイン（チップとシステムを一体設計するアプローチ）によって構築されている。
Groq 3 LPXを含むシステムは以下のコンポーネントと組み合わせて動作する：
- NVIDIA BlueField-4 DPU（データ処理ユニット、ネットワーク・セキュリティ処理をCPUからオフロード）
- NVIDIA Vera CPUラック
- NVIDIA Vera BlueField-4 STXストレージ
- NVIDIA Spectrum-6 SPX Ethernet
これにより、マルチエージェントシステムにおける「ワット当たりの最大スループット」と「最低レイテンシ推論」を実現するとしている。推論専用アクセラレータをシステム全体に組み込むこの設計思想は、単体チップの性能競争とは異なる次元での差別化戦略といえる。
詳細はNVIDIA Groq 3 LPX Now in Full Production With World-Class Speed for Agentic AIを参照していただきたい。
