8月12日、RuntimeWireが「Nvidia ships Nemotron 3.5 Lightning for single-GPU AI agents」と題した記事を公開した。NvidiaがシングルGPU上でAIエージェントを動かせるオープンウェイト推論モデル「Nemotron 3.5 Lightning」を公開したことについて詳しく紹介されている。
シングルGPUでエージェントを動かす、という設計思想
Nemotron 3.5 Lightningは8月11日に公開された。最大の特徴は、シングルGPU1台でAIエージェントワークロードを実行できるよう設計されている点だ。
モデルのパラメータ数は300億（30B）だが、推論時に実際に活性化されるのは1トークンあたり30億（3B）に絞られる。いわゆるスパースモデル（Mixture-of-Experts: MoE構造）の一種で、同じ総パラメータ数の密なモデルと比べて推論時の計算量を大幅に削減できる。
対応するハードウェアとして公式のモデルカードが挙げているのは、以下の通りだ：
- DGX Spark（Nvidiaの小型AI開発システム）
- H100 GPU
- GeForce RTX 5090
- H200、GB200
- Ampere世代のGPU（W4A16カーネル経由）
マルチGPUサーバーを用意しなくても、手持ちのGPU1枚でエージェントを動かせる水準に抑えたことが、スタートアップや研究機関にとっての実用的なポイントになる。
推論効率のために積み重ねたアーキテクチャの工夫
Nemotron 3.5 Lightningは**Mamba-2層・MoE層・Attention層を組み合わせたハイブリッドアーキテクチャを採用している。Mamba-2は状態空間モデル（SSM）をベースとした系列処理レイヤーであり、長文脈処理においてAttentionと比較してメモリ効率に優れるとされる。コンテキストウィンドウは最大100万トークン**をサポートするが、実際に到達できるかはメモリ量や並列処理の設定に依存する。
公開されているチェックポイントにはNVFP4（Nvidia独自の4ビット低精度フォーマット）が使われており、メモリ使用量と演算コストを削減している。
さらに複数のトークンを一度に生成するための手法として、以下の3つが提供されている：
- Multi-Token Prediction：1回のフォワードパスで複数の次トークンを同時に予測することでスループットを向上させる手法
- DFlash：アテンション計算をハードウェア効率よく処理するための投機的デコーディング向け実装
- DSpark：DGX Spark環境向けに最適化されたドラフトモデルを用いた投機的デコーディング手法。軽量なドラフトモデルが候補トークン列を先読みし、メインモデルが検証することでレイテンシを削減する
AIエージェント用途で推論効率が重要な理由は、エージェントが「計画→ツール選択→実行→再計画」というループをモデルへの複数回の呼び出しで回すためだ。レイテンシが短く、アクティブなパラメータ数が少なければ、このループコストを直接削減できる。
ベンチマーク数値と注意点
Nvidiaが公表しているスコアは次の通りだ：
- SWE-bench Verified（コーディングエージェントの実力を測るベンチマーク）：52.8（NVFP4チェックポイント）
- GPQA Diamond（大学院レベルの科学問題、ツールなし）：75.57
ただしこれらはNvidia自身による計測値であり、第三者による独立した検証結果ではない。NvidiaはNeMo Gymを通じてプロンプト・コンテナ・サービング設定を含む評価レシピを公開しており、再現を試みることは可能だ。一方で、現行のLlama・Qwen・DeepSeekとの直接比較は主要なベンチマーク表には掲載されていない。
事前学習は20兆トークン以上のデータで実施され、コード・数学・科学・ツール呼び出し・構造化出力・長文書検索向けにファインチューニングされている。事前学習データのカットオフは2025年9月、ポストトレーニングデータは2026年5月までとされている。
「オープンウェイト」とNvidiaのビジネス設計
Nemotron 3.5 Lightningは**OpenMDW 1.1ライセンス**のもとで商用利用が可能だ。Nvidiaへの支払い不要、出力の改変・共有も制限なし。配布時はライセンスと付記事項の保持が必要で、特定の特許・著作権訴訟を起こした場合はライセンスが失効する条件がある。
「オープンソース」という表現が一部のメディアで使われているが、より正確には「オープンウェイト」だ。重みとデプロイコード・評価レシピは公開されているが、学習に使われたデータセットの一部は非公開であり、複数のカテゴリでサイズも未開示となっている。
Nvidiaがオープンウェイトモデルをビジネスとして推進する理由は明快だ。プロプライエタリなAIベンダーはAPI呼び出しごとに収益を得るが、Nvidiaは開発者がどのモデルを選んでも、推論を実行するGPUとソフトウェアスタック（TensorRT-LLM等）から収益を得られる。無償の重みが普及すれば推論を動かすアプリケーションが増え、それがGPU需要に直結する。NVFP4やTensorRT-LLMへの最適化は、その活動をNvidiaのスタックに引き留めるための設計でもある。
CEOのジェンセン・ファン氏は7月24日に公開した論文の中で、ダウンロード可能なモデルが企業のデプロイ制御と特定APIへの依存度低下に寄与すると主張し、オープンモデル開発を規制することへの反対を政策立案者に訴えている。
詳細はNvidia ships Nemotron 3.5 Lightning for single-GPU AI agentsを参照していただきたい。
