8月11日、NVIDIAが「NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI」と題した記事を公開した。エージェントAI向け軽量モデル「Nemotron 3.5 Lightning」とモデルルーティングライブラリ「NeMo Switchyard」の同時リリースを詳しく紹介している。

コストを約3分の1に削減するモデルルーティングが核心

今回の発表で最も実践的なのが、オープンソースのモデルルーティングライブラリ「NeMo Switchyard」だ。

エージェントAIシステムでは、コーディング・推論・軽量タスクなど用途ごとに適したモデルが異なる。しかし単一モデルで全リクエストを処理すると無駄が生じ、手動でルーティングを実装すると開発コストがかかる。NeMo Switchyardはこの問題を、エージェントワークフローの各ステップで最適なモデルへ自動的にリクエストを振り分けることで解決する。

NVIDIAの内部ベンチマークでは、フロンティアモデル単体（元記事中で比較基準として使用されているモデル名。一般公開情報との照合を推奨）と同等の精度を維持しながら、タスク完了コストを約3分の1に削減できたという。開発者はアプリケーションを書き直すことなく、ルーティングアルゴリズムを品質・レイテンシ・コストの優先度に応じてチューニングできる。

パートナー企業での実績も公開されている：

• Ramp：フロンティアモデルと同等の性能を維持しつつ、コストを58%削減、実行時間を33%短縮（Ramp SWE-Benchより）
• LangChain：マルチターン深層エージェントタスク145件でフロンティアモデルへの呼び出しをわずか7%に抑え、コストを74%削減（精度トレードオフは6%）
• Cognition：Devin Desktopへ統合し、フロンティアモデルへの全リクエスト集中と比べて平均コストを28%削減
• Boomi：ドメインルーティング精度100%、トラフィックの59%を5倍高速なファインチューニング済みモデルへ誘導、後半ターンのレイテンシを21%削減

NeMo SwitchyardはすでにLangChain、LiteLLM、Kong AI Gateway、Nous Researchなど複数のプラットフォームへの統合が進んでおり、GitHubで公開されている。

Nemotron 3.5 Lightning：「専門家」として動く30Bモデル

もう一方の主役が「Nemotron 3.5 Lightning」だ。300億パラメータのMixture-of-Experts（MoE）モデルで、常時稼働するエージェントシステムの「専門タスク担当」として設計されている。

MoE（Mixture-of-Experts）とは、全パラメータを毎回使うのではなく、入力に応じて必要な専門家モジュールだけを選択的に活性化するアーキテクチャで、推論効率が高い。Nemotron 3.5 LightningではMoEの活性化パラメータが30Bのうち3B（A3B）となっている。

性能面では、同クラスの他モデルと比較して出力速度が最大4倍速く、エージェントタスク完了時間を30%短縮できるとされる。

オープンモデルである点も重要で、NVIDIA NeMoを使って組織独自のドメインデータ・ツール・ワークフローでポストトレーニングが可能だ。実際に複数の企業が自社向けにカスタマイズしている：

• CrowdStrike：サイバーセキュリティ用途
• Harvey / Trajectory：リーガルサービス用途
• CodeRabbit / Baseten：コードレビュー用途（詳細）
• Lila Sciences：物理・生命科学向けの推論強化
• Fastino Labs：ソフトウェア開発・金融・医療向けにカスタマイズし、各分野でトップクラスの精度を達成

モデルはRTX PC、DGX Spark、DGX Station、Jetsonなどローカル環境からクラウドまで幅広い環境で動作する。プライバシーが求められる高ボリュームタスクにはオンプレミス運用も対応している。

Hugging Face、ModelScope、OpenRouter、build.nvidia.com（NVIDIA NIMマイクロサービスとして）で公開中だ。

あわせて、コーディングエージェント能力のポストトレーニングに使用したRLデータセット「Nemotron-RL-Agentic-Terminal-Pivot」もHugging Faceで公開されている。

「システム・オブ・モデルズ」という設計思想

今回の2製品はセットで理解すると意図が明確になる。

NVIDIAはエージェントAIを「単一の巨大モデルで解決する」方向ではなく、複数の専門モデルが連携する「システム・オブ・モデルズ」として設計している。具体的には、大規模推論・オーケストレーション担当として別途公開されている大規模推論モデル「Nemotron 3 Ultra」と、専門タスク担当のNemotron 3.5 Lightningという役割分担が典型例で、NeMo SwitchyardがそのルーティングレイヤーとしてOSSで提供される構図だ。

エージェントAIの普及に伴い、長時間・多ステップのワークフローにおける推論コストの膨張は多くの開発組織が直面する現実的な課題になっている。コスト削減と精度維持の両立という問題に対して、モデル単体の改善ではなくルーティングで解くというアプローチは、実運用を意識した実際的な回答といえる。

詳細はNVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AIを参照していただきたい。