7月9日、NVIDIAが「NVIDIA Nemotron Achieves Benchmark-Leading Performance With LangChain Deep Agents Harness」と題した記事を公開した。この記事では、NVIDIA Nemotron 3 UltraがLangChainのDeep Agentsハーネスとの組み合わせにより、クローズドモデルと同等のベンチマーク性能を約10分の1のコストで達成したことを紹介している。モデルの再学習は一切行わず、実行環境側の調整だけで性能を引き上げた点が、この成果の核心だ。
モデルを再学習せずに性能を引き上げた
AIエージェント分野での「コスト対性能」の議論に、具体的な数字が加わった。
LangChainは、自社のDeep Agentsベンチマークスイートに対してNemotron 3 Ultraを評価した結果、オープンモデルの中で最高精度を達成した。さらに、元記事が「leading closed models」と表現する主要クローズドモデル群(具体的なモデル名は元記事では明示されていない)と比較して、1回の推論コストが約10分の1でありながら、ビジネスタスクにおける精度でも同水準に達したという。なお、コストの算出根拠や比較対象の詳細については元記事でも詳述されておらず、正確な条件はLangChainが実施したベンチマーク評価の文脈に依存する点に留意が必要だ。
特筆すべきは、モデルの再学習(ファインチューニング)は一切行っていない点だ。LangChainのチームはNemotron 3 Ultraをベンチマークで走らせ、実行トレースを解析して失点箇所を特定。そのうえで、モデル自体には手を加えず、システムプロンプト・ツール説明文・ミドルウェアといったハーネス側を調整することで性能を引き上げた。
「より良いエージェントを構築する方法は、モデルの周囲にあるシステムを改善し続けることだ。メモリ、ツール利用、評価、そしてモデルの挙動は、チームがそれらを一緒にチューニングできるとき、複合的な効果を生む」
— Harrison Chase(LangChain 共同創業者 兼 CEO)
この調整済みハーネスプロファイルは、現在すでにLangChain経由で利用可能だ。
「NemoClaw」:フルオープンスタックのリファレンス実装
今回の成果をエンタープライズ向けにパッケージ化したのが、NVIDIA NemoClaw for LangChain Deep Agentsという名のオープンリファレンスブループリントだ。「NemoClaw」はNVIDIAが本取り組みに付けたプロジェクト名称であり、Nemotronモデルとエージェントハーネスを組み合わせたオープンスタック全体を指す。
構成要素は3つ:
- LangChain Deep Agents Code(Nemotron 3 Ultra向けにチューニング済み)
- **NVIDIA OpenShell**(エージェントのアクションを安全に実行するセキュアランタイム)
- Nemotron 3 Ultra本体(オープンモデル)
「オープンモデル × オープンハーネス × オープンセキュアランタイム」という組み合わせにより、企業はスタック全体をエンドツーエンドで自社所有できる。自社インフラ、自社クラウド、自社ガバナンスのもとで動かせる点が、クローズドモデルを採用した場合との大きな違いとなる。
NemoClaw for LangChain Deep Agentsと調整済みモデルプロファイルは現在公開済み。LangChainのドキュメントからハーネスを直接取得するか、NemoClaw for LangChain Deep Agentsブループリントを起点に専門エージェントをゼロから構築することもできる。
採用実績と提供プラットフォーム
企業側の動きとしては、Abridge(医療AI)、Amdocs(通信向けソフトウェア)、Box(クラウドコンテンツ管理)がそれぞれ自社プラットフォームへの専門エージェント組み込みを進めている。また、コンサルティング大手のEYは、クライアント向けに専門エージェントのカスタマイズ・評価・ガバナンスを支援する実装能力をNVIDIAのNemoClaw周辺で拡充中だ。
Nemotron 3 UltraはホスティングプラットフォームとしてBaseten、Crusoe Cloud、DeepInfra、Fireworks、Nebius、Together AIから利用できる。LangChainの月間ダウンロード数は2億回超であり、このハーネスが広く普及する素地はすでに整っている。
ハーネスエンジニアリングという考え方
今回の取り組みが示すのは、「モデルそのものを強化する」以外のアプローチとして、実行環境・プロンプト・ツール定義の最適化がベンチマーク上の大きな差を生む、という実証例だ。元記事でもHarrison Chase氏の言葉を通じてこの考え方が強調されており、モデル選定だけでなくその周辺エンジニアリングが実用性能を左右するという視点は、エージェント設計の実務に直結する。
※編集部の考察:この「ハーネスエンジニアリング」的なアプローチは、モデルのアップグレードサイクルに依存せず性能改善を継続できる点で、特にオープンモデルを自社運用するチームにとって再現性の高い手法として注目に値する。
詳細はNVIDIA Nemotron Achieves Benchmark-Leading Performance With LangChain Deep Agents Harnessを参照していただきたい。